リモートワークの実施が海外である場合、労使関係に変更がなく、雇用契約が今までどおり継続されるのであれば就業規則、社会保険や労災、給与支払について国内勤務と同様で問題ございません。
下記に個別に説明させていただきます。

就業規則については現状の就業規則、テレワーク・在宅勤務規定をそのまま適用することで新たに規定を追加するは必要ございません。ご相談の滞在国では時差はほとんどありませんが時差がある場合はリアルタイムでコミュニケーションを取る時間を工夫する必要があるでしょう。
また、経費に関して現状の海外出張細則に基づいていただくことで問題ございません。就業規則、経費の取り扱いについては、在宅勤務になること以外はこれまでの契約関係を継続しますので、これまでどおりの規定適用を適用することでよろしいかと思います。

健康保険については「適用事業所に使用される者」が被保険者の条件になりますので、雇用関係が継続している限り、その他の条件を満たしていれば継続します。実際に海外で医療費が発生した場合は一旦海外での医療費を全額実費で払っていただくことになりますが、海外療養費を請求し、事業主を経由して受け取ることができます。
海外での治療内容や医療費は国によって様々異なります。給付される金額は日本国内の医療費を基準として算定されるため、現地での支払額の7～8割が戻るわけではありません。
備えとして自己負担額が多額になる可能性がありますので民間会社の海外旅行傷害保険に加入いただくことを検討されると良いでしょう。

厚生年金についても健康保険と同じく雇用関係が継続している限り被保険者となります。但し、滞在国が社会保障協定を締結している国であれば年金保険料を免除してもらうことができますが、反対に締結されていなければ両国で年金に加入しなければならない場合があります。滞在国の年金制度を確認し対応が必要となることがあります。
介護保険は国内に住所がある人のみ適用されます。海外に転居する場合は手続きが必要です。

労災保険について今回のケースでは海外出張扱いとなりますのでその場合は国内事業で加入している労災が適用されます。海外出張の場合でも海外での事故が労災と認定されれば補償の対象となります。
雇用保険は雇用契約が続いているので継続になります。

税金に関しては居住者もしくは非居住者（1年を超えるか超えないか）で扱いが異なります。
居住者であれば現状のままで結構です。年末調整も通常どおりに行います。非居住者になる場合は基本的に現地での課税になります。尚、出張期間が1年未満であっても現地課税が課される場合がありますので滞在国との租税条約や税制を確認されることをお勧めします。

更に今回は対象者が外国籍の方ですので再入国の手続きも必要です。今までの再入国許可やみなし再入国許可に追加して令和2年9月7日以降に出国を希望する場合は事前の申出が必要になりました。基本的にはご本人が申請いただく内容になりますがご注意ください。

参考：
＜再入国許可＞
http://www.immi-moj.go.jp/tetuduki/zairyuu/sainyukoku.html
＜みなし再入国許可＞
http://www.immi-moj.go.jp/tetuduki/zairyuu/minashisainyukoku.html
＜本邦滞在中の在留資格保持者の再入国予定の申出について＞
http://www.moj.go.jp/nyuukokukanri/kouhou/nyuukokukanri07_00245.html

海外でのリモートワークも実現可能となりますが、滞在国や滞在期間条件などさまざまな情報を勘案して実施することが重要です。状況に応じて都度ご相談いただきますようお願い致します。