保険の種類に応じて回答いたします。
健康保険、厚生年金保険
ご質問文にあります通り、通常の氏名変更においてはマイナンバーで届出されていれば(基礎年金番号とマイナンバーが紐づいていれば)氏名変更の情報が自動的に紐づいております為わざわざ氏名変更の手続きをする必要はございません。考慮しなければならないパターンは被扶養者の方がいらっしゃって、被扶養者の方も氏名が変更されるケースになります。被扶養者(異動)届にて被扶養者の氏名変更の手続きをされる必要がございますが、扶養者欄の記載について改姓後の氏名を記載する為扶養者本人の情報と届出時点での情報が相違する可能性がございます。添付書類、または被扶養者(異動)届の備考欄にその旨を記載された方が手続き自体はスムーズに進むかと存じます。

雇用保険
雇用保険につきましては令和2年1月に雇用保険被保険者氏名変更届は廃止されています。被保険者の氏名変更があったときは、下記の申請時に併せて提出してください、という事で
・雇用保険被保険者資格喪失届
・雇用継続交流採用終了届
・雇用保険被保険者転勤届
・個人番号登録・変更届
上記が挙げられております。
ただ、今回については帰化になる為氏名変更もそうですが外国人の雇用状況の届出に影響が出てきます。こちらについて、手続をどのように行うかは直接管轄のハローワークへお問い合わせ頂くのが良いかと存じます。届出の際に添付書類を必要とする場所、そうでない場所があるようです。一例としては、雇用保険被保険者資格取得・喪失等訂正・取消願を「帰化した為」と記載して提出するのみで受付してもらえる事もございます。またその手続きの際に雇用保険被保険者資格喪失届に新氏名を記載し提出することによって氏名変更の手続きを受け付けて頂く事も可能とのことです。氏名変更と国籍変更、という2点で考える必要がございますのでご注意ください。

また銀行口座の名義変更や、御社内で利用されている各種システム上での登録氏名や社内呼称等の変更はご本人様の希望もあると思われますので通常の氏名変更の場合と同様に取り扱われて良いかと存じます。