年度更新の際に、前年度分の納付済み概算保険料の額が確定保険料の金額を上回っており、その差額が当年度の概算保険料の金額に充当しても、前年度分の納付済みの概算保険料のほうが多い場合や、ご質問にもあるような事業を廃止（労働保険番号の廃止を含む）した場合で前年度分の納付済み概算保険料の額が確定保険料の金額を上回る場合には、保険料の還付を受けることができます。

「労働保険料・一般拠出金還付請求書」を管轄の労働基準監督署に提出することにより還付金を受け取ることができます。
年度更新の際に還付請求をする場合は、労働保険料・一般拠出金還付請求書を、6月1日から7月10日の間（営業日により前後します。）に、
労働保険概算確定保険料申告書とあわせて、管轄の労働基準監督署に提出します。
事業を廃止した際に還付請求をする場合には、事業を廃止した日から50日以内に、労働保険概算確定保険料申告書とあわせて、管轄の労働基準監督署に提出します。

「労働保険料・一般拠出金還付請求書」は、以下の通りに記入します。
①還付金振込の金融機関、または郵便局での受け取りの記入
②還付請求額の記載：(ア)前年度の納付済み概算保険料、(イ)確定保険料の額、(ウ)差額、(エ)充当額などを記入
③労働保険料等への充当額内訳：充当先事業所の労働保険番号と、労働保険料等の充当種別（充当した種別にマルをする）、充当した額を記入
④還付理由：年度更新の際の還付の場合→1、事業廃止の還付の場合→2、その他の場合→3を記入
⑤事業所の住所・名称、事業主の氏名の記入

※参考：令和４年度事業主の皆様へ（継続事業用）労働保険年度更新申告書の書き方
還付請求を行う場合について
https://www.mhlw.go.jp/new-info/kobetu/roudou/gyousei/hoken/kakikata/dl/keizoku-16.pdf