ご認識の通り、二重就業は主に職務に専念してもらうために会社が定めているものですが、副業している事が原因で遅刻や欠勤などの勤務態度に影響がでたり、会社に損害を与えるということが無い場合は在職中であっても、解雇処分は無効となる場合が殆どです。たとえ就業規則で二重就業の禁止が定められている場合でも、休日の個人行動まで拘束するのは難しいでしょう。
今回のように、既に最終出社を終え、有給休暇に入っておられる場合、解雇は難しいかと思われます。
また、二重就業は可能ですが、社会保険の加入については調整が必要となります。新しい就職先で社会保険の加入条件を満たす場合、健康保険・厚生年金は標準報酬月額を両社の合計金額で計算し按分する必要がありますので、被保険者本人が届出を行う必要があります。労働保険においては主たる賃金を受ける一つの事業主において雇用保険に加入することになります。