出向先と出向元（貴社）で休日数が違う、というお話ですが、出向時の勤怠まわりは基本的に特段の取り決めがなければ、出向先の規程が適用されますのでそのようなことが発生する可能性は多いかと存じます。
このように就業条件に差が生じる場合、原則は出向するご本人に不利益にならないようにすることが必要ですので、あらかじめ出向先との契約、本人との契約の中でどうするかを決めておく必要があります。

今回のような休日数に差がある場合の対応としては、「その日（今回であれば1月4日）は休日出勤とみなして賃金を支払う」「年間で休日数があうように別日で休日を設定する」「調整手当等を支払い（休日数減という）不利益分補填する（休日数は合わせない）」というような方法をとることが多いです。

今一度出向契約書をきちんと確認の上、社員の方へご説明をするようにしてください。