社会保険という言葉で一括りになっておりますが、健康保険と厚生年金を「社会保険」、そして「雇用保険」として別の取り扱いになりますので分割して説明致します。またご質問文にあります、先にこの方が働いている会社を「A」、貴社を「B」として表記致します。

社会保険
こちらは二つ以上の会社で同時に加入要件を満たした場合、どちらの会社からも「資格取得届」を出す必要があります。
その際に資格取得届の備考欄に「二以上事業所勤務者の取得」という選択肢に〇をつけて届出をします。
その後、該当の従業員の方からの申し出によって、どちらの会社を適用事業所とするかを選択してもらう為に「被保険者所属選択・二以上事業所勤務届」を提出してもらう事になります。
現在Aにて資格取得をされているのであればAから保険証の発行が既にされていると思われますが、この届出によりBを適用事業所とする場合はAの保険証を返却し、Bの管轄として新たに保険証が発行されることになります。
また、保険料についてはAとBのそれぞれ報酬月額を合算した金額を標準報酬月額として定め、AとBの報酬月額の割合によって保険料が定められることになります。

雇用保険
こちらはどちらか一方でのみの加入となりますので、AかBのどちらかで加入をした方でのみ保険料がかかることになります。原則的には賃金額が高い方での会社での加入とします。
今回はBとしたという事にして説明致しますと、保険料をBでのみしか払わない為、離職票に記載される賃金額や基礎日数もBの実績の数値しか記載が出来ません(AとBの合算とはなりません)。
そのため、Aの出勤日数が11日、Bの出勤日数が10日であった月は、受給要件を満たす月とはなりません。

社会保険と雇用保険で取り扱い方が違いますが、届出を失念していると後ほど発覚した時に保険料の徴収が遡及して発生したり面倒な事になります。
雇い入れる従業員の方が別の場所で働かれているのであれば、既に社会保険、雇用保険に加入されているのかを確認する必要がございます。
また今回のご質問とは直接関係ございませんが、一日にAでもBでも仕事をするという場合の労働時間が1日8時間を超えた分や、AとBを合計して1週40時間を超えた分等残業時間の取り扱いは別の事業所であっても時間は通算されることになります。
自身の事業所だけではなく他方の事業所での労務時間を認識する必要がありますので、より管理は複雑になります。
ダブルワーカーの方を雇い入れるのであれば、それに応じた労務管理が必要になりますので十分注意して運用されるようにしてください。


複数の事業所で勤務する労働者を雇い入れる際の主な注意点

労務管理：一日にAでもBでも仕事をするという場合の労働時間が1日8時間を超えた分や、AとBを合計して1週40時間を超えた分等残業時間の取り扱いは別の事業所であっても時間は通算されることになります。
労災保険：労災保険給付額の算定は、労働災害が発生した事業所の賃金分のみに基づき算定します。
税金など：給与所得以外の副業から得た収入は、確定申告の対象となります。収入から必要経費を差し引いた所得が20万円を超えていれば、確定申告をする必要があります。

参考

副業・兼業の促進に関するガイドライン

「副業・兼業の促進に関するガイドライン」 Ｑ＆Ａ