まずは、就業規則に規定が明記されているかどうか確認しましょう。

本来は、退職金の制度がある場合は、適用される労働者の範囲、退職金の決定・計算及び支払の方法、並びに支払の時期に関する事項について、定められている必要がありますが、規定がない場合は、労使間の認識やこれまでの運用次第になるかと思います。

厚生労働省が示している指針では、
「退職金や賞与の算定に当たり、現に勤務した日数を考慮する場合に、専ら当該育児介護休業等により労務を提供しなかった期間（休業した期間若しくは休暇を取得した日数又は所定労働時間の短縮措置等の適用により、現に短縮された時間の総和に相当する日数を日割りで算定された対象期間から控除すること等）は、働かなかったものとして取り扱うことは、不利益な取扱いには該当しない。」としています。
ですので、退職金の算定期間に、育児休業や介護休業等の期間を含まないことは、違法とはなりません。

規定がないから、絶対に算定期間に含めなければならない、ということはないですが、これまでどのように運用されていたのか、労使間の認識が一致しているのか、関連する規定がある場合にどのように規定されているのかなど、確認した上で判断する必要があると考えます。