残業単価の計算から除外してもよいものとして、次のものが法律で定められており、下記に該当するもの以外は残業単価の計算から除外することができないとされています。
（労働基準法第37条の4、労働基準法施行規則第21条）
①家族手当
②通勤手当
③別居手当
④子女教育手当
⑤住宅手当
⑥臨時に支払われた賃金（祝金や見舞金など）
⑦1箇月を超える期間ごとに支払われる賃金（賞与等）

ご質問の中にある手当の中では通勤手当・住宅手当・家族手当が該当すると一見思われますが、住宅手当については家賃3万円～5万円までは一律20,000円や、家賃の40%といったように住居に関する費用に応じて定率や定額で支給されていなければ残業単価の計算から除外することができません。ご質問のケースのように住居に関する費用に関係なく全社員に一律20,000円を支給している場合は残業単価の計算から除外することができませんのでご注意下さい。
家族手当についても同様の考え方で、扶養家族の人数に応じて支給されていることが必要ですが、ご質問のケースでは人数に応じて支給しているとのことですので残業単価の計算から除外することは可能かと存じます。