労働時間とは、使用者の指揮命令下に置かれている時間のことをいいます。
そのため「使用者の指揮命令下に置かれたものか」という基準により、労働時間にあたるか否かが判断されます。

移動中に業務の指示を受けず、業務に従事することもなく、移動手段の指示も受けず、自由な利用が保障されているような場合には、労働時間に該当しません。
ただし、業務に関する機材の運搬や、重要書類の監視のため席を離れられないなど、自由に過ごせない場合は指揮命令下にあると考えられるため労働時間と考えられます。
上記のような指揮命令下にある移動ではないのであれば、今回の場合は労働時間には当たりません。
しかしながら、休日を出張に伴う移動時間に当てさせているため、出張手当を支払うことが一般的ですので、貴社でも出張手当の支払いをご検討されてはいかがでしょうか。