カフェでの時間が労働時間にあたるかがポイントになります。

労働時間は、労働者の行為が使用者の指揮命令下にある時間をいいます。
ちなみに、労働基準法第34条3項より休憩時間とは労働からの解放が保障され、労働者が自由に利用できる時間とされています。

直行直帰で訪問先で業務を行った場合、その前後で打合せの準備をしたり、報告をまとめるためにカフェに立寄っているのであれば、使用者の指揮命令下にあり、労働者の自由に利用できる時間ではない為、労働時間と見なされ、カフェでの業務を始めた時が始業、終えた時が終業の打刻となります。

まず労働時間にあたるかをポイントに、打刻ルールを作成したら良いかと思います。

ただし、直行直帰は上司が同行するわけではないので、労働時間の把握は完璧にはできません。
直行直帰時は打刻のルールだけではなく、事前の申請による業務の把握や、当日の始業・終業の連絡方法など、その他のルールも合わせて作成しましょう。