就業規則に本採用をしない場合について定められていれば、試用期間中（必ずしも試用期間が満了することを必要としない）に本採用を拒否し、当該従業員との労働契約を終了させることが認められています。

そもそも試用期間とは、従業員の勤務態度や能力など評価して、本採用するかどうかを決める為に設けられている期間なので、本採用後の解雇の場合と比較して、本採用拒否は広い範囲で認められることになります。
ですが、試用期間中であっても、既に労働契約は成立しています。客観的に合理的な理由が存在し、社会通念上相当と認められる場合でなければ解雇は認められません。

また使用者（会社）は、解雇を回避（雇用の維持）する努力をしなければならない、とする裁判例が多いです。（従業員の能力の開発、仮にその能力が十分でない者でも、その能力に見合った職務の提供、適切な指導・教育等）
本採用拒否の判断の前に、1つの例として、試用期間の延長を検討してみるのも良いかもしれません。（就業規則などで期間の延長に関する規定が設けられている必要があり、ない場合は労働者の個別同意が必要）

いよいよ解雇しかない、と判断された場合でも、事後のトラブルや紛争を防ぐために、退職理由等を正確に伝え、納得した上で退職合意書等を提出してもらう事が望ましいでしょう。
また採用後14日を超えて引き続き就労している人を解雇する場合には、労働基準法第20条及び第21条の解雇予告に関する規定（30日前の予告または30日分の平均賃金の支払い）が適用されます。