您錯了，確實可以拒絕，拒絕時怎麼處理也都有規定。
不過這種事情就是警民良性互動，如果警方態度良好，也沒有必要刻意拒絕...

==========================
警察實施身分查證時，應注意那些事項？

A：一、執行前：
（一）執行人員應於出入登記簿簽註出勤，到達現場後向勤務指揮中心通報。
（二）執行人員著制服執勤，如民眾仍有質疑時，於不影響執勤安全時，仍宜出示證件；著便衣人員應出示證件、表明身分並告知事由。
二、執行中：
（一）受身分查證人同意時之處理方式：
１、實施現場身分查證。
２、受身分查證人未攜帶身分證件或拒絕出示身分證件或出示之身分證件顯與事實不符，而無從確定受檢人身分時，必要時得勤務處所查證。
３、報告勤務指揮中心及通知受臨檢、身分查證人指定之親友或律師。
４、自攔停起不得逾三小時。
（二）受身分查證人不同意時，當場陳述理由，表示異議：
１、異議有理由：停止身分查證，任其離去。
２、異議無理由：續行身分查證。
３、受身分查證人請求時，填具「警察行使職權民眾異議紀錄表」一式三聯，第一聯由受身分查證人收執、第二聯由執行單位留存、第三聯送上級機關。
三、檢查結果：
（一）發現違法（規）情事，依法定程序處理（例如發現受臨檢、身分查證人違反刑事法案件，應即轉換依刑事訴訟法規定執行，並告知其犯罪嫌疑及相關權利【刑事訴訟法第95條】）。
（二）身分查明後，未發現違法（規）情事，任其離去。