您錯了，確實可以拒絕，拒絕時怎麼處理也都有規定。
不過這種事情就是警民良性互動，如果警方態度良好，也沒有必要刻意拒絕...
==========================
警察實施身分查證時，應注意那些事項？ (
http://www.moi.gov.tw/chi/chi_faq/f...=10000&p=15&f=6)
A：一、執行前：
（一）執行人員應於出入登記簿簽註出勤，到達現場後向勤務指揮中心通報。
（二）執行人員著制服執勤，如民眾仍有質疑時，於不影響執勤安全時，仍宜出示證件；著便衣人員應出示證件、表明身分並告知事由。
二、執行中：
（一）受身分查證人同意時之處理方式：
１、實施現場身分查證。
２、受身分查證人未攜帶身分證件或拒絕出示身分證件或出示之身分證件顯與事實不符，而無從確定受檢人身分時，必要時得勤務處所查證。
３、報告勤務指揮中心及通知受臨檢、身分查證人指定之親友或律師。...