如題，當我的爬蟲程式在抓網頁資料時有沒有辦法做比對的動作?
例如：我的每個網頁資料有日期、時間、地點、紀錄人，附上連結
http://webdata.bird.org.tw/contents.php?key=1
在我觀察後面的網頁時，發現同日期、時間、地點、記錄人的紀錄會有好幾筆，
這樣會造成我的資料的不正確性，我想請教各位高手，
有沒有辦法在爬蟲爬資料時，對於這些日期、時間...等資料先做比對，
有重複則不抓取這頁資料，沒有重複，再經由item回傳輸出城CSV檔?

寫另外程式讀CSV比對重複資料會比較好

另外寫程式判讀的話，我該用那些方法呢?例如：我第一頁的資料要跟第二頁比對，第二頁要跟第三頁比對，以此類推，麻煩高手指點一下，謝謝