[問題] scrapy 啟動後 parse 未呼叫到

作者: gigigigi (gigigigi)   2020-08-22 14:47:47
https://github.com/jang0820/scrapy/tree/master/twse_mongo 程式碼
https://sites.google.com/site/zsgititit/home/python-cheng-shi-she-ji/shi-yongscrapy-zhua-qu-tai-gu-zheng-jiao-suo-mei-ri-gu-jia-zi-liao-chu-cun-daomongodb?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&showPrintDialog=1
我是按照上面網址範例操作
在Mongo內建立資料庫STwStock,新增collection為twse
在twse_mongo資料夾執行指令 scrapy crawl twse
發現資料表沒有新增資料~ 後來發現 parse 函數都還沒跑到
想請問一下可能是什麼原因?
下面是執行後log 訊息
https://pastebin.com/Zk4F0KKJ
謝謝
作者: alvinlin (林矜業)   2020-08-22 15:02:00
我看起來是挺明顯的問題啊Forbidden by robots.txt所以。要設為False
作者: gigigigi (gigigigi)   2020-08-22 16:50:00
可以了~感謝

Links booklink

Contact Us: admin [ a t ] ucptt.com