[問題] python前端串接與scrapy翻頁

作者: peco36 (Peco)   2019-01-13 17:22:56
各位版上的前輩們好,我最近開始初學爬蟲。是這樣的,我想要抓一個電商平台的fb留
言資訊來做統計。現在遇到的問題是
1.用selenium加上webdriver,可以執行成功,數據也都沒錯。但是在跟我前端的網頁串
在一起的時候就會有問題,我是用shell_exec的方式來呼叫我的程式,但他會一直等待直
到網頁逾時。打開工作管理員的話,也可以看到chromedriver這筆,但就是無法繼續執行
下面的程式碼。
2.用scrapy,因為上述的問題,所以我想說用scrapy試看看,但卻在翻頁時遇到問題。在
網路上爬了很多文,大部分都是教說在JS或是XHR中找,但是也一直看不出甚麼端倪。
想請教前輩們有沒有甚麼建議或解決方法,謝謝!
想爬的網站:
https://goo.gl/uoVx5Y
feedback所在的iframe網址:
https://goo.gl/Drkthm
作者: s860134 (s860134)   2019-01-14 22:09:00
你有問題的程式碼在哪?"shell_exec的方式來呼叫我的程式" 這段你也懷疑問題在這吧,code 貼出來大家找問題阿
作者: MAGICXX (逢甲阿法)   2019-01-17 11:50:00
呼叫 改用subprocess試試看?

Links booklink

Contact Us: admin [ a t ] ucptt.com