PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] 爬蟲 非同步的post請求
作者:
aaa7513231
(渾沌與秩序)
2016-04-13 21:03:27
大家好
最近在利用免費的雲端主機去做網頁爬蟲
Openshite
遇到的問題就是他主機架設在美洲
所以每一個post的反應時間還蠻久的
這樣跑回圈下來的執行時間很長
想知道是不是有機會可以做到非同步的大量post要求
在回傳事件中解決到回應
這樣應該就可以解決主機在美國的問題了
謝謝大家
補充:
我是版本是2.7
作者:
uranusjr
(â†é€™äººæ˜¯è¶…級笨蛋)
2016-04-13 21:43:00
選擇很多, Python 3.4 以上可以用 aiohttp, 其他版本也可以用 Tornado 或 Twisted 等等
作者:
aaa7513231
(渾沌與秩序)
2016-04-13 22:16:00
因為我是使用cron去跑腳本,上面提供的好像是Web框架U大,我這樣應該沒辦法套用吧@@?
作者:
ccwang002
(亮)
2016-04-13 22:19:00
可以套用啊,都可以非同步等待對方 server 回應例如:Twisted Web Client / Aiohttp Client
作者:
aaa7513231
(渾沌與秩序)
2016-04-13 22:31:00
剛剛看過範例,應該是有搞頭,謝謝大家!!!
作者:
kenduest
(小州)
2016-04-14 00:57:00
python 2 簡單方式一般可以用 gevent 來處理
繼續閱讀
[問題] 想用爬蟲抓取圖文呈現的問題
vi000246
Re: [問題] 該怎麼用python登入自己寫的表單?
Neisseria
[問題] 該怎麼用python登入自己寫的表單?
phpjson
[問題] 如何建立一個portable windows軟體?
vanchy
Re: [問題] python 將爬出來的資料匯出至檔案
brightsu
[問題] 完全搞不懂的路徑問題
elone
[問題] python 爬取pchome資料
kobe52072200
terminal上列出目錄內所有檔案選取做input
proud
[問題] pyinotify 錯誤求解
girl5566
Re: [問題] 關於使用for迴圈挖掘資料時出錯-換頁問題
Neisseria
Links
booklink
Contact Us: admin [ a t ] ucptt.com