1. PTT
  2. Python

[問題] 找到excel中的無效連結並修正

作者: alair99 (I think home)   2016-11-17 09:33:06
如題，請問這個需求有可能達成嗎? 需要哪些套件?
我想到可能會有的問題是
1.無效連結的判斷
這部分可能用判斷requests的status_code來達成
2.修正連結
這我就沒啥頭緒了 @@
請問有什麼套件可以輸入關鍵字然後帶出搜尋引擎的第一筆資料呢?
謝謝
作者: Yshuan (倚絃)   2016-11-17 10:17:00
可以偷偷硬爬google results 但機器爬蟲的速率容易被ban
作者: tiefblau (tiefblau)   2016-11-17 10:27:00
google 有search的api 但是要快的話就是樓上講的記得加點random的sleep避免被鎖IP阿
作者: alair99 (I think home)   2016-11-17 12:35:00
哇靠~~對耶，真是個好方法， 謝謝 ^^
繼續閱讀
Fw: [問題] r 與python 爬蟲穩定性的比較isofjslk3ad[問題] 儲存class(新增測試檔)xxi511[問題] 程式碼簡化yshihyuDcard 爬蟲dinoptt1993[問題] pyinstaller包成執行檔相關問題請教warain[問題] python 最佳化求解MuhaosicRe: [問題] gmail api夾帶檔案pdf空白或毀損MOONY135[問題] gmail api夾帶檔案pdf空白或毀損jn8029[問題] 抓取 facebook社團主題內容跟回文yshihyu[問題] __init__.pyGooLoo

Links booklink

Contact Us: admin [ a t ] ucptt.com