[問題] 爬蟲突然不能跑，求解 a199111222 PTT批踢踢實業坊

[問題] 爬蟲突然不能跑，求解

作者: a199111222 (oyeh) 2021-11-29 09:53:40

本來有寫好爬
https://www.coingecko.com/en
每種加密貨幣的數據
之前都是把curl貼到自動轉換python程式碼的網頁來使用，再把headers 刪除一些不必要
的參數，
測試後留下Headers 的User-agent 就能爬
今天突然不能跑，看了一下網頁好像也沒更動，把參數都留下也不能爬
以上想問問題可能出在哪
謝謝各位
解法或原理比較複雜的話，能私訊我，酬勞可談

作者: e23882 (呆呆要不要買降有) 2021-11-29 11:47:00

它們有用CAPTCHA，你改用selenium或是它免費額度的API吧

作者: kh555069 (yuan) 2021-11-29 14:10:00

可以試試 cloudscraper

作者: a28503662 (Ok Rocker) 2021-11-29 16:33:00

樓上正解

作者: a199111222 (oyeh) 2021-11-29 19:35:00

感謝，我來試試

繼續閱讀

[問題] leetcode 2029 (Hard) 的問題VivianAnn [問題] 請問trace原始碼問題nicha115 [問題] np.transpose的用法ruthertw [問題] 如何在chrome擴充得到檢視元素？garlic774 [問題] selenium抓chrom開起的pdf網頁元素抓不到DiamondAse [問題] Robot Framework的語法問題dreambegins [問題] django + apache print中文areyo [問題] 找出最長集合giuk0717 [問題] 如果讓無間隔的連續字推得字典對應值？ajjj840569 [教學] 瀏覽器自動化工具 Playwright，用於網g919233