Python & 網路新手請教
我嘗試想要透過http://www.twse.com.tw/exchangeReport/STOCK_DAY
將所有股票的歷史數據抓下來存到資料庫
但多下幾次requests.get就會被擋掉
於是我改透過10幾個proxy去輪流抓
晚餐前正常，但後來卻抓不到資料
proxies = {"http": lProxyList[proxyIndex]}
r = requests.get(TWSE_BASE_URL, params=params, headers=headers,
proxies=proxies, timeout=5)
print(r.status_code) => 印出 200 正常
print(r.text) => 本來可以，後來都印 {"stat":"很抱歉，沒有符合條件的資料!"}
剛試過如果不用proxy就正常，{"stat":"OK","date":"20171201","title":"
有帶proxy就會抓到{"stat":"很抱歉，沒有符合條件的資料!"}
換過不同國家的proxy都一樣
用了proxy證交所網頁還有辦法擋掉嗎？
請問有人知道這是什麼原因嗎？ 或可以如何debug？
另一個問題：
我這樣抓10年內的歷史數據，覺得還蠻耗時間的
請問有比較快速的建議嗎？