最近練習爬資料時,
在爬蝦皮發現返回的資料量很少且
爬到100筆左右數據以後會返回虛假
資料。
嘗試過消除瀏覽器cookie:
1.模擬常人訪問時間
import time
import random
time. sleep(random.randint(1,9))
2.固定狀態更新cookies, 用requests. cookies. get_dict(),觀察發現更新後的cookie
跟我定義的cookie字典不同,在想是否有session Id留在蝦皮伺服器記錄session
import requests
session=requests.session()
params={}
cookie_dict={}
headers={}
session. cookies. update(cookie_dict)
session. get(url,cookies=cookie_dict,
params=params,headers=headers)
3.proxies={"http":"代理ip","https":"代理ip"}
請求頭加入proxies=proxies
1,2試過無效,3每次用都404斷線,想請問版上高手的建議,謝謝!