[問題] 用迴圈request網站無法取得資料 drmexro PTT批踢踢實業坊

[問題] 用迴圈request網站無法取得資料

作者: drmexro (絲瓜瓜瓜) 2017-06-04 13:33:59

前陣子剛開始試著用python撈公開資料庫的資料
程式碼如下
import requests
from bs4 import BeautifulSoup as soup
payload={
"accountingyear":"",
"item":"00",
"crop":"001",
"city":"00",
"btnSend":"(unable to decode value)"
}
accountingyear=["100","101"]
for y in accountingyear:
payload['accountingyear']=y
print(payload)
r=requests.post("http://agr.afa.gov.tw/afa/pgcropcity.jsp",data=payload)
print(r)
soup=soup(r.text.encode('utf-8'),'html.parser')
print(soup)
原本預期會得到100年, 101年的資料
可是結果是
{'accountingyear': '100', 'item': '00', 'crop': '001', 'city': '00',
'btnSend': '(unable to decode value)'}
<Response [200]>
<html><head>......</html>
{'accountingyear': '101', 'item': '00', 'crop': '001', 'city': '00',
'btnSend': '(unable to decode value)'}
<Response [200]>
[]
結果變成只有得到100年的資料，101年的資料只有[]
想知道是要如何解決
謝謝

作者: neil987 (R5大小姐-EX人品崩壞) 2017-06-04 16:04:00

btnsend是有數值的請用decode看看是什麼說錯=>encode... http://i.imgur.com/3Qyour0.png然後好玩的一點是 request得到的text是正常的是丟進去soup的地方壞掉了你可以試試看print r.text為什麼壞掉看看你前面import soup 又用soup作為變數所以把soup這個名稱改掉就會正常了

作者: drmexro (絲瓜瓜瓜) 2017-06-04 18:01:00

原來如此居然是在這種地方錯誤…謝謝

繼續閱讀

[問題] simplecv 使用手機當作ip camny397789 [問題] 抓取臉書資料限定日期範圍p2p8ppp [問題] Python3.4.3有升級的必要嗎？yimean [問題] Selenium 擷取跳出視窗ntumath [問題] PTT爬蟲請問如何送出 end?CodingMan [問題] opencv 取得座標之後的截圖問題neil987 [問題] 字串切割問題LessonWang [問題] 新手爬蟲遇到Refresh如何解決？jakeasa123 [問題][已解決] python 新手發問yaochi [問題] 關於online judge使用者多行輸入的問題LessonWang