[問題] python抓網頁資料問題 sariel0322 PTT批踢踢實業坊

[問題] python抓網頁資料問題

作者: sariel0322 (sariel) 2014-12-23 21:40:26

不好意思又來發問，而且這次不知道算不算純python問題
想請問一下，我用beautifulsoup來抓取網頁資料
想要抓的是這個網頁按下"perform"的資料
原本的網址:http://web.expasy.org/cgi-bin/peptide_mass/peptide-mass.pl?P35225
按下後會跑出這一類的資料
http://ppt.cc/xTj1
但是這些資料的網址卻變成:http://web.expasy.org/cgi-bin/peptide_mass/peptide-mass.pl
用beautifulsoup抓的時候就變成錯誤了，用這網址當然也不能用
想請問一下，我該怎麼抓附圖的資料

作者: Seudo (進擊的三笠) 2014-12-23 23:28:00

requests.post(url,data={'protein':'P35225'}).text

作者: Thisisnotptt (這不是PTT) 2014-12-23 23:55:00

http://pastebin.com/McZWCQq7你試試看行不行，有用到mechanize套件送出相對應的POST他就會給你對的資料了

作者: sariel0322 (sariel) 2014-12-30 23:36:00

好像不行...一樓可以讀，但是重要的table的資料出不來

作者: Seudo (進擊的三笠) 2014-12-31 17:49:00

form都填完就會有table資料了http://pastebin.com/bXMu52QX

繼續閱讀

[問題] Django仿做網頁部分功能tino9808 [閒聊] Rusthonchangyuheng Re: [問題] 透過 Python 即時更新 Excellargesperm Re: [問題] 大量資料程式抓取alibuda174 [問題] 大量資料程式抓取sariel0322 Re: [問題]我寫的爬蟲只會爬到第一個符合條件的Seudo [問題]我寫的爬蟲只會爬到第一個符合條件的elmo56 [問題]scrapy如何將item的資料成對的儲存起來? allen511081 Re: [問題] function 的預設值Seudo [問題] function 的預設值ql4au04