Re: [問題] EXCEL抓網路資料

作者: Linkey (Linkey)   2016-06-26 23:37:55
可以用 QueryTable 指定 PostText 方式取得表格
查詢頁面網址:
http://structurednotes-announce.tdcc.com.tw/Snoteanc/apps/bas/BAS210.jsp
PostText:
http://imgur.com/p6lq5L8 (使用IE或Chrome的開發者工具可以錄下)
已到期PostText:1~127 Pages
AGENT_CODE=&ISSUE_ORG_UUID=&SALE_ORG_UUID=&FUND_LINK_TYPE=&FUND_CURR=&
FUND_TYPE=&FUND_STOP_DATE=1&action=Q&LAST_ORDER_BY=FUND_NAME&
ORDER_BY=FUND_NAME&IS_ASC=1&currentPage=1
未到期PostText:1~36 Pages
AGENT_CODE=&ISSUE_ORG_UUID=&SALE_ORG_UUID=&FUND_LINK_TYPE=&FUND_CURR=&
FUND_TYPE=&FUND_STOP_DATE=2&action=Q&LAST_ORDER_BY=FUND_NAME&
ORDER_BY=FUND_NAME&IS_ASC=1&currentPage=1
觀察PostText:
FUND_STOP_DATE=1 or 2 輸入至少一查詢條件
看到關鍵currentPage=1,手動點 ">>",可得總頁數
用 For 迴圈 跑從第一頁到最後一頁
好家在沒有卡Cookies或使用者認證
範例:請依自己需求改寫,在我的電腦跑已到期127頁需要3分鐘共6321筆資料
http://pastebin.com/uWccGW8B
因為看到求救文有關鍵字,才打這麼多 ( ̄▽ ̄#)﹏﹏
沒關鍵字的就只有Refer丟網址
※ 引述《Super16666 (SuperJJ)》之銘言:
: 軟體:EXCLE
: 版本:2010
: 想問怎樣抓下面的資料,我是在TDCC境外平台
: http://structurednotes-announce.tdcc.com.tw/Snoteanc/
: 因為論文需要,想要一口氣抓下方所有的資料(如下圖),可是這個真的太多了...
: http://i.imgur.com/YAdT3ng.png
: 進去網站之後,點左側"商品總覽"
: 我想要一口氣把所有"發行人/總代理人"下方的表格都下載下來
: http://i.imgur.com/c1M7BaTg.png
: 可是有兩個困難點
: 1. 第一個就是從EXCEL的時候,如果我直接COPY網址,他只會連到這個首頁...
: 這樣子就不能直接抓表格...
: 2. 就是他的頁碼介面很不友善,只能一頁一頁點,也要點到最後一頁才知道總共有幾頁
: 而且假設你要到第十頁只能一頁一頁點...
: http://i.imgur.com/TmhefhZ.png
: 想問問看有沒有大神可以一口氣下載全部資料...
: 救救小妹我的論文QQ
: 還是這種python可以解決QQ??
作者: soyoso (我是耀宗)   2016-06-27 03:49:00
那我也將回覆原po使用createobject("internetexplorer.application")的部分補齊 https://goo.gl/L0U1qu

Links booklink

Contact Us: admin [ a t ] ucptt.com