Re: [問題] 實做上如何追蹤JS(ajax)敲後台的細節

作者: Neisseria (Neisseria)   2016-04-01 12:39:27
※ 引述《marksam (炸橋)》之銘言:
: 小弟目前在研究用PHP cURL 抓一個網站的資料
: 已知這個網站有用到ajax 還有youtube API
: 想請教大家
: 在實做上 怎麼去追蹤 JS碼的細節(用眼睛看實在太累了)
: 有沒有什麼好工具呢? 怎麼使用? 萬一牽涉到API該怎麼辦?
: 在我的概念上 ajax是從前端JS下指令去後台的一個檔案要資料
: 那我就必須找到:
: 1.那個後台檔案是什麼X
: 2.從cURL直接去敲X
: 3.得到回傳的JSON
: 或是 直接從網站原始碼中挖到 JSON
: 在實做上要怎麼去從原始網站中得到這個 回傳JSON
: 請大家指正 給個方向好嗎? 還是我的觀念上有什麼漏洞呢?
: 感謝~~
如果那個網站本身有提供 API,那就用 API,這是最簡單的方式
如果沒有 API 可用的話,再寫爬蟲去爬
對於沒有用 JavaScript 動態生成網頁的站台
可能就用 HTTP action 取得網頁
像是用 GET 或 POST 或其他 HTTP action,可能適度配上參數
如果有用 JavaScript 產生頁面的站台
就用一些 web automation 的工具,模擬執行網頁的動作
我知道的有 PhantomJS 和 Selenium 兩種
可能要找一下在 PHP 下的可行方案,小弟比較沒在用 PHP
Good luck~
作者: marksam (炸橋)   2016-04-03 23:53:00
感謝您~ 我會去試試找看看!

Links booklink

Contact Us: admin [ a t ] ucptt.com