[問答] 想要自學瀏覽器與網站的交互機制(已解決) judark PTT批踢踢實業坊

[問答] 想要自學瀏覽器與網站的交互機制(已解決)

作者: judark (judark) 2022-10-18 01:10:57

最近在自學網路爬蟲，一開始用BeautifulSoup
抓一些簡單的靜態網頁沒有問題，抓下來一大串html
我可以用re去解開來一個一個看
但對於需要更進階操作的網站，就顯得有些吃力
我知道可以進一步去學習Selenium或Scrapy
但在那之前，我想先學習一些網站的基本原理
市面上的書通常只會教傻瓜式的架站
我想了解的是，我打開瀏覽器，F12開後台
Network頁面裡面的各種機制
像是瀏覽器式怎麼知道要怎麼下request
網站response的格式是從哪邊取得，怎麼知道要怎麼解
請問有推薦的詳細教學網站或書籍嗎？
感謝

作者: LeonH (Leon) 2022-10-18 06:31:00

可以去認識一下 HTTP

作者: CP64 ((￣▽￣＃)﹏﹏) 2022-10-19 12:10:00

往下可以看 HTTP/HTTPS 跟再下去一點的 TCP/UDP往上可以看基本的 HTML5/JavaScript/CSS 以及 DOM 相關往上的部份在 Mozilla 的 MDN 上可以找得到

作者: judark (judark) 2022-10-20 16:41:00

感謝CP64的指引

作者: LeonH (Leon) 2022-10-17 22:31:00

可以去認識一下 HTTP

作者: CP64 ((￣▽￣＃)﹏﹏) 2022-10-19 04:10:00

往下可以看 HTTP/HTTPS 跟再下去一點的 TCP/UDP往上可以看基本的 HTML5/JavaScript/CSS 以及 DOM 相關往上的部份在 Mozilla 的 MDN 上可以找得到

作者: judark (judark) 2022-10-20 08:41:00

感謝CP64的指引

作者: pichubaby (Pichu) 2022-10-23 18:57:00

英文吃的動的話想打好基礎就去看RFC 我從2616看的然後現在都有HTTPS了，所以比十年前困難一些但是Wireshark還是很棒的工具

繼續閱讀

[問答] 共用資料夾的IP問題anhbclbe rspan與local span各側錄封包的mac會一樣嗎？HILL33LOVE [除錯]Deco M4有訊號但偶爾連不上網路junghsin623 [問答] Netgear 交換器壞了，請推薦換哪一個牌ironmanstock [問答] 雙WAN的Router能否一台當兩台用HeroFun [問答] 都用有線回程三頻機獨立頻道能讓出來嗎?waiter337 [問答] 請教網路遮罩與ip範圍（已解決）roger0918 [除錯] 部份設備拿到DHCP的閘道為0.0.0.0asd721 [除錯] AX23 比另一台WI-FI 5還慢fu1vu03 [問答] 有線異常，無線正常。IPv4異常，IPv6正常。wtmjs