[問題] 關於requests.get中的header hsiaoeddie PTT批踢踢實業坊

[問題] 關於requests.get中的header

作者: hsiaoeddie (eddie) 2018-12-26 23:05:23

大家好，小妹我最近在學習爬蟲的時候常常遇到requests.get()找不到全部的<tag>的情況。
Google了一下後發現是某些內容是需要在get中加入header才會跑出來。但問題就來了，我要怎麼知道我要爬的區域的header是哪一部分？
有什麼方法是可以由網頁內容直接判定所屬的header的嗎？
求大家幫幫忙～感激不盡

作者: f496328mm (為什麼會流淚) 2018-12-26 23:08:00

一律全加header，這才是好習慣

作者: s860134 (s860134) 2018-12-26 23:35:00

否　沒有這種方法　完全看　server 撰寫者高興伺服器我架的，想檢查甚麼就檢查甚麼，乖乖送就是唯一解

作者: nini200 (200妮妮) 2018-12-27 00:50:00

瀏覽器看的到 python抓不到大概就要加header了參考一下然後全加就妥妥的了

作者: TakiDog (多奇狗) 2018-12-27 08:49:00

瀏覽器送什麼就仿什麼，全仿下來快樂沒煩惱

作者: hoho8 (hoho) 2018-12-27 15:46:00

伺服器：我全都要

繼續閱讀

[問題] 在macbook上括號如何自動補全CK0201 [問題] 關於Dcard的爬蟲批量下載圖檔liwei290341 [問題] keras LSTM typeerrorpig98520 [問題] 想請問流水號之生成寫法mimick Re: [問題] not in 檢查list元素會失敗嗎？abc2090614 Re: [問題] python 爬取pchome資料wsybu [問題] not in 檢查list元素會失敗嗎？ofspring [問題] 請教爬蟲bs4如何去除標籤?nini200 Fw: [問卷] 台灣AI人才進修研究調查ohhahaha [問題] import requests請教vincent5425