[問題] 網路爬蟲八卦版 l8PeakNeymar PTT批踢踢實業坊

[問題] 網路爬蟲八卦版

作者: l8PeakNeymar (十八尖山內馬爾) 2018-04-25 15:57:08

這個問題困擾我一段時間
因為網路上都是python或java的教學
想請問用C# console專案來爬蟲的問題
目前只要爬到八卦板或是西斯板之類的
像是我要求看這個網頁：
https://www.ptt.cc/bbs/Gossiping/M.1234567890.A.D55.html
回傳卻是這個：
https://www.ptt.cc/ask/over18
在思考要怎麼把自己已滿18歲認證的˙Cookies一起送給伺服器
亂試很多class：
System.Net.Cookie、HttpWebRequest、WebRequest...
結果都不行因為其實我也不懂原理
請問有板友可以教學嗎？非常感激！

作者: YahooTaiwan (超可愛南西我老婆) 2018-04-25 16:09:00

over18 設成 1 呢?

作者: l8PeakNeymar (十八尖山內馬爾) 2018-04-25 16:10:00

有在Python教學看到這行可是我是很基礎的不懂QQ

作者: vi000246 (Vi) 2018-04-25 18:08:00

不要用C#寫爬蟲 cookie跟session會搞到煩死有個叫RestSharp的lib 不知道有沒有支援cookie了你可以研究看看

作者: free112136 (Free) 2018-04-25 19:07:00

用c#寫爬蟲不會有問題啊？cookie與seesion對client來說都是cookie，會有問題表示cookie的處理不熟悉吧？我猜樓主是domain問題

作者: l8PeakNeymar (十八尖山內馬爾) 2018-04-25 20:01:00

我寫C#但是沒碰過網頁如果有範例願意5000P酬謝

作者: MOONY135 (談無慾) 2018-04-25 22:48:00

500P請直接轉給我XDDD

作者: vi000246 (Vi) 2018-04-26 01:20:00

C#遇到cookie麻煩的點在要把cookie用變數存起來每次的request都要取需要的cookie可以看看我寫的伊莉爬蟲https://goo.gl/U7SgHk現在可能有比較方便的套件或是我當時的寫法比較不成熟不知道有沒有更好的處理方式現在才看到有P幣XD 那我講解一下好了 32行宣告一個HttpWebRequest 39行將CookieContainer初始化42~44行將同意瀏覽18禁的cookie加到CookieContainer48~61行組出一個post請求 64行取得回傳結果

作者: free112136 (Free) 2018-04-26 07:58:00

我從你給的原始碼來看，因為你每次都是new新的request物件，當然要用cookie要重設定

作者: vi000246 (Vi) 2018-04-26 08:26:00

原來如此找時間來測一下已收到原po紅包謝謝f大我有個問題如果要向不同url發請求要怎麼用同一個HttpWebRequest物件呢剛google到的範例比較簡潔的寫法https://goo.gl/uKXWt4

繼續閱讀

[問題] 怎麼用C#取得資料表的每一個Column的描述ken1325 [問題] 請問將Binary File讀取裝進byte陣列?chrishappy11 [問題] 如何擷取VS的httpclient發出的封包aoksc [問題] c#與視訊攝影機結合kn02545454 [問題] Asp.net 在IIS上無法切換頁面areyo Re: [問題] 如何抓到USB傳來的訊號 (鍵盤)(更新)iamrtp [問題] ToolStripMenuItemGooLoo [問題] 開和關exeGooLoo [問題] Event裡若有共用變數，需要lock嗎?james999 [問題] 如何抓到USB傳來的訊號iamrtp

[問題] 網路爬蟲 八卦版

[問題] 網路爬蟲八卦版