[問題] htmlagilitypack 作業逾時?

作者: Ghostxwolf (五十炒去三色豆)   2015-11-21 14:23:55
大家好
昨天寫好一支程式要用htmlagilitypack去網路上抓資料
並且存入資料庫內
目前要抓的資料大約有50筆(也就是有50個網頁)
可是不知道為何程式在跑的時候
在using(MemoryStream ms = new MemoryStream(client.DownloadData(url)))這邊
會跑出作業逾時的問題
按下繼續(F5)後他又就會繼續開始抓
而每次跑出作業逾時的時間都不太一樣
例如抓了6筆資料後出現
又抓了1筆資料後出現
再來可能在抓個3筆資料後出現
上網查了一下是說要設Timeout就能解決
但htmlagilitypack沒有這項設定......
而我另外想了一個辦法是
當他跑出作業逾時的時候能自動繼續 (因為之後要抓約10000筆資料)
這我就不知道怎麼設定 上網也查不到相關資料
請問該怎麼辦呢?
謝謝!!
作者: soup514   2015-11-22 11:49:00
override getwebrequest 自己加timeout

Links booklink

Contact Us: admin [ a t ] ucptt.com