目前的專案是需要對多個網站抓數據下來
有將httpwebrequest包成一個方法,並使用多線程去跑
方法最後有將request abort以及response close還有設定為null
方法最前有GC.Collect();
request的keep-alive設定為false
ServicePointManager.DefaultConnectionLimit設定為512
十多個網站中,有兩個常會出現逾時,其他網站不會
軟體單獨對這兩個網站取數據不會出現
同時對十多個網站抓取數據才會發生
每個網站各自的抓取間隔皆為2秒
原本想說是不是網站本身問題,但是不全部一起抓就不會發生逾時
想請問板上前輩,還有什麼問題是可能造成這樣的狀況發生?
感謝