1. PTT
  2. Web_Design

[問題] 如何改善ptt爬蟲速度？

作者: samrt5566 (我不是聰明56)   2019-10-20 08:51:38
嗨大家好
小弟最近無聊用nodejs和html寫了一個簡單的ptt爬蟲
目前基本上換頁和換版都是讓爬蟲再去爬一次下一頁
但發現這樣速度實在是慘不忍賭
逛了各大網頁版ptt
總覺得他們應該是用不同的方式在處理
請問各位大大 如果在寫這種網頁版有什麼訣竅嗎
還是說應該用不是爬蟲的方式去寫呢
感謝
作者: vi000246 (Vi)   2019-10-20 12:12:00
他們應該都是爬好存在自己的DB了
作者: samchung (不是咖啡店小開XD)   2019-10-20 15:39:00
先取出文章網址，直接爬網頁就省下換頁效能不佳的問題了
作者: shter (飛梭之影)   2019-10-21 01:10:00
https://www.ptt.cc/atom/ALLPOST.xmlhttp://rss.ptt.cc/ALLPOST.xml
繼續閱讀
Re: [問題] 網域申請網域申請是不是都沒有WWWaltecjc[問題] 使用Django傳遞數據給javascriptinterwise613[問題] 網域申請網域申請是不是都沒有WWWjohnsky75[問題] bootstrap 改 class 過慢，和排版小問題ekids1234[問題] 視窗滾動到物件時觸發functionReadSnow[問題] 請問google console出現這段問題是什麼意chn92150[資訊] AI技術工程師 職前訓練 (勞動部課程)oepan[問題] Webpack-dev-server開發時的速度heavenbetula[問題] 已解決～第二網域無法進入後台ricebugjudy[問題]動態接資料並印出文件a5772803

Links booklink

Contact Us: admin [ a t ] ucptt.com