[請益] 自動更新且備份網頁

作者: thinkgod49 (不隨便的人)   2016-10-26 06:52:48
個人工作室目前預計進行一種類似網路虛擬遊戲幣選擇權、寶物的小筆買賣生意
該交易方式全部都藉由網頁上的討論區執行
類似8591
但今天只要是買賣方刊登商品,不論成交或刪除下架等,該討論區完全不會留下任何資料
,所以即便可能討論區前後2小時文章完全一樣不變,其中卻早已成交了數十筆交易,假如
要設計一款可以人不用在電腦前,只要有人刊登新的文章,就可以自動進入該文章且儲存
那篇文章的網頁內容的軟體。
(最好可以在背景程式下作業,讓電腦可以同時做別的事)
請問假如程設底子是零,想做到以上這樣內容的軟體會不會很困難?
是想藉機讓自己碰觸一些這類的領域卻又不知如何下手
還請神人大大指點迷津,該研究那一方面的開發程式
另外想請問這樣的軟件,若請人設計,報價大約在多少範疇才會不失禮數?
作者: ripple0129 (perry tsai)   2016-10-26 09:02:00
初學要研究的話我會說去看python requests api,這種程度的程式估計幾千就會有人接了。
作者: MOONY135 (談無慾)   2016-10-26 10:47:00
網路爬蟲可以做到每一分鐘掃一下 之前做過PTT GAMESALE版的爬蟲我大概12hr寫完初版 又多花20hr寫完整
作者: s860134 (s860134)   2016-10-26 12:19:00
python 找程式碼湊一湊不用多少時間
作者: amge1524 (台灣加油)   2016-10-26 13:06:00
說真的 加入哩哩拉拉小細節 至少5000up如果要弄的很好其實到萬也有可能
作者: ckvir (ckvir)   2016-10-26 13:53:00
每分鐘掃 那每分鐘中間交易的不就沒抓到
作者: GoalBased (Artificail Intelligence)   2016-10-26 14:10:00
說幾千的快點接阿0.0
作者: pooznn (我~~~是來被打臉滴!!!)   2016-10-26 14:37:00
爬的太頻繁 有些網站也會踢吧
作者: vi000246 (Vi)   2016-10-26 14:47:00
如果討論區沒有防範爬蟲 寫起來很快
作者: gmoz ( This can't do that. )   2016-10-26 17:09:00
感覺淺在要求很多 應該要破萬
作者: ns1234 (FAR)   2016-10-26 21:30:00
阿就爬蟲阿..如果目標網站會擋頻率過高的 換IP或多機器跑
作者: ripple0129 (perry tsai)   2016-10-26 21:33:00
沒潛在需求真的幾千能搞定啦,但遇到各種block棘手的話自然加價了
作者: manaup   2016-10-26 22:47:00
很簡單 大概一千二就可以了 XD (但找我決對不接的 科科
作者: viper9709 (阿達)   2016-10-26 23:31:00
原來這樣只要幾千塊@@
作者: ripple0129 (perry tsai)   2016-10-26 23:40:00
設定每幾秒一個request看網頁有沒有多新文章或舊文章有沒有update過,有就進去存檔,這樣的需求幾千不意外吧。就怕上面說的隱藏的需求或block出現自然價格就不一樣了。
作者: brucetu (sec)   2016-10-27 00:41:00
我感覺估幾千的都沒估UI製作耗時只有算到資料存下來沒估後續怎麼有效瀏覽
作者: ripple0129 (perry tsai)   2016-10-27 00:49:00
其實我只想到log沒去想UI XD不過同篇文章同log也不難讀啦,要更好瀏覽的UI自然一分錢一分貨了
作者: CRPKT (crpkt)   2016-10-27 08:40:00
https://scrapinghub.com/pricing/ 直接參考現成的吧http://bit.ly/2fhiZGe Quora 上還有很多家
作者: YahooTaiwan (超可愛南西我老婆)   2016-10-27 09:53:00
這幾千塊誰要接阿,現在流行亂報價嗎
作者: snaketsai (さいでんし)   2016-10-27 10:19:00
單純只爬完資料,吐json之類的序列化結果不負責後續blocking、其他UI視覺化等等的話或許可以找缺錢的學生寫看看上述python的話用scrapy或urllib+美麗湯兜一下湊活用
作者: TSW (翹班帝國)   2016-10-27 12:14:00
這種的不用想UI吧,直接爬HTML+CSS下來
作者: ChungLi5566 (中壢56哥)   2016-10-27 12:47:00
Chrome裝自動重整的插件 設定每10秒重整然後再把螢幕畫面錄製下來 選我選我
作者: Kazimir (Kazimir)   2016-11-12 19:14:00
如果只是要把網頁爬來當然容易,可是我沒有看到你之後打算怎麼運用資料?你要人工看的話幾千塊ok吧

Links booklink

Contact Us: admin [ a t ] ucptt.com