[問題] 爬蟲資料存入db 並製作成api

作者: relievezaoc (Nine9)   2018-04-19 17:39:43
目前的需求是想要將資料爬下來之後,再將資料存起來
並且可以做成一支api,讓手機app呼叫直接取得json資料
google之後的想法如下:
1. 寫好一個爬蟲的py檔, 並且將資料存到db
2. 要找一個平臺, 可以定時執行py檔(這樣app才能一直撈到最新日期的資料)
3. 要找一個平臺, 可以將db的資料變成api, 直接讓其它人撈取
(想要讓app可以call一段網址就能拿到資料, 就像openData一樣)
作者: gojane20 (Jane)   2018-04-19 17:45:00
第2點可以用windows內建的工作排程器定期執行py檔
作者: uranusjr (←這人是超級笨蛋)   2018-04-19 17:50:00
Heroku 確實可以
作者: vi000246 (Vi)   2018-04-19 17:59:00
api可以用flask或hug來做上傳到heroku就能寫手機app去call這支api
作者: fiorentino (眠)   2018-04-19 19:33:00
用flask 寫個Restful 的API server再用uwsgi運行,放digitalocean也可以
作者: TitanEric (泰坦)   2018-04-19 19:48:00
我有做過類似的 是存在MongoDB然後用Flask做一個rest API補充一下排程我是用Linux的crontab就是了 要有server就是了
作者: coeric ( )   2018-04-19 22:13:00
google cloud platform
作者: f496328mm (為什麼會流淚)   2018-04-19 23:28:00
可以用 MySQL 免費好架我目前是用 crontab 每天抓data 存在MySQL也有對外IP 只差在手機 app如果是用中華電信 可以免費申請固定IP再用 NO-IP 去轉成實體網址
作者: coeric ( )   2018-04-20 00:27:00
回樓上,既然都用no-ip了 ddns也可以處理這類問題
作者: Falldog (Yo)   2018-04-20 12:14:00
AWS lambda可以考慮一下
作者: chessman416 (哈士奇)   2018-04-20 13:15:00
資料量體不大的話說不定google app script就可以解決也有排程可以設定,也可以透過get或post拿資料http://jamyy.us.to/blog/2015/06/7555.htmlhttps://tinyurl.com/yd6fv9h8https://tinyurl.com/y9e7hgt7可以參考這幾篇,基本上運用方式很多元,小而巧臨時搭建小服務很方便,我也有掛line bot的服務在這
作者: vi000246 (Vi)   2018-04-20 22:16:00
感謝分享 原來app script也能寫api
作者: Luluemiko (露露)   2018-04-21 11:14:00

Links booklink

Contact Us: admin [ a t ] ucptt.com