PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] 爬蟲資料存入db 並製作成api
作者:
relievezaoc
(Nine9)
2018-04-19 17:39:43
目前的需求是想要將資料爬下來之後,再將資料存起來
並且可以做成一支api,讓手機app呼叫直接取得json資料
google之後的想法如下:
1. 寫好一個爬蟲的py檔, 並且將資料存到db
2. 要找一個平臺, 可以定時執行py檔(這樣app才能一直撈到最新日期的資料)
3. 要找一個平臺, 可以將db的資料變成api, 直接讓其它人撈取
(想要讓app可以call一段網址就能拿到資料, 就像openData一樣)
作者:
gojane20
(Jane)
2018-04-19 17:45:00
第2點可以用windows內建的工作排程器定期執行py檔
作者:
uranusjr
(â†é€™äººæ˜¯è¶…級笨蛋)
2018-04-19 17:50:00
Heroku 確實可以
作者:
vi000246
(Vi)
2018-04-19 17:59:00
api可以用flask或hug來做上傳到heroku就能寫手機app去call這支api
作者: fiorentino (眠)
2018-04-19 19:33:00
用flask 寫個Restful 的API server再用uwsgi運行,放digitalocean也可以
作者:
TitanEric
(泰坦)
2018-04-19 19:48:00
我有做過類似的 是存在MongoDB然後用Flask做一個rest API補充一下排程我是用Linux的crontab就是了 要有server就是了
作者:
coeric
( )
2018-04-19 22:13:00
google cloud platform
作者:
f496328mm
(為什麼會流淚)
2018-04-19 23:28:00
可以用 MySQL 免費好架我目前是用 crontab 每天抓data 存在MySQL也有對外IP 只差在手機 app如果是用中華電信 可以免費申請固定IP再用 NO-IP 去轉成實體網址
作者:
coeric
( )
2018-04-20 00:27:00
回樓上,既然都用no-ip了 ddns也可以處理這類問題
作者:
Falldog
(Yo)
2018-04-20 12:14:00
AWS lambda可以考慮一下
作者:
chessman416
(哈士奇)
2018-04-20 13:15:00
資料量體不大的話說不定google app script就可以解決也有排程可以設定,也可以透過get或post拿資料
http://jamyy.us.to/blog/2015/06/7555.html
https://tinyurl.com/yd6fv9h8
https://tinyurl.com/y9e7hgt7
可以參考這幾篇,基本上運用方式很多元,小而巧臨時搭建小服務很方便,我也有掛line bot的服務在這
作者:
vi000246
(Vi)
2018-04-20 22:16:00
感謝分享 原來app script也能寫api
作者:
Luluemiko
(露露)
2018-04-21 11:14:00
推
繼續閱讀
[問題] np.zeros memory error
yowantl
[問題] 關於requests與beautifulsoup安裝問題
Kamehame
[問題] Cannot load mkl_intel_thread.dll問題
jenny33377
[問題] Profiling 包含tensorflow跟CUDA的.py
Morphee
Re: [問題] 求指正
gmccntzx1
[問題] cluster analysis畫圖
iSad56
[問題] 證交所歷史股價 無法自動下載
CaptPlanet
[閒聊] 請問大家python+django都用什麼IDE呀
always30302
Re: [問題] 求指正
Neisseria
[問題] 電影時刻表爬蟲新手問題
students
Links
booklink
Contact Us: admin [ a t ] ucptt.com