[討論] api到db的定期資料串流

作者: ms0344303 (我不玩了)   2022-04-13 11:41:44
如標題
敝人有一個case需要定期從某個api取得資料 稍微處理 並塞入到指定db中
同時往後有其他api資料來源的話因為格式可能不同
需要做針對異質資料來源其他處理模組 整合成統一格式再塞入
簡單來說就是整合異質資料並同質化的data loader
除了用比較土炮的爬蟲腳本服務化之外
還有比較好用的方式嗎
企業方向的解決方案也可?
感謝
作者: MOONY135 (談無慾)   2022-04-16 21:35:00
這種東西不會有企業解決方案 自己寫吧
作者: ms0344303 (我不玩了)   2022-04-17 10:28:00
後來找到了 一堆公司在做這個...airbyte hevodata fivetran 國產也有netpro...還有免伺服器企業託管訂閱機制
作者: yaurtusn (擎天崗小牛)   2022-06-03 10:18:00
一窩蜂

Links booklink

Contact Us: admin [ a t ] ucptt.com