[請益] excel轉資料庫(大量計算)

作者: scalawax (aliang)   2021-06-22 16:27:52
各位大大您們好,
我正在做實價登錄的分析,因為實價登錄的資料有點亂,所以我寫了一堆算式去算,但是
一個檔案都太大(至少150-180MB),所以每次更新都要跑一整個晚上,重點是還不知道
是否有跑完(三不五時會發現計算錯誤)。。。。
想改到資料庫或其他的架構,是不是真的會比較快?但是重點是有辦法處理大量的計算。
。。。
真的不知道該用什麼。。。
我不是唸相關科系的,實在不知道該從哪裡下手。。。。
想聽聽大家專業意見,不管是ACCESS或是python或是有其他大家覺得更好的方式 ,有一
個方向我再去好好鑽研。。。
麻煩大家幫我指點明燈~~~ 跪恩!
作者: airtsubasa (偽學姊)   2021-06-22 16:30:00
換電腦
作者: gnseed (YA小猜)   2021-06-22 16:34:00
演算法寫得不好吧...連G都沒出現的資料不能稱為大
作者: final01 (牛頓運動定律)   2021-06-22 16:37:00
excel?? 那個不是很慢
作者: ntpuisbest (阿龍)   2021-06-22 16:37:00
用r data table 寫的非常快
作者: kokolotl (nooooooooooo)   2021-06-22 16:51:00
excel函數一大就算到死了 改用R或python都舒服很多
作者: Virness   2021-06-22 17:04:00
mysql mongo都可以我之前也是excel超痛苦
作者: MOONY135 (談無慾)   2021-06-22 17:05:00
看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變大 後者的話直接建議塞進db 前者大概就是換語言讀寫
作者: enthos (影斯作業系統)   2021-06-22 17:16:00
作者: azzc1031 (azzc1031)   2021-06-22 19:43:00
python去讀 再去下你要看的函數
作者: lazarus1121 (...)   2021-06-22 20:04:00
把function換成vba來跑會快不少之前資料量大用excel都盡量不寫函數,不然下拉時容量跟耗的效能都會等比成長
作者: tedmax100 (Nathan-Lu)   2021-06-22 21:04:00
不動產業的RD??
作者: DrTech (竹科管理處網軍研發人員)   2021-06-22 21:57:00
才不到200M,用程式讀到記憶體算,就解決了。根本不用資料庫。
作者: yyc1217 (somo)   2021-06-22 23:24:00
要不要試試看Google colab
作者: qazxws (QAZ)   2021-06-23 00:13:00
Apache Spark
作者: new122851 (未若柳絮因風起)   2021-06-23 00:32:00
Hadoop
作者: marc47 (思樂冰)   2021-06-23 01:41:00
作者: KeyFSN ( ~☼☽✩☁~ )   2021-06-23 12:42:00
才 180 MB 根本不用什麼 spark 啦 XD直接 python 全讀到 memory 然後算一算就結了
作者: sammythekid (山米樂其得)   2021-06-23 14:57:00
樓上講完了
作者: enthos (影斯作業系統)   2021-06-23 19:22:00
作者: wahaha279 (哇哈哈:3)   2021-06-24 00:19:00
用aws elk做資料搜尋
作者: adsl12367 (adsl12367)   2021-06-24 15:50:00
DB用哪一個?
作者: scalawax (aliang)   2021-06-24 18:30:00
哈哈哈哈,謝謝大家的幫忙,但大家的回覆我真的看不懂,大家實在是太專業了。。。。我是在一家建商,老闆常叫我做市調,所以自己弄了套excel+power BI,看來得來自學python了。。。。
作者: alivetaxi (阿什麼)   2021-06-24 20:28:00
試試access 應該夠用了
作者: divergience (難得喝到 Cherry Coke)   2021-06-24 20:50:00
VBA 就夠了
作者: alice78226 (紫)   2021-06-24 23:37:00
excel和power bi有沒有裝64位元的,記憶體有沒有加到32G?32位元的軟體跑不動很正常。
作者: jinmin88 (晝伏夜出)   2021-06-25 19:37:00
c#的話我記得有excel lib支援yield return
作者: acgotaku (otaku)   2021-07-02 18:24:00
Amazon Athena申請一個,資料丟進去 你會發現魔法

Links booklink

Contact Us: admin [ a t ] ucptt.com