[問題] 大數據批次更新的方式 jfla PTT批踢踢實業坊

[問題] 大數據批次更新的方式

作者: jfla (J-Fla) 2018-10-24 17:42:27

若在一mysql中有8個table要更新數據
每一table更新的數據約60萬筆資料
請問以下更新的方法是否可行?
開10條執行緒(需要10個connection)
第1條執行緒從第1筆開始更新
第2條執行緒從第5萬筆開始更新
第3條執行緒從第12筆開始更新
....
第10條執行緒從第50筆開始更新
請問這樣子的方式可行嗎?

作者: qrtt1 (有些事，有時候。。。) 2018-10-24 17:46:00

為什麼要這麼做？你想解決什麼樣的問題？

作者: pupuliao (pupu) 2018-10-24 18:01:00

當然是可以啊? 變快變慢不知道而已你可以測試看看

作者: kogrs (kogrs) 2018-10-25 00:02:00

60萬應該算不上大數據吧?

作者: qrtt1 (有些事，有時候。。。) 2018-10-25 00:32:00

你是打算多快！？要有個門檻出來，拿工具量一量，再來看要不要改它吧。你資料產出的那一端，到底每秒能生多少筆？你的消耗端 (mysql) 只要能承受比它高，就算達標了唄。

作者: jej (æ™ƒå¥¶å¤§é¦¬æ¡¶) 2018-10-25 12:46:00

用java這麼多次io當然慢寫sp吧 60小case啦

作者: now99 (陳在天) 2018-10-26 09:03:00

先看60萬的條件吧

作者: swpoker (swpoker) 2018-10-26 10:58:00

這應要該要用sp去弄啊，不要硬用java啊

作者: adrianshum (Alien) 2018-10-27 12:13:00

SP 不見得會比較好，視乎OP 要做什麼。比如是每天拿到60萬筆的檔案，再根據檔案內容update, 用stored proc 不見得會跑得快，還要考慮整體架構

繼續閱讀

[問題] 新手物件導向問題chinsun [書籍] 售9.5成新 JAVA SE 8 基礎必修課bokxko1023 [問題] 多執行續的消費者和生產者obelisk0114 JCConf 2018 售票快結束了！kojilin [問題] 關於x^n/n!cheng220 [新聞] 長期支援版本Java 11釋出，更新TLS 1.3並加入高效能垃圾回EijiHoba [問題] 請推薦spring mvc/boot 書籍fyon Re: [問題] Spring @Transaction 問題reon ZK問題求解falink Re: [問題] 回傳區域變數問題darkk6