[SQL ] 幾億筆的大資料表插入速度慢的問題! jami520 PTT批踢踢實業坊

[SQL ] 幾億筆的大資料表插入速度慢的問題!

作者: jami520 (我的生命因你而發光) 2018-12-11 06:54:30

（針對 SQL 語言的問題，用這個標題。請用 Ctrl+Y 砍掉這行）
資料庫名稱：Mysql
資料庫版本：5.5
內容/問題描述：
目前有個資料表有2.8億筆數據，每天都是持續增加的狀態(有index)
但最近開始發現插入速度上變得很慢
不曉得是否一個資料表的數據量有所限制嗎?
那針對這樣持續會增加資料的資料表造成插入速度慢的情況
不曉得大家都是怎樣處理這一塊呢?
總不可能過了二年數據又變成四億多筆再來處理這一環就麻煩了
謝謝

作者: qwaszx780917 (白目涼良) 2018-12-11 15:16:00

以前公司類似情況會取消index 快ㄧ些些

作者: jami520 (我的生命因你而發光) 2018-12-11 16:30:00

但如果有index需求，以及資料依然會越來越多的情況下有否怎樣的解決辦法呢?

作者: hala932 (成王敗寇) 2018-12-11 18:04:00

拆表呢?

作者: Litfal (Litfal) 2018-12-11 18:48:00

拆表阿歷史資料和本週資料之類的

作者: konkonchou (卡卡貓) 2018-12-11 20:08:00

index影響插入最深，能簡化就簡化，樓上拆表是常見作法但拆表還是要視資料擷取去拆，有的會拆年度不同表名

作者: shadowjohn (轉角遇到愛) 2018-12-12 16:02:00

如果事先建空值，新內容用update的會不會比較快?

作者: qwaszx780917 (白目涼良) 2018-12-11 23:16:00

以前公司類似情況會取消index 快ㄧ些些

作者: jami520 (我的生命因你而發光) 2018-12-12 00:30:00

但如果有index需求，以及資料依然會越來越多的情況下有否怎樣的解決辦法呢?

作者: hala932 (成王敗寇) 2018-12-12 02:04:00

拆表呢?

作者: Litfal (Litfal) 2018-12-12 02:48:00

拆表阿歷史資料和本週資料之類的

作者: konkonchou (卡卡貓) 2018-12-12 04:08:00

index影響插入最深，能簡化就簡化，樓上拆表是常見作法但拆表還是要視資料擷取去拆，有的會拆年度不同表名

作者: shadowjohn (轉角遇到愛) 2018-12-13 00:02:00

如果事先建空值，新內容用update的會不會比較快?

作者: howfeeling (行) 2018-12-22 20:54:00

我改用redis

作者: howfeeling (行) 2018-12-22 12:54:00

我改用redis

作者: et69523820 (小豬) 2017-01-09 07:53:00

分區可能會改善

繼續閱讀

[SQL ] Deadlock found when trying to get lockx9060000456 [SQL ] 能否請各位幫我轉換成linq語法?Tenno081 [請益] access表單無法輸入kikiya215 [SQL ] SQL語法求解析Yudii [討論] MS SQL找記憶體耗用最多的Accountwn0203 [討論] 請問Oracle如何做tablespace 成長趨勢?chings22 Re: [Access] 重複項目中查詢出最新日期和數量cutekid [Access] 重複項目中查詢出最新日期和數量skytranquil [書籍] 請求推薦T-SQL的書aoksc [SQL] 取數個最新卻不重複的資料yuoo1580