1. 大量LOG寫入,最常用的方式是檔案檔紀錄,採sequence write.
2. LOG資料量不大,可採用NOSQL
記住不要建索引,要有insert 1TB資料,資料庫會使用1.4TB的心理準備(看你怎麼存)
3. Log 查詢 DB, 只存Meta DATA
Input -> mining -> Log Search DB
或
大量Log Data -> mining -> Log Search DB
4. 系統架構
INDEX DB (GB ~ TB 索引)
LOG FILE DB (100TB ~ PB Raw Data)
※ 引述《OpenGoodHate (什麼東西什麼東西)》之銘言：
: 資料庫名稱：MSSQL / MYSQL
: 資料庫版本：2014 / 5.5.22
: 內容/問題描述：
: 其實還在架構選擇中
: 就是目前有個需求是要記錄每個USER每秒產生的一筆LOG
: 如果是這樣
: worst case　就是一個user 一天要產出86400筆記錄
: 有1000個user 的話不就一天要記錄86400000筆
: 沒一個月資料表應該就破億筆
: 想請問如果有log 需求的話通常會怎麼寫
: 這個log 是要可以隨時被查詢的
: 若是算保存3個月(或1個月)的話該怎麼處理
: 因為目前的主機打算租用在Azure，服務環境應該就是ASP.NET
: 所以也有硬碟容量限制
: 有想過自動分表，但是以月份分表難保不會隨著使用著的成長會有更大量的資料
: 或是這個情況要考慮NOSQL 的解決方案??
: 目前是全新案子剛起步，所以要NOSQL 可能也要等目前架構真的爆炸才會換吧