Re: [SQL ] 大量LOG記錄架構選擇

作者: popcorny (畢業了..@@")   2015-05-12 15:21:48
※ 引述《OpenGoodHate (什麼東西什麼東西)》之銘言:
: 感謝P 大提供建議
: log 的項目只是一些機器記錄的參數
: (可以想像是Apache LOG 這樣,只是是一個人一秒一筆)
: 目前想到一個方法就是直接每個人每週或每月開一個文字檔寫入
: 然後再用LOG PARSER 去處理剩下的事
: 應該比較能讓架構單純化
: 機器打算租用標準A2
: 再定時把log 撈回本地端存放
: 這樣的預估量應該在初期是夠的
用回的好了..
你的做法很好,但是我建議可以全部放在同一個Log檔案
每天log rotate一次並且壓縮
編碼可以用
user_id, metric1, metric2, ....
這樣的好處是你的App不用開太多檔案
再來就是也比較方便將來分析統計
csv(或是tsv)的好處是很多分析軟體都支援
方便你以後分析或是import到DB, excel
以你的需求.. 甚至A1就可以了
sequential write其實超快的

Links booklink

Contact Us: admin [ a t ] ucptt.com