[討論] NoSQL database 測試

作者: brandonron (假嗨)   2014-08-05 16:44:44
若內容有違版規請告知,我會立即刪除
問題:
我想請問一下,若是寫入1TB的資料量大約都要花費多久的時間??
自己用Thrift測試,每筆rowkey 5個column value
以下是自己測得的時間數據:
1萬rowkey的資料大小約1.1MB
HBase : 4~5 sec
Cassandra : 3~4.5 sec
10萬rowkey的資料大小約10.3MB
HBase : 13~15 sec
Cassandra : 10~12 sec
100萬rowkey的資料大小約102MB
HBase : 110~115 sec (約1分50秒左右)
Cassandra : 101~108 sec (約1分30秒左右)
(以上都是將column 批次蒐集後再寫入的結果,並沒有使用rowkey 對映一個column
value 就寫入的作法)
觀察耗費時間幾乎呈線性成長,如果我依此推敲到1TB的資料大小
一次要寫入到資料庫,幾乎要花費1~2個禮拜(可能會超過2個禮拜)
想請問一下,各位是否有寫入1TB資料量的經驗?
想問各位大約知道會耗費多少時間?1天?7天?14天?
我這樣的推敲出1TB耗費的時間是否正確?
作者: futureq (無名再見)   2014-08-06 16:01:00
硬體因素也有關係..自已測最快
作者: brandonron (假嗨)   2014-08-07 10:26:00
回f大,自己測50GB花了快1天時間..平均1GB要13~15分鐘

Links booklink

Contact Us: admin [ a t ] ucptt.com