[關鍵字]: R, big data
[出處]: http://blog.eoda.de/2013/11/27/five-ways-to-handle-big-data-in-r/
[重點摘要]:
1. 怎樣的資料算大？
Hadley Wickham: 當處理資料的時間超過開發程式的時間
Jan Wijffels:
- < 10^6, R 可以容易的處理
- 10^6 ~ 10^9: 花點心思可以用R 處理
- > 10^9: Map Reduce, R + Hadoop
2. 如何處理大資料:
- 抽樣
- 擴充硬體 (64-bit R 最多可以吃 8TB的RAM)
- 在硬碟上處理 (請參考套件ff和ffbase)
- 和C++ 或java整合 (請參考套件Rcpp或rJava)
- 更強大的interpreter (請參考pqR, Renjin, TERR和Oracle R)

感謝

8TB = =a 是我在用的1000倍

記憶體大速度有變快嗎?

memory加大不會變快,只是能載入較多的資料,相對是變慢1000台8G就有8TB了

會不會變快要case by case來看，因為每個程式的瓶頸都不同

重點應是一般來說R只能在記憶體運作啊

推

8T機器去那買

去amazon or google租,不用買.