沒什麼不同
唯一的差異在數據量大小
平常都是用spark在跑
前幾天跟同事想試用scikit learn跑個東西
他把json抓下來20G一塞進去python read_json
直接電腦黑屏給他看
兩周量而且已經篩過的的資料
正常一天大概有200~400G左右的data
光是要一個月的資料縮到能用統計方法來作就要花一番心力
然後處理時要跑多久又是另一個問題
只能在伺服器上跑
大數據其實光大這個字沒意義
難的是把雜亂無章的大數據整理成有用的小數據
接下來再用統計或ML還是啥其實方法都差不多
清data這塊大家方法差異比較大

Json晚上打球

那個賣場用大數據比當事人早知道懷孕的都市傳說成真了嗎

把尿布跟啤酒放在一起增加銷售量

Preprcess是最痛苦的部分

尿布啤酒那是Data Mining 不是大數據

那為什麼大家都推學python呢？ 跑不動還用 沒道理啊

因為python的工具蠻多的，學起來很快吧spark也可以用python寫