Re: [問卦] Big data跟統計有什麼差?

作者: RonaldFisher (費雪)   2015-09-02 21:17:38
※ 引述《apple123773 (逆水)》之銘言:
: ※ 引述《Azuviir (Azuviir)》之銘言:
: : 這個名詞近幾年很紅
: : 很多公司都想跟上這股潮流
: : 小魯最近也研究了一下
: : 發現:幹!這不就是統計分析嗎?
: : 根據網路上的一些定義來看,大數據不就是樣本數接近母體的統計分析而已嗎
: : 為什麼這個名詞會突然竄紅
: : 是因為從電腦投入商業以來幾十年樣本累積夠了才竄紅的嗎?
: : 有沒有大數據跟統計分析有什麼差的八卦?
: 大數據(26名:海量數據or巨量數據)
: 基本上來說是媒體把他用爛了
: 以媒體上的大數據幾乎都是傳統的統計分析
: 傳統的統計分析需要因果關係
: 然而在大數據來說他不太看因果關係
: 他看的是開放系統中的開頭與結果
: 有時可能會直接把中間的過程當成沒看見
: 甚至有些在統計分析是很嚴重的錯誤
: 例如某個完全正相關的圖形在大數據看來很有可能是一個好data
: 但在統計分析上卻是一個沒有用的數據相關
: 因為美國人孔蓋的事故率會跟電纜線年代有關係嗎?(引用 大數據
: 也因此他是資料挖掘而非只專注在本業上的數據
: 使得不讀書的媒體直接把兩者等同
: 而本國也沒有這些師資
: 所以你只要看到目前的資料處理或者大數據處理幾乎都是換湯不換藥
: 不過假使您真的要學可能要先有資料庫管理的基礎再來說
你講的並不對
統計是統計 big data是big data
如果你將big data跟統計的相關 回歸這些扯上關係 就太小看big data了
data mining是統計 time series / nonparametric / MANOVA 這些都是統計
是一種成熟的工具/手法
big data就吾人所知就是辭意上的big data , 藉由大批量的數據去萃取出一些資訊
例如 時雨量 : 假設苗栗8月的觀測站有每個站點的時雨量記錄
假設有120個觀測站 8月共有31天 總共有89280組數據
這就是一組時雨量big data
你問我這個有甚麼用?? 單看一個月可能沒用 但是看完一整年365天共105萬筆data後
運用許多資料觀測手法會有些發現 : 舉例某站8月上限值固定卡在200毫米就上不去了
推估: 8月該觀測站雨量記錄可能故障了 / 實際調閱相關資料發現果然異常並作修復
顧名思義藉由分析大量資料去獲得個別甚至萃取出獨特資訊
需要的是強大的資料庫整理手法 or bubble sort概念 而不是統計
有錯再請確切使用神版友強大更正~
作者: Kirto (瘋中蟾蜍)   2015-09-02 21:18:00
了解
作者: dtdon1699 (赤羽大人)   2015-09-02 21:18:00
作者: whccpl (喵派)   2015-09-02 21:19:00
這麼認真幹嘛
作者: thomas0229 (哩麥岔)   2015-09-02 21:19:00
就data maining嘛
作者: alan1943 (艾倫消失的舊時光)   2015-09-02 21:20:00
快推不然別人以為
作者: qui0914 (Q)   2015-09-02 21:20:00
為什麼是bubble sort? 小弟不懂
作者: whccpl (喵派)   2015-09-02 21:20:00
是data mining
作者: stosto (樹多)   2015-09-02 21:20:00
data mining不是統計 是統計可以用來做data mining
作者: kurakidream (隨波逐流)   2015-09-02 21:22:00
資料量太大 需要不同的處理方式
作者: shadow0326 (非議)   2015-09-02 21:22:00
data mining是big data裡面其中一個步驟
作者: watashiD (watashiD)   2015-09-02 21:23:00
還是請一個懂系統生物的來講吧o'_'o
作者: RonaldFisher (費雪)   2015-09-02 21:24:00
data mining不是big data, data mining很多大學已經
作者: ams9 (大發利市)   2015-09-02 21:24:00
講那麼多 大數據還是需要統計能力呀 分那樣仔細太閒膩
作者: konanno1 (konanno1)   2015-09-02 21:24:00
水喔
作者: gn00291010 (居恩)   2015-09-02 21:24:00
推你id 不過大數據更重要的是資料是動態的
作者: liar5566 (我只是她的寢具)   2015-09-02 21:27:00
所以苗栗觀測站的統計器修好了嗎?
作者: iyaicharles (0.0)   2015-09-02 21:48:00
Big data bubble sort?你認真的?
作者: DIDIMIN ( )   2015-09-02 21:54:00
你這個只是主成分分析的概念而已
作者: suyuan (碩源)   2015-09-02 22:30:00
bubble sort ...... 重修吧
作者: fakespace (虛空)   2015-09-02 22:33:00
你這叫維運,不算大資料吧。

Links booklink

Contact Us: admin [ a t ] ucptt.com