Re: [問卦] 大數據分析與統計分析的差別?

作者: mingchei (mingchei)   2017-10-18 09:24:40
※ 引述《rosenzulu (玫瑰祖魯)》之銘言:
: 大數據
我不是啥專業礦工 路過簡單的回應
就直接翻BIG DATA
其實就是數據量很大
來源也不見得是單一
老中的用語 海量訊息 我覺得也還不錯
: 最近被媒體使用到爛掉的名詞
: 常常看到新聞「大數據顯示...」
: 身為統計系的我 也稍微爬文瞭解一下
: 大數據的魅力所在
: 但看到的不外乎是
: 「未來產業大宗就是AI、物聯網與大數據的結合」
: 「運用大數據分析得到相關 進一步得知未來趨勢作為政策」
其實主要是由於商業行為大量使用資訊系統紀錄 也使紀錄資料更
貼近於現實環境的直接紀錄
: 但如果是要探討相關性、做預測
: 使用統計方法不是也可以嗎?
其實資料探勘(採礦)
也主要是
1.尋找關聯性
2.建立模型以利預測
兩個大主題
只是過去我們通常是有假設 才有可能去蒐集資料
現行因為資料訊息來源多了
可以在尋找關聯性 跟驗證模型上
有更多的可能性
例如過去常用在資料採礦講的購物籃分析個案
尿布 與啤酒
或是
偽造信用卡消費行為分析
: 再查一些大數據最夯的課程
: 幾乎都是R,Python這2個程式語言
: 然後使用該2語言實作資料探勘、機器學習
: 實在搞不懂大數據的新科技點在哪裡
: 有沒有產業界大數據大師可出來為小弟解惑?
其實資料探勘
還是主要是
資料處理 資料處理 資料處理
資料分析
結果探討
至於工具上 其實很多統計軟體也有出 資料礦工套件
另外有個weka 也不錯
大數據其實也類似是早期我們學習統計時的串聯性資料
最後
所有的資料分析模型都需要去驗證關聯性
也就回到我們過去統計的相關分析
其實並沒有離開統計太遠
而是另一種運用
作者: rosenzulu (玫瑰祖魯)   2017-10-18 09:26:00
感覺不同處是分析方法呢
作者: louis10452 (秋天的楓)   2017-10-18 09:27:00
換湯不換藥
作者: pierreqq (葉子上的風)   2017-10-18 09:28:00
在看似無關緊要的資料中 卻擁有過人智慧的小學生?
作者: botnet (天龍人)   2017-10-18 09:29:00
這問題問到老了
作者: Benetnasch (北斗破軍)   2017-10-18 09:38:00
大數據不就是資料分析演化出來的?只是資料源更廣更大分析預測更有效
作者: mingchei (mingchei)   2017-10-18 09:43:00
有效與否其實都還涉及資料內容與假設

Links booklink

Contact Us: admin [ a t ] ucptt.com