Re: [問卦] 大數據分析與統計分析的差別?

作者: sysstat (sys / stat)   2017-10-18 08:57:51
統計是數學的分支
都有它的前提和假設
譬如迴歸要符合常態性,獨立性,同質性
但是實務上 99% 的人根本不想管也不懂這些數學假設
只想隨便丟一堆資料讓電腦跑
就說自己是專家
於是各種資料探勘方式就出來了
後來實務上又發現另外一個問題
實務上 99% 都不是結構化資料
統計上還要整理資料,刪除離群值或missing value等
對這些專家太麻煩了
它們就只是想把一堆垃圾資料丟到電腦裡面做而已嘛
有的甚至只是聲波
於是一堆垃圾全部丟進去就變成大數據了
※ 引述《rosenzulu (玫瑰祖魯)》之銘言:
: 大數據
: 最近被媒體使用到爛掉的名詞
: 常常看到新聞「大數據顯示...」
: 身為統計系的我 也稍微爬文瞭解一下
: 大數據的魅力所在
: 但看到的不外乎是
: 「未來產業大宗就是AI、物聯網與大數據的結合」
: 「運用大數據分析得到相關 進一步得知未來趨勢作為政策」
: 但如果是要探討相關性、做預測
: 使用統計方法不是也可以嗎?
: 再查一些大數據最夯的課程
: 幾乎都是R,Python這2個程式語言
: 然後使用該2語言實作資料探勘、機器學習
: 實在搞不懂大數據的新科技點在哪裡
: 有沒有產業界大數據大師可出來為小弟解惑?
作者: bathilda (bat)   2017-10-18 08:59:00
科普得好
作者: jodojeda (jodojeda)   2017-10-18 09:01:00
第一句就錯了 統計不是數學的分支 數學只是統計的工具
作者: Aryou0172 (祭品)   2017-10-18 09:01:00
小專家
作者: jodojeda (jodojeda)   2017-10-18 09:03:00
統計只有公式的部分是數學 資料收集整理分析都不是數學會說統計是數學分支的 統計學可以回去重修或換任課老師
作者: rosenzulu (玫瑰祖魯)   2017-10-18 09:06:00
統計早期是歸類在數學沒錯 後來有個系統後就自成一格了
作者: jodojeda (jodojeda)   2017-10-18 09:07:00
會說統計是數學分支的教授 肯定是三流學校出來的
作者: dirubest (奈亞拉托提普)   2017-10-18 09:10:00
模型不會這麼完美地符合基本假設,要做很多前置的檢定
作者: Joker3 (丑角3)   2017-10-18 09:11:00
隨便一個唸過的都知道 的確是數學分出來 但現在已經獨立了
作者: xzcb2008 (非常森77牛)   2017-10-18 09:12:00
統計是分支但是現在是獨立學科
作者: Joker3 (丑角3)   2017-10-18 09:12:00
就像你不會說台灣是中國的分支一樣道理
作者: tas001 (演奏夢想之夜)   2017-10-18 09:13:00
原PO可以嗆他 沒辦法使用萬物皆數的是9流學校出來的
作者: rosenzulu (玫瑰祖魯)   2017-10-18 09:32:00
統計有很多理論都建立在機率模型上 機率又是實分析的一

Links booklink

Contact Us: admin [ a t ] ucptt.com