這領域主要分為二大類:
(A)玩資料的人:具有想像力能找出資料間的關聯性,挖掘出有用的智慧。
能使用Machine learning提供訓練好的模型讓企業做應用(推薦系統),
或者直接給出一個結論(啤酒尿布)。
有興趣的話可以參加台灣資料科學年會,會看到有趣的範例和應用。
這塊領域比較偏向學術,需熟悉統計學和演算法,能知道每種演算法該如何應用。
如果不是國立大學研究所畢業,或者沒有在這領域闖出名堂的人,很難進入。
(B)提供資料的人:建立穩定、可儲存大量資料的系統,使用ETL提供乾淨的資料給A
做Machine learning。
這部份又分為
(a)使用昂貴、封閉的大型伺服器系統。ex:data warehouse
(b)使用Open Soucre、用一般電腦做分散式運算的系統。ex:Hadoop、Spark
大數據會熱門,是因為網際網路、手機、電腦的普及加上互聯網的推動,
讓人察覺龐大數據背後的價值。加上Hadoop、Spark、R的出現,讓人覺得
玩Machine learning不再只是有錢人的權利。
學了幾個月Hadoop、Spark的心得是:這東西其實是個坑,學這東西需要很好的
英文、Linux、Java、網路架構、資料庫知識。絕對不是無腦一直按下一步就可以
建立好的系統。而且它們還未達商品化的標準,系統不穩定又難維護。
系統出問題爬Linux、追SoucreCode是必經的過程。
想學好它們consultant是避免不了,上課也跑不掉,弄一弄又是幾十萬的開銷。
那公司為什麼要花一大筆錢讓你去上課去研究Hadoop、Spark?
Hadoop、Spark不是唯一解,把基本功練好(英文、Linux、程式語言)才是唯一方法。
傳統公司的思維是:我花了多少錢,可以拿到什麼產品賺多少錢。
但是玩Machine learning的下場常常是:我花了一大筆錢,分析出來的結果是0。
願意玩Machine learning的公司大多是:已經發展的很成功,為了要維持競爭力
撥一筆研究經費來試試看的類型。
在台灣玩Machine learning的人已經非常多,學術機構、銀行、電信都有。
玩資料就是踏入漫長的道路,沒人敢說自己很成功如果成功早就是Google第2了。
結論:
1)想學1、2門課就一步登天,年薪百萬是不可能的。想進入這領域靠得還是
學歷、基本功、機緣。
2)會要求MS-SQL是希望面試的人能有一定的基本功,會自已做ETL,
而且在做資料分析之餘還能幫忙分攤一些基本的工作。
3)投入這領域的人已經非常多,唸得出來的企業都有,只是大家都很低調。