小弟在國外銀行做BI,剛好最近導入Hadoop剛做完PoV
Big Data的部分先放在後面,先來談談為什麼要用Hadoop
最主要的原因還是在銀行有太多不同的系統和資料來源,甚至有的老到幾十年都有
加上我們銀行上面又有別的國家的母銀行,十幾年前就發展了一套 Global Data Warehouse
這種GDW顧名思義就是管你來源是甚麼最後都進到一個統一的資料庫
然後下面再根據需求做ETL等等工作,為了資安和效率,GDW下面還有很多不同的資料庫
然後presenatation level再根據不同的需求去用這些資料
這樣行之有年也沒甚麼問題,但是慢慢這幾年就出現瓶頸
最簡單的例子就是ETL中的storage table因為太龐大,許多像是歷史交易資料如果
join其他table就常常跑到超過一個小時,還有其他許多需求就不再贅述
另外一個瓶頸就是即時性,GDW的架構讓下游資料庫只能用到前一天的資料
因為所以外部系統都要在營業日結束後才匯集資料,
所以最近我們就準備在未來幾年慢慢把GDW這種架構淘汰,慢慢轉換成Hadoop
搭配Informatica當作data quality 和 ETL 工具, presenation layer的最後通通
通過API取在Hadoop中被Informatica處理好的資料
Big Data直覺上就是資料龐大,不過複雜資料來源,時間性和輸出的效率都是其特性
至於用甚麼Analytics tool去分析我反而覺得那已經是Big data很末端的事情
Hadoop也不是傳統資料庫的替代品,我們目前也只評估20%現行的程序可以被取代
然後慢慢地提升也許到50%,同時間改善現行Sql Server的效能和空間問題
這樣各發揮各的優點,小弟最近做了一套程序,把銀行十幾年上百萬Excel檔案
根據不同的類別掃描變成JSON格式然後進Hadoop,好處就是不需要依賴任何資料庫
新的資料只需要一直append在檔案尾端,只要換一個schema就可以在Hive裡面有新的view
Informatica做任何ETL也不會用到任何多餘空間當staging table,結果直接寫回hive
別的部門可以直接用像是SAS VA看到最新的資料
你說會Hadoop重不重要,我會說重要,我們通常稱這種role是 big data engineer
尤其在銀行這種注重架構,流程,正確性,效率的環境必須要仰賴這種人來確保
整個機器運轉的順暢,某種程度像是傳統 DBA 和 System Administrator的綜合
至少在我們銀行些用ML只要我們BI生的出資料,他們其實不太管前面怎麼搞
大概是這樣,理性討論勿戰 :)
※ 引述《deo2000 (800IM)》之銘言：
: 最近看到一些公司在找人，把會用Hadoop認定是有大數據處理能力，
: 甚至會看研究所做的題目是不是Hadoop？
: 例如這篇
: https://goo.gl/0cTk60
: 還有這篇
: https://www.facebook.com/thank78/posts/630689647078714
: 但我對這種現象感到疑惑。
: 我認知的處理Big Data核心能力，是一些資料探勘、機器學習相關的演算法，
: 以及相關應用（例如挖掘特定領域的資訊）。
: Hadoop是一個分散檔案系統的軟體工具，或許符合"Big Data"字面上的意義，
: 但我們都知道data無用，information才有用，
: 因此這個時代談的"Big Data"大多含有"挖掘、自動智慧"等意義，
: 而不是單純的資料管理。
: 更何況論文研究出來的知識，不應該綁定在特定工具。
: 或許研究者本人只熟悉Hadoop或某種套裝軟體，這難免的。
: 但研究貢獻、他人欲重現研究過程等，都不應該綁死在特定軟體工具上。
: 或許因為我非資訊本科系、也不熟資料庫，
: 請問，是不是我對 Hadoop 或 Big Data 有什麼誤解？
: 為什麼 Big Data 的核心能力會是某種工具，而不是方法？