各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎？
或者是說需要補足的知識工具其實更多？
靠刷題之後找Backend Engineer比較容易？
謝謝各位

Chatgpt問世後未來說不準了

很多資料工程都要值班維運喔

ETL很可怕

身兼backend和data 老闆最愛

要轉data eng ，看他的JD啊，或是去linkedin敲dataeng 然後問

這些都是高級excel 只是工具 沒啥優勢或門檻AI 取代這種工具類的操作/分析者 是可預見的未來

Data Engineer 炙手可熱，就算沒落也可以轉後端，沒道理不選

你可以試著取代看看啊 de的重點一直是人不是工具操作

我沒有說取代de 是取代初級的分析操作者因為我認為原po敘述 離 de的能力需求還是差滿多

看你想清資料還是繼續當web仔

身為專業工程師，有時間可以拿實際證據與實作來說明吧。如果DE可以被AI部分取代，真的歡迎拿實際例子來交流學習。資料工程師養成，要實務一點，不要會一堆工具，然後什麼都沒做過。舉例：有10億筆結構化資料，你要怎麼存與查詢，一秒可以查到？ 朝這種很實務的角度去學，才是正軌。沒環境就自己造垃圾資料，架虛擬環境來玩。只是用過工具，然後一遇到實際問題就掛，可能很難找類似工作。

DE 在處理的主要業務不是分析操作，樓上 DrTech 說的才是 DE 在關心的，需要根據業務需求規劃資料生命周期內的資料儲存方式跟型態，說是高級 Excel 工具是在哈囉……

看起來你想走運算平台而不是倉儲？

原來現在DE只是專注工具的使用?那被AI取代剛剛好

大家都預設AI不能解決實務的問題也是挺值得討論的點

解決老闆不想用rdb想用mongo存結構化資料的問題ai應該會叫我解決老闆

說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞清楚資料分析和data engineer的區別好嗎

好的DE跟日本原裝壓縮機一樣十分稀少，要對domain 的深入理解跟大量的技術與經驗積累。遇過那種高手就知道，本來只能等都更炸掉重改的中古垃圾屋，都能給你翻成漂漂亮亮的北歐風溫馨文青宅。

想詢問哪裡可以學到相關知識

倉儲是資料工程喔，經典著作 The Data Warehouse Toolkit有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到MapReduce 的部分，但這種操作並不是只能用在分析上……至於待遇跟薪水問題，去看 DrTech 寫過的某篇文吧，國家跟產業的權重會比職稱和使用的技術要高，你說資料工程跟後端來比誰高，不提產業也無從比較起…框架的大方向未必是處理效率問題，有的是處理擴展性問題Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處理一些需要實時計算的資料的，當大量資料實時產生的同時需要分析計算會用到，要看一下你現在的業務到底接觸的是哪一越接近用戶端使用的部分，相較是比較簡單的，上面 D 大提到的，是偏向於提供資料使用人員（DS/DA）去做的 infra多數 DE 會在串接跟維護 Data Pipeline，你說的套用某個規則去整理出某人或是某個部門的資料，可能只是這條 pipeline上，某一個資料出水口需要做的事~ 要挖的東西是滿多的，有興趣可以從這個方向開始切進來~的確在有些公司 DE 除了基礎服務設施和資料處理之外，還要

現在有人在用mapreduce? 我還真的沒在商業產品上看到過

包山包海去處理分析和視覺化…

公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾億筆資料的 indexing 難到你要一台機器做還有大量 log 的 data pipeline，use case 很多

還有不少用 Hive 的，背後做還是 MapReduce，現在的確 Spark 跟 Flink 居多

只是比較沒有純寫mapreduce 框架背後還是mr啊de會去服務使用flink分析的user de就要了解flink

DE 是個坑，每家DE 要的技能點可能都有點些許不同，進來會發現包山包海，什麼能力都要，可以多看看，再看要不要走 DE

mapreduce早被淘汰了，居然還有人在用Zzzz

分散式運算被後概念就是mr啊，還是你以為跑spark就不是MR

那你應該先學Java，順便把原始碼、論文看一看，加油 Zzzz