Re: [請益] ML 技能樹要怎麼點

作者: lion741205 (獅子)   2019-03-21 02:33:10
原PO論文是做NLP相關的研究,我目前剛好也在專精NLP技術的AI公司;這邊直接以敝公司
的產業為例,在不涉及公司機密的前提下,回答您的問題,同時希望用較小的篇幅,為大
家揭開這個產業的神秘面紗,也歡迎有興趣的人加入NLP/AI產業。
公司主要業務是為電信、金融、政府及電商等領域,導入人工智慧技術及平台,最常幫
一些頂級客戶建置Chatbot等系統,來降低傳統客服的人力需求。
一般NLP/AI公司研發中心可以分為下列部門(舉例),橫向為各部門名稱,縱向為組織架構:
A. 研究院 / 知識研究部(研究)
B. 自然語言理解(Natural Language Understanding)研發部/語音研發部(研究及應用)
C. 基礎研發部 / 雲端平台研發部(應用)
D. 產品測試部
E. 解決方案部
F. 專案實施部(應用)
NLP/AI產品開發流程:
1. 研究院負責與大學院校合作,閱讀論文並研究前瞻技術後,將研究成果提供給NLU研發
部。同時通報專利申請單位,將有價值的技術註冊成專利。
2. NLU研發部將研究成果,實作成底層引擎,並將其轉交給基礎研發部。同時通報專利申
請單位,將有價值的技術註冊成專利。
3. 基礎研發部負責市場調查、設計產品,並撰寫前後端邏輯,將引擎包裝成
Chatbot/Recommender system等產品。同時通報專利申請單位,將有價值的技術註冊成專
利。
4. Chatbot等產品的基本內容及行業知識,由知識研究部負責建置,如標註資料、建置知
識、知識圖譜、預置行業包等。
5. 解決方案部負責將Chatbot/Recommender system產品的各項能力,打包成各個行業的
解決方案,提供給業務單位兜售。
6. 如果客戶有興趣,專案實施部會使用該Chatbot/Recommender system等產品/解決方
案,為客戶無償做POC(Proof of Concept);如果客戶滿意其成果,就會簽約付錢。
7. 專案實施部再根據合約內容完成Chatbot/Recommender system等系統建置及介接API
等二次開發工作,並提供售後維護服務。公司每年再收取License、維護及再開發費用。
若你有志投入NLP/AI相關產業,可以往以下幾種部門走,但著重的技術都不同:
A. 研究院:一般使用Python語言及TensorFlow、SKlearn、PyTorch等框架研究算法(
Algorithm),如分解詞性(Part of speech)、語法分析(Syntacitic analysis)、語意分
析(Semantic anaysis)、生成文法(Generative grammar)、詞向量(word2vec)、BERT等。
B. NLU研發部:由於Python不適合用於大規模平行計算(Parallel processing),這裡常
使用Java語言,Mahout、Deeplearning4j等框架在Hadoop及Spark上實現算法、引擎、訓
練及部署模型。
C. 基礎研發部:這裡就比較沒有局限了,什麼語言和框架都可以用,譬如使用Java語言
及Spring MVC框架,撰寫後端邏輯,將底層引擎包裝成產品;以及使用Javascript語言、
React或Vue等框架開發前端。
D. 專案實施部:根據客戶需求選擇語言及框架,透過Chatbot/Recommender system等
產品/解決方案為客戶二次開發。
※ 引述《anivia0428 (AniviaGod)》之銘言:
: 小弟目前就讀119資管所 碩一
: 碩論是做NLP方面的東西
: 進研究所前寫Android App工作一年
: 現在對於畢業後要做的工作有點迷茫
: 目前想法有兩條路:
: 1. 把全部時間都拿去研究machine learning, 爬了板上的文-資料科學家工作分享
: 與 AI 產業觀察, 資料分析師, 科學家,工程師, 還有機器學習工程師在台灣好像
: 都是一起做的, 沒有在算分開職位,所以要學的東西其實蠻廣的,目前有開始在做
: Kaggle的東西, 然後日常就是看ML的論文(大部分是DL)然後努力實作, 然後念相關
: 的數學, 這樣持續一年半, 有辦法找到相關還不錯的工作嗎?爬文看到ML的缺似乎很少
: , 感覺要研究到很頂尖有辦法做這方面的東西, 所以想上來問問看這條路該繼續走嗎,
: 還有是不是有什麼技能樹要特別點的, 目前主要就是用sklearn和pytorch, hadoop或
: spark需要去學嗎?
: 2. 除了做論文的時間,其他時間都去摸java後端, 花一年半努力去做一些作品,
: 然後以後就靠這個吃飯, 選java的原因是想說對java很熟,然後銀行的缺感覺很多都是
: 找java的工程師, 所以寫得好去銀行養老沒問題, 上週去台大博覽會的感覺是,科技業
: 大公司感覺都不太想找資管的寫程式,職缺上面列出來的科系鮮少有資管的, 不過前幾
: 天台積電的學長po文説在找寫java spring的, 所以可能進科技業還是有機會, 所以目前
: 就計畫說那可以考慮摸java後端
: 然後猶豫的點就是,感覺走java不怕找不到工作, ML要要很強才會比較好找工作, 所以
: 希望板上的強者們可以給點建議, 謝謝。
作者: aacs0130 (湛靈)   2019-03-21 07:34:00
推大公司架構心得分享
作者: ian90911 (xopowo)   2019-03-21 12:25:00
感謝分享
作者: XP (對稱)   2019-03-21 18:26:00
作者: king22649   2019-03-21 19:19:00
現在真的有大公司在用train出來的產品??頗懷疑我指chatbot玩過一些簡易客服的 像win10的客服 沒幾句就轉真人了再不然就是一堆選項 不照著走 根本沒反應 跟語音/圖像辨識比起來 chatbot似乎都只是跑流程而已
作者: Morphee (千磨萬擊還堅勁)   2019-03-21 19:29:00
總監年薪有破150嗎?
作者: DrTech (竹科管理處網軍研發人員)   2019-03-21 19:37:00
真的有一堆train出來的對話或翻譯產品。而且都幾億人在用。不過不在台灣。實務上,用檢索的方式比較好維護。
作者: king22649   2019-03-21 19:40:00
上億人使用且是train出來的chatbot 中國的小冰?有公開可以玩嗎? 想玩玩看ww
作者: DrTech (竹科管理處網軍研發人員)   2019-03-21 19:41:00
不過想不透幹嘛一定要用Java 的dl4j, 效能好差我有在用小冰,他們最近發了幾篇論文,蠻值得閱讀的。
作者: king22649   2019-03-21 19:51:00
貴公司有做自己公司的客服ai在網站嗎? 想玩玩
作者: ice80712 (我很有事)   2019-03-21 21:47:00
原來不在台灣...我想說鬼島什麼時候有這麼好的環境
作者: touurtn (vv)   2019-03-21 21:50:00
如果總監沒破150的話... 不如去投下面的博弈業
作者: Morphee (千磨萬擊還堅勁)   2019-03-21 22:07:00
台灣問150 大陸也問150 人民幣而已這看起來是M社啦 換算台幣年薪税後應該350以上才對
作者: hahach   2019-03-22 22:47:00
方便私訊了解貴公司產品嗎? 我接觸的台灣 chatbot 廠商還未看過這樣的技術階層規模
作者: johnny820515 (57N)   2019-03-22 23:41:00
我自己也是做chatbot的,想看看貴公司產品方便嗎?
作者: tonyadsl (z想CRAZY)   2019-03-23 11:29:00
感謝
作者: fantasycloud (豆花達人)   2019-03-23 12:49:00
你好,目前敝公司正在找chatbot解決方案,希望可以深入了解
作者: shallmay (施小妹)   2019-03-23 13:44:00
想了解產品+1
作者: baseguard (....NN )   2019-03-24 00:18:00
想了解產品+1
作者: TAMSHUI (讓我醉死在夢裡~)   2019-03-25 22:08:00
想了解產品+1 感謝!
作者: Transfat (Transfat)   2019-03-29 12:18:00
作者: aacs0130 (湛靈)   2019-03-29 21:51:00
想了解產品+1
作者: IamCobalt (小摳)   2019-04-06 13:19:00
很有興趣 想更進一步瞭解
作者: s1001643   2019-04-12 16:44:00
想瞭解產品+1 感謝~~

Links booklink

Contact Us: admin [ a t ] ucptt.com