原PO論文是做NLP相關的研究,我目前剛好也在專精NLP技術的AI公司;這邊直接以敝公司
的產業為例,在不涉及公司機密的前提下,回答您的問題,同時希望用較小的篇幅,為大
家揭開這個產業的神秘面紗,也歡迎有興趣的人加入NLP/AI產業。
公司主要業務是為電信、金融、政府及電商等領域,導入人工智慧技術及平台,最常幫
一些頂級客戶建置Chatbot等系統,來降低傳統客服的人力需求。
一般NLP/AI公司研發中心可以分為下列部門(舉例),橫向為各部門名稱,縱向為組織架構:
A. 研究院 / 知識研究部(研究)
B. 自然語言理解(Natural Language Understanding)研發部/語音研發部(研究及應用)
C. 基礎研發部 / 雲端平台研發部(應用)
D. 產品測試部
E. 解決方案部
F. 專案實施部(應用)
NLP/AI產品開發流程:
1. 研究院負責與大學院校合作,閱讀論文並研究前瞻技術後,將研究成果提供給NLU研發
部。同時通報專利申請單位,將有價值的技術註冊成專利。
2. NLU研發部將研究成果,實作成底層引擎,並將其轉交給基礎研發部。同時通報專利申
請單位,將有價值的技術註冊成專利。
3. 基礎研發部負責市場調查、設計產品,並撰寫前後端邏輯,將引擎包裝成
Chatbot/Recommender system等產品。同時通報專利申請單位,將有價值的技術註冊成專
利。
4. Chatbot等產品的基本內容及行業知識,由知識研究部負責建置,如標註資料、建置知
識、知識圖譜、預置行業包等。
5. 解決方案部負責將Chatbot/Recommender system產品的各項能力,打包成各個行業的
解決方案,提供給業務單位兜售。
6. 如果客戶有興趣,專案實施部會使用該Chatbot/Recommender system等產品/解決方
案,為客戶無償做POC(Proof of Concept);如果客戶滿意其成果,就會簽約付錢。
7. 專案實施部再根據合約內容完成Chatbot/Recommender system等系統建置及介接API
等二次開發工作,並提供售後維護服務。公司每年再收取License、維護及再開發費用。
若你有志投入NLP/AI相關產業,可以往以下幾種部門走,但著重的技術都不同:
A. 研究院:一般使用Python語言及TensorFlow、SKlearn、PyTorch等框架研究算法(
Algorithm),如分解詞性(Part of speech)、語法分析(Syntacitic analysis)、語意分
析(Semantic anaysis)、生成文法(Generative grammar)、詞向量(word2vec)、BERT等。
B. NLU研發部:由於Python不適合用於大規模平行計算(Parallel processing),這裡常
使用Java語言,Mahout、Deeplearning4j等框架在Hadoop及Spark上實現算法、引擎、訓
練及部署模型。
C. 基礎研發部:這裡就比較沒有局限了,什麼語言和框架都可以用,譬如使用Java語言
及Spring MVC框架,撰寫後端邏輯,將底層引擎包裝成產品;以及使用Javascript語言、
React或Vue等框架開發前端。
D. 專案實施部:根據客戶需求選擇語言及框架,透過Chatbot/Recommender system等
產品/解決方案為客戶二次開發。
※ 引述《anivia0428 (AniviaGod)》之銘言:
: 小弟目前就讀119資管所 碩一
: 碩論是做NLP方面的東西
: 進研究所前寫Android App工作一年
: 現在對於畢業後要做的工作有點迷茫
: 目前想法有兩條路:
: 1. 把全部時間都拿去研究machine learning, 爬了板上的文-資料科學家工作分享
: 與 AI 產業觀察, 資料分析師, 科學家,工程師, 還有機器學習工程師在台灣好像
: 都是一起做的, 沒有在算分開職位,所以要學的東西其實蠻廣的,目前有開始在做
: Kaggle的東西, 然後日常就是看ML的論文(大部分是DL)然後努力實作, 然後念相關
: 的數學, 這樣持續一年半, 有辦法找到相關還不錯的工作嗎?爬文看到ML的缺似乎很少
: , 感覺要研究到很頂尖有辦法做這方面的東西, 所以想上來問問看這條路該繼續走嗎,
: 還有是不是有什麼技能樹要特別點的, 目前主要就是用sklearn和pytorch, hadoop或
: spark需要去學嗎?
: 2. 除了做論文的時間,其他時間都去摸java後端, 花一年半努力去做一些作品,
: 然後以後就靠這個吃飯, 選java的原因是想說對java很熟,然後銀行的缺感覺很多都是
: 找java的工程師, 所以寫得好去銀行養老沒問題, 上週去台大博覽會的感覺是,科技業
: 大公司感覺都不太想找資管的寫程式,職缺上面列出來的科系鮮少有資管的, 不過前幾
: 天台積電的學長po文説在找寫java spring的, 所以可能進科技業還是有機會, 所以目前
: 就計畫說那可以考慮摸java後端
: 然後猶豫的點就是,感覺走java不怕找不到工作, ML要要很強才會比較好找工作, 所以
: 希望板上的強者們可以給點建議, 謝謝。