[請益] 關於 NLP 如何自學(書/公開課程)?

作者: cylee (Artisan)   2022-05-28 19:20:14
Hi 各位先進,
本人背景是畢業很久的資工碩,目前從事 infra 開發的 back-end
engineer,目前待的公司準時上下班,想學些能累積技術的主題
熟悉的語言有: C++/Python/Rust
因為在學時完全沒接觸過,想請問有碰過的先進們,自學的話有沒
有推的書、公開課能分享。另外 NLP 現在業界真的拿它來賺錢的公
司/組織是不是偏少(台商),還是只是我沒碰到而已?
謝謝各位
作者: Lushen (wind joker!!!)   2022-05-28 19:32:00
唯一推薦台大李宏毅https://bit.ly/3M35yFa基本上算台灣講的最通俗易懂了尤其推薦他的 ML 課程 講的真D猛
作者: pha123661 (pha123661)   2022-05-28 23:32:00
NLP線上課程推薦 Stanford CS224N:https://www.youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
作者: NTUmaki (西木野真姬)   2022-05-28 23:55:00
台大2個教授有開放課程又有名的就是做NLP的 可以先看他們的影片(陳 儂、李宏毅)
作者: kkes0001 (kkes0308)   2022-05-29 08:30:00
nlp只碰過學界的居多,業界很少
作者: ElegonSin (南部人)   2022-05-29 09:32:00
看教授影片+自己動手玩玩看簡單的python 我推simple transformer我覺得NLP最常見的應用可能就像是YT的推薦影片
作者: oachan (阿誠)   2022-05-29 11:10:00
電商搜尋、推薦、對話機器人、RPA也是有不少題目可以做的
作者: DrTech (竹科管理處網軍研發人員)   2022-05-29 11:56:00
差很多吧,推薦系統recommendation 與NLP,與搜尋引擎,在學術界,業界完全是不同專業。除非你去爛公司,亂做一通沒實戰的公司,不然你做search,nlp,recommendation 要做的事情,完全不同。資歷也不通。搜尋,要怎麼ranking,nlp的人通常都不會。推薦系統,要怎麼做多模態(multifmodal)的特徵,通常NLP,搜尋的人又沒碰過。彼此之間專業真的差很多。另外NLP的各種序列標注模型,搜尋與推薦的團隊,根本沒幾個人有碰過。專業完全不同。最後,搜尋與推薦,很多資料pipeline的工作,都與機器學習與NLP無關。
作者: sachialanlus (yeh)   2022-05-29 13:14:00
我研究所學nlp 但工作找backend 跟你相反賺錢與否不清楚 但nlp工作其實不少 台商也有
作者: DrTech (竹科管理處網軍研發人員)   2022-05-29 13:22:00
真正拿NLP來商業化賺錢的,不是哪種旁門左道,做好玩,或是做了NLP沒效益也沒差的部門喔。我在台灣看了幾年台商不到3家而已。NLP工作是很多啦,但是拿來賺錢變現的公司,台商絕對沒有5家。
作者: sachialanlus (yeh)   2022-05-29 13:26:00
確實有可能是這樣沒錯 而且我看到的nlp缺都和medical相關 我猜現階段應該都賠錢 放眼未來的感覺
作者: DrTech (竹科管理處網軍研發人員)   2022-05-29 13:26:00
而且大部分公司,就是要你會ope source 就好。講太多太深的別人也聽不懂。
作者: sachialanlus (yeh)   2022-05-29 13:33:00
我選nlp是因為像是怕cv飽和 押寶nlp 但做了才發現自己對nlp的興趣不高 後來就選有興趣的web 薪水也不錯
作者: oachan (阿誠)   2022-05-29 14:15:00
同意大大說的,台灣純NLP工作少,大部分學NLP都是找外商或是其他相關應用領域
作者: jamfly (jamfly)   2022-05-29 23:12:00
Huggingface 套一下 應該是很多地方的常態…
作者: recorriendo (孟新)   2022-05-30 01:48:00
Search跟NLP沒差那麼多啦 vector space model就搜尋引擎開始用的 NLP後來引進 (不過我後來發現很多人不知到這段歷史 以為vector space model是十年前左右NLP的大發明) 排序的部分也就幾個公式而已說實話現在很多搞NLP的幾乎都不懂IR的一些經典技法了 tf-idf之類的 其實很多時候可以拿來作快速prototyping
作者: DrTech (竹科管理處網軍研發人員)   2022-05-30 09:36:00
樓上,現在線上有哪個主流的搜尋引擎或商品,是用vector space做的?或tf-idf做,然後去搜向量?沒有吧。速度慢,效果又差。排序部分就那幾個公式?你們的產品是什麼場景,CTR多少呢?正常商品怎麼可能幾個傳統公式就能搞定。另外,傳統IR根本不管用戶特徵,只管文字上表面相似度,這也是現代化搜尋系統與NLP工作差異極大的地方。NLP為什麼工作少,是因為沒有獨立能賺錢的應用。到最後能賺錢的搜尋,推薦,廣告業務,會用到NLP的技術比例其實沒那麼高。如果是純賺錢考量,還不如直接去學搜尋,推薦,廣告。NLP有遇到需求再學較好。
作者: cylee (Artisan)   2022-05-30 12:03:00
多謝各位的建議,我的起始點就是想要學一個有技術壁壘的技術,而不是別人學幾個月就宣稱他能上手的。
作者: recorriendo (孟新)   2022-05-30 12:50:00
我說IR以前用vector space modelNLP現在在用 上面是看不清楚推文亂曲解IR排序比NLP多的就是那些公式 現在當然都用deep learning 你要說這個那差異更小另外 國內要做search 大多就給客戶內部使用而已 還真的是老公式套一套就夠了 (當然直接用package更快) 而面向大眾的搜尋引擎 現在就是google獨佔市場 其他做也是白做
作者: penniless   2022-05-31 00:48:00
推樓上,感覺某樓在diss傳統操作挺外行的。而且絕對沒有甚麼領域差很多這種事。ACL了解一下,看看有多少是搜索推薦相關....

Links booklink

Contact Us: admin [ a t ] ucptt.com