[問題] r做nlp發現新詞的套件 empireisme PTT批踢踢實業坊

[問題] r做nlp發現新詞的套件

作者: empireisme (empireisme) 2020-05-04 23:41:08

如題
我想問問看
如果想用r發現新詞，是否有相關的nlp套件或關鍵字(中文新詞為主)
我打find new word 或 discover new word好像都有點不太對

作者: allen1985 (我要低調拯救形象) 2020-05-05 11:16:00

什麼是發現新詞? 一個詞不在字典裡?還是NER model

作者: empireisme (empireisme) 2020-05-05 12:31:00

對就是一個新詞不在詞典裡，例如習大大之類的

作者: locka (locka) 2020-05-05 18:01:00

應該都可以自訂詞庫吧？

作者: empireisme (empireisme) 2020-05-05 18:57:00

自訂詞庫要依靠人力，想要利用統計方法發現新詞

作者: locka (locka) 2020-05-05 21:00:00

不確定目前有沒有套件可以做到你想做的，用統計方法自動產生新詞…因為中文不像英文用空格分格；每個中文字都各自有意思，連接起來可能又有新的意思，連接到多長停止也沒有規則…所以好像輸入進詞庫給模型訓練好像是比較常見的做法@@(跪求版上NLP專家)剛剛查了一下，一樓allen大大說的NER model好像就是用深度學習方法自動做斷詞，原po或許可以找找看有沒有用R做這個的套件(抱歉上面廢話太多QQ)

作者: xiangying (xiangying) 2020-05-06 15:12:00

有一個頗簡單的方式是用中研院的ckiptagger，有支援做ner model，不過你要先將它用reticulate移植到R上，google一下有人做好

作者: empireisme (empireisme) 2020-05-06 19:17:00

謝謝我來看一下什麼是reticulate

繼續閱讀

[問題] 徵求對數據庫有處理經驗家教alice37 [問題] getsymbols或get.hist.quote失敗eric19980722 [問題] shiny sever內寫for loop？theonee [問題] 如何讀取外部變數？eco100 [問題] 徵求R解題家教Ventiva [問題]中文的斷句存成data.frameempireisme [問題] 爬蟲爬不出來ladie4 [問題] 想要把一個df變成一欄有2個list ^^mscutechu [問題] For迴圈寫入matrixcwz1110 [問題] 多個rda物件存取問題locka