大型語言模型(LLM)在處理語言的時候
都無法避免要執行分詞的動作
所謂分詞就是把句子中的 主詞 動詞 介係詞 ...等
分離開來。
由於中文的特性，要進行分詞其實是很有挑戰的一件事；
反觀英文可以透過空白來分離單字，實作上真的比較輕鬆。
沒有要崇洋媚外，單純討論@@
PS:
最近使用Python套件來做文字辨識
也發現中文不但辨識又慢又肥，而且辨識正確率也不是很好
請問中文在未來的世界中還具有甚麼優勢嗎?