※ [本文轉錄自 Gossiping 看板 #1a38Nq02 ]
作者: Antihuman () 看板: Gossiping
標題: [問卦] 用PTT來訓練AI語言模型會怎樣
時間: Sat Mar 11 21:45:21 2023
PTT是台灣最大的討論區之一，包含了許多不同主題的討論版，從政治、經濟、科技、娛樂
到生活、旅遊等等，因此PTT的資料可以提供豐富的語言資源，進行大型語言模型的訓練可
能會有以下的影響：
增加模型的多樣性：PTT 的資料來源眾多，而每個版的用語、詞彙、語言風格都不同，因此
使用PTT的資料訓練大型語言模型可以增加模型的多樣性，使其更能夠應對不同領域的自然
語言處理任務。
提升模型的台灣文化認知：PTT是一個台灣本土的討論區，其中的文化內容和用語與台灣文
化緊密相關。訓練大型語言模型使用PTT資料，可以使模型更加了解台灣文化和風俗，更好
地處理和生成相關的自然語言。
面臨資料品質問題：PTT是一個公開的討論區，其中包含了許多用戶所發表的訊息，這些訊
息的品質可能不同，有些可能包含不合適的語言、錯誤的拼字和語法等問題。因此在使用PT
T資料訓練語言模型時，需要注意濾除低質量的資料，以免對模型的訓練產生負面影響。
總結來說，PTT的資料對於大型語言模型的訓練具有一定的幫助，但需要注意資料品質問題
，以免對模型的訓練產生不利影響。此外，也需要注意到PTT資料的局限性，不同於網際網
路上的其他資料，PTT資料集的涵蓋面和語言風格可能會有所局限，因此訓練出來的語言模
型在應用於其他領域時，可能需要進行適當調整。