※ 引述《sxy67230 (charlesgg)》之銘言：
: H100真正的目的就是拿來訓練LLM跟NN模型而已，普通人根本沒Data是要訓練三小模型= =
: ？
看你講那麼大聲 結果根本外行
訓練LLM的dataset網路上都找得到 根本看不完
從wikipedia擷取到從fandom蒐集次文化資料、pdf電子書等等
還有專門RolePlay的chat資料集
跟從遊戲擷取的對話文本等等.....
只要你的運用不偏門 大部分的資料都找得到
自己寫一個爬蟲也沒多難 我上週才寫了一個爬pixiv dict的程式
LLM的pretrain跟fine tuning資料來源不是問題 時間跟錢才是
大部分的做法是拿現有pretrain過的model在runpod上租GPU來再訓練