[問題] 要多少GPU ram才能自己養一個neuro

作者: attacksoil (擊壤)   2024-10-09 20:07:19
語音轉文字應該whisper就無敵了
文字轉文字有llama3.2
文字轉語音選擇很多
延遲是個問題 還有中間的檢索資料庫要怎麼架
但假設對延遲有一定容忍 就看她一個人在那裡嘴
需要多少RAM才能自己養一個neuro???
作者: toulio81 (恩...)   2024-10-09 20:08:00
vedal好像是用租的
作者: justpopcorn (justpopcorn)   2024-10-09 20:21:00
問就是4090
作者: lay10521 (小伊達)   2024-10-09 20:40:00
租個A100
作者: vios10009 (vios10009)   2024-10-09 20:59:00
租GPT API
作者: miname (>.<)   2024-10-09 21:50:00
llama其實是dram benchmark, 記憶體需求就是版本號,7B=7GB以此類推

Links booklink

Contact Us: admin [ a t ] ucptt.com