※ 引述《Mayfly (Baccano)》之銘言:
: 老實說我最近也偶爾會在B站上聽一些AI代唱
: 就是讓ACG人物的AI語音唱某些樂曲,比方說草神唱大悲咒什麼的
: 對岸最近有個梗,什麼薩菲羅斯男人中的男人
: 就是用AI編曲演唱歌頌薩菲羅斯什麼的
: 還有個遊戲直播主,他之前發了個影片鑑賞那些用他的聲音為免洗遊戲打的廣告
: 只能說,當初大概也很少人預測到,最先被AI打成手工業者的,竟然是創意產業和流行設計
: 或許也是側面表現了現代人類的精神生活有多空泛吧……
準確來說是替代了部分創意、流行的生產步驟,AI只是降低製造的門檻。
不然像...
薩菲羅斯男人中的男人、歐金金是奶茶...
不管誰來都不會覺得這玩意是AI想出來的
=============================================================
配音領域的話,對岸常用的3個開源項目
Bert-VITS2、GPT-SoVITS、Fish-speech
至於唱歌方面的我沒太研究,不過據我所知唱歌AI目前還是比較粗糙的
Bert-VITS2
去年就有了,開源版預訓練模型無法用來推理
必須使用者自己收集素材,然後自己煉丹。
GPT-SoVITS
還是要自己去煉丹,原始項目沒法直接推理,
不過他的LLM參數量太小,常常出現幻覺。
Fish-speech
原理跟第上面的差不多,
不過重製了聲碼器,然後把LLM的參數量堆到1B,
初步解決比較常見的多音字發音問題。
比較雞賊的是,這玩意有做小樣本推理功能,
只要提供一個參考音頻,就能還原個7788,
不過要達到最佳效果還是要自己重煉聲碼器。
我這幾個月都拿這些聽書,體驗下來....
目前在自己有煉丹能力的情況下,音色跟韻律可以做到非常出色的還原。
但配音還需要情感演繹之類的功能,這點目前的TTS技術,
不管是商用項目還是開源項目,都遠遠達不到預期。
想要達到感情也很匹配的程度,需要大量人工進行微調,
如果是這樣的話,成本還是請真人配音比較便宜。
目前這技術,可以拿來整活、做二創、自己練著玩之外,
現階段要拿來直接給遊戲、動畫、配音,目前差距還很大。
除非你用人工干預一句一句精調。
記得yt上有個日本搞得很鬧的AI 安倍就是用BV2生成的