[瑟瑟] 看色圖不求人Part2 AI生成色圖全教學
作者: cybermeow (我有一隻貓) 2022-09-20 09:37:20
古拉鎮樓 (從Discord搬運 非本人生成)
https://i.imgur.com/HWRVeJW.png
Part 1 在這 https://www.pttweb.cc/bbs/C_Chat/M.1662444496.A.2E6
不重要 過時了 這篇將包含所有你生成色圖需要的資訊
1. 使用者界面 Stable Diffusion Webui
天天更新官方的在這裡
https://github.com/sd-webui/stable-diffusion-webui
但個別版本一堆主流好像是用1111的 個人也是用這個
https://github.com/AUTOMATIC1111/stable-diffusion-webui
跑起來大概長這樣
https://i.imgur.com/JmYKTSv.png
安裝方式按照每個網站說的 像是官方的寫這樣
windows
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.installati
on.md
linux
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.linux-inst
allation.md
1111的Nvidia卡寫這樣
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-o
n-NVidia-GPUs
個人linux就是clone回來
開conda環境
跑python launch.py
有dependency問題就修 然後就好了
另外也有用Google Colab的選擇 只想測試沒有要瑟瑟的人可以用
使用上就像上面那張 可以選擇 postive 跟 negative prompt
https://i.imgur.com/JmYKTSv.png
(negative prompt 貌似只有 1111 的有支援)
positive個人一般放 artwork of ... 之類的
negative很迷 可以放一些感覺負面的東西 (如圖中所示)
也可以試著避開一些結果例如把opened mouth放過去讓嘴巴閉起來之類的
到底怎麼找到合適的prompt蠻不直覺的
而且很浪費時間 畢竟這個東西一個月後大概就長不一樣了
所以下面會介紹其他方式來生成想要圖片
2.模型
有了使用者界面最重要的當然是模型本身
幸運的是現在很多人在訓練 從一般的到動畫到瑟瑟到pony到furry都有
這裡整理了一些
https://rentry.org/yrpvv
一般ACG用Waifu Diffusion 這週末會釋出v1.3
要瑟瑟用Lewd Diffusion 不太好控目前只是beta beta beta版本
大老們還持續在蒐集資料跟訓練中
載下來後傳到webui資料夾裡面models的資料夾就可以用了
理論上用哪個模型現在可以直接在Settings換就可以
不過目前似乎有bug所以behavior有點迷 有時候直接整個關掉重開比較方便
另外因為是開一個port 可以在伺服器開外部ssh進去
也有支援直接public開給人用等等
3.圖片生成: 學習概念篇
如上所說 要用prompt生成想要的圖片實在不易
所以個人推薦自己跑一個 textual inversion 學習你想要的概念的embedding
之前已經發了好幾篇實作案例
https://www.pttweb.cc/bbs/C_Chat/M.1662622748.A.4E6
https://www.pttweb.cc/bbs/C_Chat/M.1662808060.A.746
https://www.pttweb.cc/bbs/C_Chat/M.1662880538.A.386
這一次拿來測彩奈
https://i.imgur.com/H7XS3YX.png
頭髮遮眼睛真的學不起來 髮飾則微妙
要學這個embedding個人測試過兩個 分別是
以stable diffusion原本repo為基礎的
https://github.com/lstein/stable-diffusion/blob/main/docs/features/TEXTUAL_INVER
SION.md
和diffuser的
https://github.com/huggingface/diffusers/tree/main/examples/textual_inversion
學這個12GB Vram的話圖片大小用448x448才不會記憶體容量不足
Vram更多直接用原本的512x512就可以
個人覺得diffuser的操作起來比較容易但每次重新複製整個模型很迷
如果用diffuser的話產生的東西裡面會有會有一個.bin的檔案就是學到的embedding
至於用第一個好處是可以用tensorboard看當下進度
而其中目前生成的圖片會存在log/..../images/train面
可以大概判斷一下目前學的如何 覺得ok的時候停掉
跑的過程會直接產生一推.pt的檔案在checkpoints裡面
之後就在webui開一個embeddings的資料夾
把想要的.pt放進去 如果沒意外你可以選最後一個 (embeddings.pt)
改一下名稱 像是arona.pt 之後prompt直接輸入arona拿學到的embedding
如一開始的圖所示 (這裡用arona0)
https://i.imgur.com/JmYKTSv.png
至於diffuser生成的.bin檔案把結尾改成.pt一樣同一個方法用
textual inversion因為不調模型只學embedding所以受限於模型參數本身
沒辦法完全重現想要的結果
想要更符合的圖片的話 除了直接finetune還可以用dreambooth
https://github.com/XavierXiao/dreambooth-stable-diffusion
比起finetune只需要少量圖片
跑起來比textual inversion還快 (不到一小時)
缺點是訓練出來的模型沒有相容性 一個觀念就一個模型
而且因為調整個模型需要30G Vram 現階段幾乎只能用雲端服務租A6000
不過很便宜 舉例來說 一個人訓練的古拉模型花才幾百台幣
可以得到以下成果
https://i.imgur.com/jYQA6gC.png
比起個人之前的文章很明顯更好的學到了特徵
只是dreambooth學到的東西也不好控制
常常prompt給錯就整個崩掉
相較之下textual inversion得到的結果雖然比較差但壞掉時也是漸進式的
下面的古拉自拍系列prompt也調很久
https://i.imgur.com/69dRvb7.png
開頭那張也是這個模型生的
4.圖片生成: 以其他圖片做基底篇 Image to Image
webui功能一大堆天天更新有興趣的可以自己看
這裡再介紹一個image2image用圖片當輸入作為參考
就某個角度來說它這個implementation是用個很簡單的演算法
效果差強人意
但拿來做風格微調或者當作圖片構圖基底還算能用
界面長這樣
https://i.imgur.com/fczYbl2.png
使用範例 拿來把戀X或女X3dX的圖2d化
像這張 (取自https://www.pixiv.net/artworks/85531604)
https://i.imgur.com/47jljPp.png
https://i.imgur.com/XOA8Q5k.jpg
或是 (目前的模型仍然有生成四肢障礙
https://i.imgur.com/x7WxXHa.jpg
https://i.imgur.com/eMC89Qs.jpg
Denoising越大會離遠本圖片越遠 因為會先加一堆噪音開始重新繪圖
(圖片生成原理細節: https://www.pttweb.cc/bbs/C_Chat/M.1661681711.A.DE3
再貼幾個 (右3d 左2d化
https://i.imgur.com/dRBO1Qp.png
https://i.imgur.com/8Dvl4rZ.png
https://i.imgur.com/ReJK5Az.png
source:
https://www.pixiv.net/artworks/87009158
https://www.pixiv.net/artworks/85178188
https://www.pixiv.net/artworks/85443189
當然像是lyroris那篇把2d真人化也可以
當輸入是就是真實系3d cg
只能說效果很可怕 基本上就是deepfake
然後目前雖然有支援inpainting也就是把缺失部分補足的功能
但個人發現diffuser跟stable diffusion原本repo的演算法不一樣
webui應該是用後者
然後兩個演算法感覺都沒到很好
所以有興趣的人應該可以藉此水一篇paper (雖然應該一堆人會去水了
5.色圖
上面那套用正確的模型下去做基本上可以生成各種色圖
不過目前主要受限於資料品質以及clip embedding相關知識不足
當姿勢或視角跑掉太多基本上幾乎生不出來
日本的馬賽克規定也變相增加訓練難度 使得關鍵部份常常效果不佳
但各種調整還是可以有不錯的結果
有興趣可以去 4chan h/hdg 看 (不過那裡也混了各種真實系的
以下示意圖應該不會被桶吧?
https://i.imgur.com/hcC4K9n.png
https://i.imgur.com/FCUWKY2.png
置底貼個彩奈換裝系列 效果依舊差強人意
https://i.imgur.com/a8gffeN.jpg
更多資訊可以參考
https://wiki.installgentoo.com/wiki/Stable_Diffusion#Waifu_Diffusion
網路上有幾個discord也都可以加 (應該都是英文的
https://i.imgur.com/HWRVeJW.png
Part 1 在這 https://www.pttweb.cc/bbs/C_Chat/M.1662444496.A.2E6
不重要 過時了 這篇將包含所有你生成色圖需要的資訊
1. 使用者界面 Stable Diffusion Webui
天天更新官方的在這裡
https://github.com/sd-webui/stable-diffusion-webui
但個別版本一堆主流好像是用1111的 個人也是用這個
https://github.com/AUTOMATIC1111/stable-diffusion-webui
跑起來大概長這樣
https://i.imgur.com/JmYKTSv.png
安裝方式按照每個網站說的 像是官方的寫這樣
windows
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.installati
on.md
linux
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.linux-inst
allation.md
1111的Nvidia卡寫這樣
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-o
n-NVidia-GPUs
個人linux就是clone回來
開conda環境
跑python launch.py
有dependency問題就修 然後就好了
另外也有用Google Colab的選擇 只想測試沒有要瑟瑟的人可以用
使用上就像上面那張 可以選擇 postive 跟 negative prompt
https://i.imgur.com/JmYKTSv.png
(negative prompt 貌似只有 1111 的有支援)
positive個人一般放 artwork of ... 之類的
negative很迷 可以放一些感覺負面的東西 (如圖中所示)
也可以試著避開一些結果例如把opened mouth放過去讓嘴巴閉起來之類的
到底怎麼找到合適的prompt蠻不直覺的
而且很浪費時間 畢竟這個東西一個月後大概就長不一樣了
所以下面會介紹其他方式來生成想要圖片
2.模型
有了使用者界面最重要的當然是模型本身
幸運的是現在很多人在訓練 從一般的到動畫到瑟瑟到pony到furry都有
這裡整理了一些
https://rentry.org/yrpvv
一般ACG用Waifu Diffusion 這週末會釋出v1.3
要瑟瑟用Lewd Diffusion 不太好控目前只是beta beta beta版本
大老們還持續在蒐集資料跟訓練中
載下來後傳到webui資料夾裡面models的資料夾就可以用了
理論上用哪個模型現在可以直接在Settings換就可以
不過目前似乎有bug所以behavior有點迷 有時候直接整個關掉重開比較方便
另外因為是開一個port 可以在伺服器開外部ssh進去
也有支援直接public開給人用等等
3.圖片生成: 學習概念篇
如上所說 要用prompt生成想要的圖片實在不易
所以個人推薦自己跑一個 textual inversion 學習你想要的概念的embedding
之前已經發了好幾篇實作案例
https://www.pttweb.cc/bbs/C_Chat/M.1662622748.A.4E6
https://www.pttweb.cc/bbs/C_Chat/M.1662808060.A.746
https://www.pttweb.cc/bbs/C_Chat/M.1662880538.A.386
這一次拿來測彩奈
https://i.imgur.com/H7XS3YX.png
頭髮遮眼睛真的學不起來 髮飾則微妙
要學這個embedding個人測試過兩個 分別是
以stable diffusion原本repo為基礎的
https://github.com/lstein/stable-diffusion/blob/main/docs/features/TEXTUAL_INVER
SION.md
和diffuser的
https://github.com/huggingface/diffusers/tree/main/examples/textual_inversion
學這個12GB Vram的話圖片大小用448x448才不會記憶體容量不足
Vram更多直接用原本的512x512就可以
個人覺得diffuser的操作起來比較容易但每次重新複製整個模型很迷
如果用diffuser的話產生的東西裡面會有會有一個.bin的檔案就是學到的embedding
至於用第一個好處是可以用tensorboard看當下進度
而其中目前生成的圖片會存在log/..../images/train面
可以大概判斷一下目前學的如何 覺得ok的時候停掉
跑的過程會直接產生一推.pt的檔案在checkpoints裡面
之後就在webui開一個embeddings的資料夾
把想要的.pt放進去 如果沒意外你可以選最後一個 (embeddings.pt)
改一下名稱 像是arona.pt 之後prompt直接輸入arona拿學到的embedding
如一開始的圖所示 (這裡用arona0)
https://i.imgur.com/JmYKTSv.png
至於diffuser生成的.bin檔案把結尾改成.pt一樣同一個方法用
textual inversion因為不調模型只學embedding所以受限於模型參數本身
沒辦法完全重現想要的結果
想要更符合的圖片的話 除了直接finetune還可以用dreambooth
https://github.com/XavierXiao/dreambooth-stable-diffusion
比起finetune只需要少量圖片
跑起來比textual inversion還快 (不到一小時)
缺點是訓練出來的模型沒有相容性 一個觀念就一個模型
而且因為調整個模型需要30G Vram 現階段幾乎只能用雲端服務租A6000
不過很便宜 舉例來說 一個人訓練的古拉模型花才幾百台幣
可以得到以下成果
https://i.imgur.com/jYQA6gC.png
比起個人之前的文章很明顯更好的學到了特徵
只是dreambooth學到的東西也不好控制
常常prompt給錯就整個崩掉
相較之下textual inversion得到的結果雖然比較差但壞掉時也是漸進式的
下面的古拉自拍系列prompt也調很久
https://i.imgur.com/69dRvb7.png
開頭那張也是這個模型生的
4.圖片生成: 以其他圖片做基底篇 Image to Image
webui功能一大堆天天更新有興趣的可以自己看
這裡再介紹一個image2image用圖片當輸入作為參考
就某個角度來說它這個implementation是用個很簡單的演算法
效果差強人意
但拿來做風格微調或者當作圖片構圖基底還算能用
界面長這樣
https://i.imgur.com/fczYbl2.png
使用範例 拿來把戀X或女X3dX的圖2d化
像這張 (取自https://www.pixiv.net/artworks/85531604)
https://i.imgur.com/47jljPp.png
https://i.imgur.com/XOA8Q5k.jpg
或是 (目前的模型仍然有生成四肢障礙
https://i.imgur.com/x7WxXHa.jpg
https://i.imgur.com/eMC89Qs.jpg
Denoising越大會離遠本圖片越遠 因為會先加一堆噪音開始重新繪圖
(圖片生成原理細節: https://www.pttweb.cc/bbs/C_Chat/M.1661681711.A.DE3
再貼幾個 (右3d 左2d化
https://i.imgur.com/dRBO1Qp.png
https://i.imgur.com/8Dvl4rZ.png
https://i.imgur.com/ReJK5Az.png
source:
https://www.pixiv.net/artworks/87009158
https://www.pixiv.net/artworks/85178188
https://www.pixiv.net/artworks/85443189
當然像是lyroris那篇把2d真人化也可以
當輸入是就是真實系3d cg
只能說效果很可怕 基本上就是deepfake
然後目前雖然有支援inpainting也就是把缺失部分補足的功能
但個人發現diffuser跟stable diffusion原本repo的演算法不一樣
webui應該是用後者
然後兩個演算法感覺都沒到很好
所以有興趣的人應該可以藉此水一篇paper (雖然應該一堆人會去水了
5.色圖
上面那套用正確的模型下去做基本上可以生成各種色圖
不過目前主要受限於資料品質以及clip embedding相關知識不足
當姿勢或視角跑掉太多基本上幾乎生不出來
日本的馬賽克規定也變相增加訓練難度 使得關鍵部份常常效果不佳
但各種調整還是可以有不錯的結果
有興趣可以去 4chan h/hdg 看 (不過那裡也混了各種真實系的
以下示意圖應該不會被桶吧?
https://i.imgur.com/hcC4K9n.png
https://i.imgur.com/FCUWKY2.png
置底貼個彩奈換裝系列 效果依舊差強人意
https://i.imgur.com/a8gffeN.jpg
更多資訊可以參考
https://wiki.installgentoo.com/wiki/Stable_Diffusion#Waifu_Diffusion
網路上有幾個discord也都可以加 (應該都是英文的
作者: LeeXX (理性 但不一定中立) 2022-09-20 09:39:00
推
作者: smart0eddie (smart0eddie) 2022-09-20 09:39:00
色色
作者: bamama56 (bamama) 2022-09-20 09:40:00
瑟瑟教學
作者: ataky (七元) 2022-09-20 09:40:00
爆讚
作者: Aka2306012 2022-09-20 09:40:00
推
作者: hh123yaya (KID) 2022-09-20 09:41:00
最正確的使用方法
作者: Political 2022-09-20 09:43:00
推
作者: billy791122 (jj) 2022-09-20 09:47:00
所以這可以訓練r18圖嗎
作者: REDF (RED) 2022-09-20 09:48:00
推 科技進步完成這些的人應該領諾貝爾和平獎
作者: f1731025 2022-09-20 09:49:00
色圖永動機要研發成功了嗎
作者: MonDaNai (衝鋒戰神) 2022-09-20 09:51:00
學術研究
作者: Koyomiiii (Koyomi) 2022-09-20 09:51:00
學...學術研究（鼻血
作者: kkoejeo 2022-09-20 09:57:00
謝囉
作者: goldfishert 2022-09-20 09:57:00
會不會以後有人用殭屍電腦來畫色圖上傳牟利啊?
作者: roribuster (幼女☆爆殺) 2022-09-20 09:59:00
畫圖ai最終都會被人類訓練成只會畫色圖
作者: SetsunaOgiso (小木曽雪菜) 2022-09-20 10:00:00
槓 文組看不懂啦
作者: aiglas0209 (aiglas) 2022-09-20 10:05:00
浪漫 優質
作者: DarkyIsCat (黑肉貓娘讚) 2022-09-20 10:05:00
AI:人類就是色色
作者: js850604 (jack0604) 2022-09-20 10:05:00
還好AI不看迷因，不然畫一畫都變阿姆斯壯
作者: iwinlottery (我中樂透頭彩) 2022-09-20 10:05:00
以後不用去理洽請神了
作者: HDDY (浩) 2022-09-20 10:09:00
這篇有點猛
作者: ARCHER2234 (土波) 2022-09-20 10:10:00
電腦白痴的我已經過載了有沒有一鍵生成澀圖的啊？
作者: SunnyBrian (人気薄二冠馬) 2022-09-20 10:11:00
看不懂也要先推
作者: AdmiralAdudu (嘟嘟嚕都大都督) 2022-09-20 10:14:00
太爽辣 色圖自給自足
作者: ImCasual (七星破軍幹你娘) 2022-09-20 10:16:00
爆生時間
作者: herbleng (herb) 2022-09-20 10:17:00
推
作者: CYL009 (MK) 2022-09-20 10:22:00
以後色圖自己產
作者: Tsozuo 2022-09-20 10:23:00
為什麼覺得AI瑟瑟比手繪色色還複雜.....
作者: uohZemllac (甘草精華雄沒醉) 2022-09-20 10:29:00
推
作者: ryo1008 (Yu_BeeR) 2022-09-20 10:30:00
畫圖學不好，電腦又學不好，我還有什麼用QQ
作者: newcsie68 (幻風之月) 2022-09-20 10:30:00
推 有空也想來研究一下
作者: likeyousmile 2022-09-20 10:33:00
太強了
作者: frankfipgd (琉璃) 2022-09-20 10:39:00
推一個w
作者: AlianF (左手常駐模式) 2022-09-20 10:40:00
太苦了 我只是想要瑟瑟
作者: ARCHER2234 (土波) 2022-09-20 10:41:00
了解，我需要找電腦工程師表妹幫我裝好這樣會社死嗎？
作者: cybermeow (我有一隻貓) 2022-09-20 10:47:00
跟她說要用人工智慧進行藝術創作 聽起來就很潮
作者: nyanpasu (nyanpasu) 2022-09-20 11:13:00
一天10次有材料啦
作者: qxpbyd (qxpbyd) 2022-09-20 11:24:00
好奇你兩個upscaler的來源是哪裡? Reddit的unstablediffusion被BAN了 NovelAI也有自己做了anime和furry model
作者: tamynumber1 (Bob) 2022-09-20 11:26:00
等到AI理解人類性癖的時候，就是決定要毀滅人類的時刻了
作者: longkiss0618 (劍舞北極) 2022-09-20 11:37:00
感受到時代的進步
作者: Koyomiiii (Koyomi) 2022-09-20 11:37:00
我比較怕以後有人大量生產157
作者: qxpbyd (qxpbyd) 2022-09-20 11:48:00
沒事Google到了 NovelAI至少他DC現在是可以免費產圖我不確他之後是走midjourney模式還是會開源 不過SD一開始在DC也是會用SFW filter 幫助他們產生SFW版本走商業模式是沒辦法 只能說SD創辦人太有錢 目光也很遠
作者: nicehuman (nicehuman) 2022-09-20 12:48:00
推
作者: fmp1234 (刁民H) 2022-09-20 12:51:00
色色
作者: harryzx0 (DMD_LIFE) 2022-09-20 13:11:00
太棒了 但是看不懂
作者: attacksoil (擊壤) 2022-09-20 13:24:00
哇靠 我好像玩得起來 來試試
