作者:
newwu (frankwu)
2022-10-06 13:30:15我嘗試來簡單圖解一下 AI生成圖的概念
因為 1. 想要簡單解釋 2. 我不是本科生
請板上各位高手不吝指教 不過別太嚴格
見圖一
首先,我想要從向量空間開始講起
假設你有一張圖 只有兩個像素 1 x 2
那你可以把第一個像素當成 x 第二個當成 y
這圖就是一個(x,y)向量 (見下圖)
假如有 3個像素 1 x 3 就是(x,y,z)三維向量
同理,
nx x ny 像素的圖 就是一個nx x ny 維度的向量
https://i.imgur.com/5QxQiV2.jpg
圖一
見圖二
理解這個想法後
我們把圖像的高維空間畫成二維方便表示
以ACG圖為例
那被人類接受的ACG圖就是一個高維空間中的分佈
簡單理解就是一個範圍內的圖,會被視為可接受的ACG圖
在那個範圍外的空間包含相片 雜訊 古典藝術 支離破碎的圖
生成模型的目的,就是從範圍內的樣本(下圖紅點)建立一個模型
這個模型學習到這個範圍,而模型可以生成也只會生成在範圍內的點
https://i.imgur.com/NfUyIAg.jpg
圖二
這裡有兩點值得注意
1. 模型並沒有儲存紅色樣本點的資訊,而是學到讓點落在那個範圍內的方法
2. 雖然理想上是要學習被人類接受的ACG圖的範圍,但是能學到的範圍受到樣本的限制
例如:未來會出現的畫風照道理說也在範圍內,但是沒有樣本,理論上學不到
又或者你的樣本內沒有一張圖出現耳機,模型就生不出戴耳機的妹子
基本上這機器學習的概念和人類有像,就是看很多存在的圖理解什麼算ACG圖
怎樣畫才是合格的ACG圖
但是
1.模型缺乏人類的先驗知識,例如我們知道耳機長怎樣,即使沒看過耳機的ACG圖
2.缺乏人類的創造力,因為人所能接受的ACG圖範圍一定比現在大得多,
缺乏人類的經驗知識或本能,以現在的做法機器無法拓展新的創作範圍
接下來簡單講一下,我所理解的主流生成模型
1. 生成對抗網路
這是兩個模型 一個機器評鑑家 和一個機器創作者
機器評鑑家不斷的學習分辨真正的人類創造 和 機器創作者造出的膺品
機器創作者則是不斷學著越畫越像人 騙過評鑑家
一個模型學習界定範圍
另一個學習讓生成的點在範圍內
2. Diffusion model (見圖三)
這個東西就是現在主流的這些動漫圖生成器的原理
這東西比較不直觀 數學也很複雜
簡單來說,
在訓練這模型時,先讓原本那些樣本點隨機擴散
最後變成一個高斯分佈 (ACG圖退化成雜訊)
同時紀錄擴散過程
之後再訓練一個模型學習逆擴散,把高斯分佈還原回ACG圖範圍
之後你高斯分佈取一點(丟一張雜訊給模型)
模型就會自動把你的圖推回去那範圍(變成ACG圖了)
https://i.imgur.com/zdnQPmj.jpg
這樣大致解釋一下,你覺得是拼貼嗎
作者:
newwu (frankwu)
2022-10-06 13:32:00哭啊 打到一半就有人解釋了 我在幹嘛…
作者:
lsd25968 (cookie)
2022-10-06 13:33:00沒事 有手繪解說給你推QQ
訓練學到的convolution filter 會像是小塊pattern根據activation 強度會在輸出圖上出現相應的pattern一層一層疊起來硬要凹是拼貼也沒說錯
作者:
guogu 2022-10-06 13:34:00圖文並茂 很棒啊
作者: mic73528 (jazzy) 2022-10-06 13:35:00
你講那麼多文組哪懂,看起來像就說拼貼阿
作者:
oasis404 (綠洲404)
2022-10-06 13:35:00沒關係,你講的比較簡單好懂一點
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 13:35:00透過運算把圖拆解 然後透過運算把圖產出來 算拼貼嗎
作者:
emptie ([ ])
2022-10-06 13:37:00你的圖說蠻清楚的耶
作者: Splatoon 2022-10-06 13:37:00
文組繼續說拼貼抄襲
作者: BwDragonfly 2022-10-06 13:38:00
寫得很清楚
作者:
qd6590 (說好吃)
2022-10-06 13:39:00其實我覺得這篇沒有比上一篇好懂 不過推用心
作者:
newwu (frankwu)
2022-10-06 13:39:00我只是想有人解釋就懶得解釋了
作者:
cornsoup (清涼蓮子綠豆湯)
2022-10-06 13:41:00手繪贏了
作者:
wei115 (ㄎㄎ)
2022-10-06 13:41:00有沒有專門用來解釋AI的AI
作者: inte629l 2022-10-06 13:43:00
推解說很好奇擴散手法的發想w 無奈數學不夠好
作者:
guogu 2022-10-06 13:48:00他沒有儲存原始資料能算拼貼嗎?
作者:
Vulpix (Sebastian)
2022-10-06 13:48:00Diffusion的概念就是拓樸啊。感覺應該要建立距離概念,那就應該是賦距的拓樸。有一點類似這樣:給全世界所有人都打上一個等級,數字越接近零的才是你的朋友。數字很大的那些可能因為社經或物理上距離你遙遠而數字太大。
作者: BwDragonfly 2022-10-06 13:52:00
他把"圖轉成雜訊又把雜訊還原成圖"的參數記下把那個參數用在全新的雜訊圖上就是拼貼的時機
而且那種瞎雞巴大的模型隨便train一下就overfitting了
作者:
vios10009 (vios10009)
2022-10-06 13:58:00如果這樣還硬要說是拼貼的話,那人在構思圖案的動作在他們的思考邏輯上也是拼貼了
人的作畫又難以一概而論了,很多人在動筆畫畫的當下腦裡是沒有畫面的,只有想畫的題材,看到自己畫出的線條或顏色之後才有接下來的想法,至少跟AI的過程完全不同
作者: BwDragonfly 2022-10-06 14:01:00
沒說人類不是拼貼,人類就是站在巨人的肩膀上就如你所說,人類有其他經驗,可以在圖畫上混合
不管啦像素級的拼貼還是拼貼啦都是抄襲啦抄像素也是抄襲啦不管啦幹
作者: BwDragonfly 2022-10-06 14:02:00
人可以做到 其他事物混圖,但是AI只有 圖混圖
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:02:00達文西學人體畫法是自己去解剖學來的 哪邊學其他人圖實際上就是 目前的AI拆解半天 還是只有拆解別人的圖
作者: BwDragonfly 2022-10-06 14:03:00
人類就可以把現實實景混上前輩的畫法但AI只有 前輩的畫法混前輩的畫法
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:04:00現在問題就是 AI從A畫家得到的A算式 B畫家得到的B算式這些算式能說是AI自產的嗎
作者: BwDragonfly 2022-10-06 14:06:00
人類混太多前輩的畫法 混到不能分辨時一樣是侵權啦
作者:
guogu 2022-10-06 14:06:00誰說的 那是novelai只用圖片 一堆其他的照片之類的都丟進去
作者:
newwu (frankwu)
2022-10-06 14:10:00真的那你訓練AI時多加幾張自己拍的照片進去 這樣就不算拼圖了嗎倒頭來是哲學問題嘛
看起來就是在從樣本分析出來的模型範圍內,慢慢把符合條件的像素填進去,我玩拼圖也是這樣玩的。
作者:
vios10009 (vios10009)
2022-10-06 14:12:00除非你是盲人畫師,不然只要有眼睛看的到在那些人的邏輯眼中就是抄襲了。
作者:
newwu (frankwu)
2022-10-06 14:12:00在電腦上架個攝影機 影響直通模型追加訓練 這還不夠仿人類嗎人類不也是揉合前輩和個人經驗來創造
作者:
guogu 2022-10-06 14:12:00我記得很像有漫畫家說過類似人只畫的出看過的東西這種話
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:13:00別再跟人類一樣了 人類還有自我感知跟想像的功能 ==
作者:
guogu 2022-10-06 14:13:00ai:我也會加噪點阿==
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:14:00你給AI看再多 不給他看雷太的畫 不給他看妖精 他是無法憑空創造出一個噪點跟公式畫出源賴光或長耳朵妖精
作者:
newwu (frankwu)
2022-10-06 14:14:00電腦有隨機數!
作者:
kinghamb (åŠè–)
2022-10-06 14:14:00那就只是AI看得還不夠多阿
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:15:00但人類可以 而今天這個看雷太畫產的公式 雷太有著作權嗎目前的隨機數要用人為操控去調整給權重阿 離產圖還遠的
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:16:00不是看不夠多的問題 你給他看再多三次元都產不出長耳朵
作者:
guogu 2022-10-06 14:16:00你人類沒看過人沒看過比較長的耳朵就畫的出妖精?
作者:
vios10009 (vios10009)
2022-10-06 14:16:00你大概忘了有一大部份被人類嫌棄淘汰的AI圖都是AI自己算出來的,這些圖卻不被歸類為AI自己想像的
作者: BwDragonfly 2022-10-06 14:17:00
確實 看得夠多的話就能降低和特定畫家相似的可能性就變成抓不到
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:18:00我知道AI會算出人為淘汰的圖阿 所以你還是要用人為去調教成人類想要的東西 這過程是有價值的沒錯
不是吧,印象派你還可以說是畫家近視太深,看起來都糊糊的,但野獸派、立體派的畫風在被創造出來以前要
作者:
newwu (frankwu)
2022-10-06 14:18:00我就覺得這是哲學問題 才以問句做結 模型再強也會被這樣質
有個有趣的事情大家可以想想 danbooru2021 dataset 接近5TB 而diffusion model則只有4GB
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:19:00今天問題是餵他吃A畫家的圖得到A畫家公式 用A畫家當tag
作者:
vios10009 (vios10009)
2022-10-06 14:19:00一直在不斷告知AI該怎麼畫的過程,難道就不是教嗎?
對啊 就像有人可以靠背考高分 有人靠理解原理跟邏輯
因為AI沒有自我意識能夠定義出風格,不管是被人為選中和淘汰的,對它來說都是符合條件的圖
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:21:00人類的學會很哲學 但AI的學會還是一串串的公式代碼
作者: BwDragonfly 2022-10-06 14:21:00
告知AI這件事,準確說是調整機器達到預期的目標
作者:
guogu 2022-10-06 14:22:00novelai不能用繪師當關鍵字就是了
作者: BwDragonfly 2022-10-06 14:22:00
所以才把硬教人類學習的行為,形容成機器人例如考試機器人
作者:
vios10009 (vios10009)
2022-10-06 14:23:00人們在模仿賽璐璐畫風的同時,不也是以此為目標嗎?
還有對繪畫的認知跟對AI數學概念 實際運作的認知也很影響這個問題的結論
作者:
guogu 2022-10-06 14:23:00我覺得ai不是不能產生風格 而是審美的是人它的風格你可能只會覺得這個ai練壞了
作者:
opppoo123 (little_dd)
2022-10-06 14:29:00感謝講解,diffusion 原來是這個意思
作者:
vios10009 (vios10009)
2022-10-06 14:29:00把賽璐璐畫風當作圍棋來看待,人類能走過的棋,AI肯定也會走過來甚至超越,現在還只是AlphaGO,等到變成AlphaZero那樣,那就沒有任何繪師能超越AI的畫風了,因為它能無中生有產出比目前畫風更引人注目的畫風
作者:
newwu (frankwu)
2022-10-06 14:30:00當然 難的是產生人可以接受的新風格
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:30:00現在問題就是 產生對於AI來說早就不難了 但AI沒辦法靠自己明白畫的是不是人要的東西
作者:
newwu (frankwu)
2022-10-06 14:32:00還是跟強化學習不同圍棋有規則有明確可定義的目標,可是產圖要懂的是人心
作者:
vios10009 (vios10009)
2022-10-06 14:37:00目前最大的區別是人類的審美觀其實已經鎖定AI畫圖的局限性,所以在怎麼強化也還是AlphaGO等級,要跳到AlphaZero然後人類還能接受的畫風還有一段路要走一個目標是贏,另一個的目標是討好人類的審美觀畫的很厲害很複雜沒有畫師能辦到,人類不喜歡也沒有用
今天如果把一些被淘汰奇形怪狀的圖撿起來說你看這些都是AI畫的,可能會很新奇沒錯,但實際上卻也是經過人為主觀判斷挑選後出來的圖,你以為的AI風格其實還是人為定義的。讓不同的人來選結果可能都不會一樣
作者:
vios10009 (vios10009)
2022-10-06 14:41:00我可以說繪師不會完全被取代,但不該因此排擠AI,就像你不會因為照相機會取代畫肖像畫的人就不用相機一樣相機的誕生在兩百年前也是顛覆當時的美術,但事實上兩邊都能夠共存到現在
作者: gintom7835 (gintom) 2022-10-06 14:47:00
人畫不出沒看過的東西?那那些奇幻故事的各種種族是怎麼來的?
ai靠一串串公式跟代碼,人類也一樣啊用語言文字教你公式教你怎麼做公式的部分自不必說,代碼就只是機器語言,溝通用的東西而已
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:49:00但是有個差距 你腦內的東西是你的這在法律跟道德上沒問
相機的衝擊,促使人類的繪畫創作脫離了早期注重光影寫實比例的刻畫,朝向新的方向去發展,這說明了人類的審美觀並不是固定的,除非AI有意識,能為自己的風格定義出標準,不然終究還是只能作為工具,依附在人類的喜好之下
作者:
andy0481 (想吃比叡的咖哩)
2022-10-06 14:50:00題 但AI的公式代碼如果是靠別人的圖來的 請問這些東西能算是AI擁有者擁有的嗎
作者: SALEENS7LM (我愛我婆,更愛你的) 2022-10-06 14:53:00
人類最主要的差異就是自我意識吧,就算學習也是自我去思考見解取捨吸收融合之後依照自己的想法去畫出想畫的東西,用手畫出腦內的想法或創意,就是這樣才有很多現實不存在的奇幻生物之類的被創作出來
作者:
vios10009 (vios10009)
2022-10-06 14:54:00那樣的話有問題的也是那些拿盜圖來餵的人,不是AI
現實不存在的奇幻生物的概念也是從現實動物而來的啊人類的思想仍然無法超脫自身所生存的世界概念,所謂的創意仍然是從生命經驗而來。而為了特定目的訓練的AI都餵同類型的圖,自然也只能製造出範圍內的圖,甚至超出範圍會被人類判定為不合格
作者:
vios10009 (vios10009)
2022-10-06 15:00:00NovelAI如果是盜圖,那應該譴責他們,但AI是無辜的,不能一竿子打翻一船AI,其他拿公開無版權圖案練習的AI不該因此被推上處刑台
作者: BwDragonfly 2022-10-06 15:03:00
有問題一直都是盜圖的人,如果是自己畫圖餵給AI,哪有問題
作者: SALEENS7LM (我愛我婆,更愛你的) 2022-10-06 15:04:00
人類懂得把現實被認知到的概念用思想去融合或以此為底魔改成一種新的本身就是在用自我意識去創造了啊
作者:
TSMKDAsa (非韓第一JG)
2022-10-06 15:06:00為什麼一直有人譴責NovelAi用盜版網站資料 但是卻沒見過幾個人去譴責danbooru本身啊 它才是萬惡根源不是ㄇ
作者:
guogu 2022-10-06 15:07:00ai也很會融阿 安價串不就融出一堆鬼東西
那像之前有人發文眼睛長奶子的難道就不算創造嗎?我覺得前提是觀看者知道作者是人類或AI,才因此產生出觀感差異
問題就在人類創意由來的生命經驗不光來自外在形象的臨摹而已
作者: SALEENS7LM (我愛我婆,更愛你的) 2022-10-06 15:21:00
那是它經過思考理解之後想像得出的東西嗎?
樓上上說的能否舉例呢?有點抽象不太理解你的意思對,我覺得重點在「作者的思考與理解」,人類繪師的價值就在於.....他是人類。因為我們是群居動物,天生有交流的需求,所以能夠理解繪師思想的畫作比起AI隨機產圖還要有價值(不過價值可能因人而異就是了)並不是「因為是人類才能畫的出這樣的圖」,而是「因為是人類畫出這樣的圖才有意義」依照圖本身的用途不同,有些不需要作者這層意義的就會被AI取代
現在的AI算圖的局限在於你的取材樣本終究來自於分析其他人已經創作出的圖像作品,但是人類的創作靈感有時候不單單來自於眼睛所見到的事物,夢境、記憶、感情、經驗,甚至味覺嗅覺等等都能成為題材養分,透過人的主觀意識形塑成作品,甚至在不同的精神情緒狀態也會有不一樣的結果。
當然用AI學習運算可以在視覺結果上無限的接近,但我認為過程還是有不小的差異
所以簡單說就是AI先看一幅畫怎麽被揉成垃圾再嘗試把另一坨垃圾攤開變成一幅畫