電腦也會手繪,美研究生開源AI模型「PaintsUndo」重現彩圖創作歷程
https://www.4gamers.com.tw/news/detail/65845
美國史丹佛大學研究生 Lvmin Zhang(lllyasviel)7 月 9 日在 Github 發表 AI 模型「P
aintsUndo」,使用者只要導入 2D 靜態圖像就會展開「逆向工程」,從白紙草稿、上色、
陰影到作品完工,電腦自動深度偽造一整段創作過程並完整輸出成影片。
PaintsUndo 在 Github 頁面刊載多個使用實例,該模型看似能將「任何平面彩圖」的創作
歷程輸出成縮時影片,除了模仿動漫角色的 AI 插畫,最底下有用照片或真人圖像的案例,
就算本來不是插圖,也能掰出畫圖的每個步驟。
PaintsUndo 操作步驟有三,首先是把圖片上傳並生成提示,電腦會試圖理解原圖的風格,
並模仿出人類繪畫行為的畫格(Key Frames),就像畫畫過程的分鏡一樣,使用者能調整種
子畫面與其他參數,最後再輸出縮影。
PaintsUndo 處理一張圖的時間取決於使用者設定的每秒影格數(FPS)與解析度,時長 25
秒、FPS 4、解析度約 512x320、448x384 的影片,需要時間大約 5 到 10 分鐘。
由於 AI 創作演算法的訓練數據多取自網路而時常陷入智財爭議,今年 4 月新北私立復興
商工就爆出校慶師生美展首獎作品「大鬧龍宮」是用 AI 合成繪圖,當時校方請該名學生還
原繪圖過程,才發現他用 AI 拼貼圖像、或到網路取圖來「重塑」製畫。
批評者常指責 AI 作畫「沒有靈魂」,爭議點就是創作過程,因為作品是電腦生的,人類只
要下指令而非真正的手繪;但 PaintsUndo 不只能夠重現構圖歷程,甚至可以將真實照片重
新構思成畫作,彷彿把真人電繪的過程錄下來。
PaintsUndo 的開發者 lllyasviel 專門研究電腦視覺領域(Computer vision),過去曾推
出影像生成模型 Fooocus、AI 光照布局 IC-Light、素描風格繪畫模型 Style2Paints 和 C
ontrolNet 等數款免費模型,讓使用者能輕鬆生成高品質彩圖。
其中 ControlNet 獲得領域盛事 ICCV 2023 最佳論文獎,該模型作為 Stable Diffusion
擴展套件,可以提取原圖人物的動作與線條,來輸出不同繪畫風格且精準再現原圖相應姿勢
與輪廓的圖像
https://x.com/kiyoshi_shin/status/1810554894581207380
https://x.com/milbon_/status/1810933092645011923
PaintsUndo 這樣效仿人類作畫的 AI,是否會淪為騙人的手段?
lllyasviel 在 Github 解釋說該專案的目的是開發人類電繪行為的基本模型,協助未來的
AI 更能滿足人類藝術家的創作需求,「Paints-Undo 名稱啟發自 AI 輸出的過程類似人們
在電繪軟體中多次按下『復原』鍵(通常是 Ctrl+Z)。」
「使用者可以自由地使用這個工具來創作內容,但必須遵守當地法律,並負責任地使用。使
用者不得透過這個工具製造假資訊或煽動衝突。開發者對用戶的濫用不承擔任何責任。」