https://www.techbang.com/posts/105487
Meta 開源的AI繪圖專案「Animated Drawings」:可以把你的潦草塗鴉,5步驟立刻變成
動畫
janusjanus 發表於 2023年5月03日 14:30
https://i.imgur.com/gLQdxp6.png
Meta公司已經開源了一個人工智慧計畫,讓任何人都能把他們的塗鴉變得更有生機。該公
司希望通過將「Animated Drawings」作為一個開放原始碼專案提供給其他開發者,他們
將能夠創造出新的、更豐富的體驗。
https://i.imgur.com/TMrppyl.png
基礎人工智慧研究(FAIR)團隊最初在2021年發佈了該工具的網路版本。它只需要使用者
上傳一張類似人類的單一角色的圖畫,或者選擇一個展示人物。如果你使用自己的塗鴉,
你會看到一個同意書,詢問Meta是否可以使用你的畫來幫助訓練其模型,不需要提供同意
也可以繼續使用這個工具。
接下來,上傳者需要手動調整一個捕捉框的大小,使之與原作緊緊相貼,介面中提供了筆
和橡皮擦來調整圖紙,然後再調整關節的位置。完成這一切後,就可以看到草圖的動畫版
本。你可以從四類預設的動畫中挑選:舞蹈、搞笑、跳躍和行走。
https://www.facebook.com/watch/?ref=external&v=196558752689269
動畫圖畫利用物體檢測模型、姿勢估計模型和基於圖像處理的分割方法來捕捉數字版本的
圖畫。然後,它使用傳統的電腦圖形技術對圖像進行變形和製作動畫。
他們做了一個示範版的網站,在展示上線後的幾個月內,使用者已經授權Meta公司使用
160多萬張圖片用於培訓。一些人上傳了公司標誌、動漫人物、魚和毛絨動物的圖片,儘
管該工具規定只有人類形象可以使用。你可以在這裡上傳你自己的塗鴉試試看。
https://sketch.metademolab.com/
5個步驟讓你的塗鴉跳起舞來
實際使用很簡單,基本上你只要用小畫家準備好一張圖片就好了,或是用手機將你孩子的
塗鴉畫拍下來也可以。
1.依照指示將你的塗鴉畫上傳到網站。
https://i.imgur.com/2A6ewi3.png
2.用框線把主要的角色部分框起來。
https://i.imgur.com/Yv5ZNxP.png
3.現在他就會自動判斷這個角色的肢體骨架,如果有沒標示到的地方,你可以利用下方的
工具自己再劃上來補強。
https://i.imgur.com/J23VZKQ.png
4.然後他就會產生關節。
https://i.imgur.com/t6uDlx2.png
5.最後你可以點選左邊的跳舞範本,可以看到右邊你的塗鴉隨之起舞。
https://i.imgur.com/xhFStrX.png
透過人們上傳到該工具的一系列圖像表明,人們對更廣泛的繪畫到動畫的體驗有廣泛的興
趣。這在一定程度上帶動了Meta公司將該項目與大約180000張圖紙的資料集進行了開源。
Meta在一篇文章中表示:「通過將模型和程式碼作為開放原始碼發佈,這個計畫為開發者
提供了一個起點,使他們能夠建立和擴展該項目,促進開放原始碼社區內的創新和協作文
化。」
瞭解更多:https://github.com/facebookresearch/AnimatedDrawings
========
操作流程不出意外 是抓出骨架以後去操縱骨架
DEMO 網站開出來以後等於可以有大量免費訓練用資料
FB 這次的新玩具看起來應該比較有前途