[請益] 在Unity中使用Deep Learning Model的方式

作者: doasgloria (青柳立夏)   2020-09-30 16:56:53
最近想在Unity中使用DL Model
大概是從Web Cam取得畫面後做一些人臉偵測之類的
本來使用OpenCV for Unity, 但是模型能力有限(偏向傳統影像演算法)
想移植一些不錯的 Deep Learning Model到Unity上試試看
目前想到兩個想法
第一個用 Unity的ML agent
不過不知道 假設已經有用Python訓練好的pytorch或keras模型
要import到裡面轉換使用是否方便
以及效能變化如何~~
第二個是用Compute Shader
把模型的矩陣參數寫入 感覺工作量也是滿大
變成用Shader去重造一個模型~
只是現在DL模型參數都是數百萬起跳
不知道這個方式的可行性如何~~
想知道是否有在Unity使用過DL模型的大大
希望能給點方向建議 >////<
非常感謝 !!
作者: Feis (永遠睡不著 @@)   2020-09-30 18:53:00
想成 Unity只是做前端介面,做資料的 prepocessing。其他都丟到常用的工具算就好
作者: kingroy (手殘總比腦殘好)   2020-10-02 23:19:00
比較想知道使用Unity對你來說的好處在哪?
作者: ddavid (謊言接線生)   2020-10-04 11:58:00
如一樓所說的,擅長的事情交給擅長的工具做,你把中間串接處理好就好開個Server跑Python模型做運算,Unity拿完資料往Server送再討回結果做顯示就好

Links booklink

Contact Us: admin [ a t ] ucptt.com