Re: [閒聊] 日本模型展疑似出現3D掃描作品的小偷
作者: yiefaung (艾克斯卡利伯) 2022-02-11 00:38:49
目前的工具精度可能的確不太夠
但這個問題正在被以肉眼可見的速度被解決
最近有個新技術叫做神經輻射場 Neural Radiance Field 簡稱NeRF[1]
發表在ECCV 2020
可以透過若干張2D圖像生成新視角跟3D建模
主要原理是給定座標和視角
預測空間中各個點的RGB跟密度(可以想成透明度)
最後再沿著新視角把各點的值累加
就是新視角看到的樣子
拿個常見的demo來說
有大約100張不同視角的lego車圖
https://i.imgur.com/UvNuoyp.png
最後可以得到各種視角 精度也相當不錯
https://i.imgur.com/CP2dSUP.gif
那麼在現實場景的表現如何呢
Google在CVPR 2021發表了NeRF in the wild[2]
搜集各個景點大家拍的照片去訓練
解決一些遮擋 相機參數 光線不一致之類的問題
也做出不錯的成果(以下影片)
https://storage.googleapis.com/nerf-w-public/videos/sacre/flythrough_v3.webm
那為什麼這個工具還沒普及呢
主要原因是要訓練很久
原版的NeRF要訓練好幾個小時甚至好幾天
不過好消息是這個問題在上個月被Nvidia解決了[3]
把訓練時間壓到幾秒鐘
沒錯就是幾秒鐘
連render都可以做到幾10FPS
雖然說隨便拍個照錄個影片幾秒鐘得到3d模型還有待開發
但是可以預見這類型的應用即將走進移動端
在這個各大廠力壓ARVR的時代
相信大家可以期待一下
Reference:
[1] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." In European conference on computer vision, pp. 405-421. Springer, Cham, 2020.
[2] Martin-Brualla, Ricardo, Noha Radwan, Mehdi SM Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. "Nerf in the wild: Neural radiance fields for unconstrained photo collections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7210-7219. 2021.
[3] Müller, Thomas, Alex Evans, Christoph Schied, and Alexander Keller. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding." arXiv preprint arXiv:2201.05989 (2022).
※ 引述《S890127 (丁讀生)》之銘言：
: 日本海洋堂主辦的 ワンフェス（Wonder Festival）
: 有參展人士在推特表示
: https://twitter.com/FLT44000/status/1490582145835798534
: 有拿著顯示奇怪畫面的智慧型手機的三人組（沒有說日文）到我的展區來。
: 現在才懂他們在幹嘛。
: 原來是深度感測（Depth Sensor）
: 原來是在用 LiDAR...
: 推主重現看到的手機畫面
: https://pbs.twimg.com/media/FK_tfoVaMAAYazX.jpg
: 根據底下網友的判斷，應該是被用手機掃描了展示品的 3D 模型
: 雖然不保證能複製到完全一樣的精細度，但沒付錢、未經許可
: 跑去掃描人家的商品模型，這算是犯罪了吧？
: 也許再過幾年技術變得更精密，真的會有人拿手機去掃描模型來自製了？
但這個問題正在被以肉眼可見的速度被解決
最近有個新技術叫做神經輻射場 Neural Radiance Field 簡稱NeRF[1]
發表在ECCV 2020
可以透過若干張2D圖像生成新視角跟3D建模
主要原理是給定座標和視角
預測空間中各個點的RGB跟密度(可以想成透明度)
最後再沿著新視角把各點的值累加
就是新視角看到的樣子
拿個常見的demo來說
有大約100張不同視角的lego車圖
https://i.imgur.com/UvNuoyp.png
最後可以得到各種視角 精度也相當不錯
https://i.imgur.com/CP2dSUP.gif
那麼在現實場景的表現如何呢
Google在CVPR 2021發表了NeRF in the wild[2]
搜集各個景點大家拍的照片去訓練
解決一些遮擋 相機參數 光線不一致之類的問題
也做出不錯的成果(以下影片)
https://storage.googleapis.com/nerf-w-public/videos/sacre/flythrough_v3.webm
那為什麼這個工具還沒普及呢
主要原因是要訓練很久
原版的NeRF要訓練好幾個小時甚至好幾天
不過好消息是這個問題在上個月被Nvidia解決了[3]
把訓練時間壓到幾秒鐘
沒錯就是幾秒鐘
連render都可以做到幾10FPS
雖然說隨便拍個照錄個影片幾秒鐘得到3d模型還有待開發
但是可以預見這類型的應用即將走進移動端
在這個各大廠力壓ARVR的時代
相信大家可以期待一下
Reference:
[1] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." In European conference on computer vision, pp. 405-421. Springer, Cham, 2020.
[2] Martin-Brualla, Ricardo, Noha Radwan, Mehdi SM Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. "Nerf in the wild: Neural radiance fields for unconstrained photo collections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7210-7219. 2021.
[3] Müller, Thomas, Alex Evans, Christoph Schied, and Alexander Keller. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding." arXiv preprint arXiv:2201.05989 (2022).
※ 引述《S890127 (丁讀生)》之銘言：
: 日本海洋堂主辦的 ワンフェス（Wonder Festival）
: 有參展人士在推特表示
: https://twitter.com/FLT44000/status/1490582145835798534
: 有拿著顯示奇怪畫面的智慧型手機的三人組（沒有說日文）到我的展區來。
: 現在才懂他們在幹嘛。
: 原來是深度感測（Depth Sensor）
: 原來是在用 LiDAR...
: 推主重現看到的手機畫面
: https://pbs.twimg.com/media/FK_tfoVaMAAYazX.jpg
: 根據底下網友的判斷，應該是被用手機掃描了展示品的 3D 模型
: 雖然不保證能複製到完全一樣的精細度，但沒付錢、未經許可
: 跑去掃描人家的商品模型，這算是犯罪了吧？
: 也許再過幾年技術變得更精密，真的會有人拿手機去掃描模型來自製了？
作者: TED781120 (蒼夜歌) 2022-02-11 00:40:00
這差蠻多的吧。
作者: csvt32745 (圓仔) 2022-02-11 00:41:00
幫補一下 最近的研究可以不用幾分鐘就好了https://nvlabs.github.io/instant-ngp/沒看到有放XDD 抱歉
作者: johnny3 (キラ☆) 2022-02-11 00:42:00
其實不是很稀奇 幾年前我就看過有拿幾張照片生3d模的技術
作者: longlyeagle (長鷹寶寶實驗室) 2022-02-11 00:42:00
身為一位職業機器學習工程師 訓練跟辨識是完全不同的
作者: longlyeagle (長鷹寶寶實驗室) 2022-02-11 00:43:00
nvidia壓縮的是辨識時間 不是訓練時間建議修改內文 不要提供錯誤資訊
作者: yiefaung (艾克斯卡利伯) 2022-02-11 00:47:00
是訓練喔 我已經reproduce在自己的dataset上過了
作者: csvt32745 (圓仔) 2022-02-11 00:49:00
單純好奇辨識在這個task的意思是什麼 0.0
作者: longlyeagle (長鷹寶寶實驗室) 2022-02-11 00:50:00
看了論文 你是對的 我道歉3D建模領域用的字眼跟機器學習不同 是我錯了這裡居然不用inference 而是用NN的BP提供定位修正
作者: namirei (哎呀奈米光) 2022-02-11 01:38:00
好強
作者: lonelygroup (陸人甲) 2022-02-11 01:44:00
哇噻這篇好強 感謝分享
作者: bluejark (藍夾克) 2022-02-11 02:32:00
這我就講了啊這個模型只能看看生成的模組佈組你給建模師看他會跳起來打人
作者: Mchord (Mchord) 2022-02-11 06:49:00
這個的產物是圖而不是模型，實用性差遠了Nerf不會給你3D模型，他只是把場景壓縮到model裡面而已該應用現在優勢是它inference超擬真畫面的能力，用GPU搭配各種normal, diffusion和specular map跟光追rendering也需要花不少時間得到擬真畫面。簡而言之Nerf不會給你模型，你沒辦法做到改顏色，剝掉衣服，豐胸提臀等3D模型才能搞的事情。
