不久前Oculus的CTO技術總監
John Carmack在社群頁面有
透露將推出Oculus Go/GearVR版的
5K x 5K格式，60fps的
VR短片"Henry".
goo.gl/mLS9rB
Henry是3年前曾出在Rift的
VR故事短片,曾在艾美獎得獎。
前幾天OculusGo商城已經上了。
(免費下載)
不過高通S821處理器的硬解規格，
只到[email protected]
就連新的S835/S845似乎也如此。
因為手機需求這樣就頂級。
但VR顯然不夠。
所以CTO John Carmack說明是
靠特殊軟體優化取巧技術，
不能直接解碼5Kx5K的360度影片。
解碼最佳化原理大概這樣..
1.先解碼另外一組預存的2K*2K,
較低解析度的影片。
2. 另取5K影片的局部，例如
5x1K高解析資料，再將這資料再分成10個1K*1K區塊。
不斷即時判斷那幾區塊是下個畫面所需。
只優先解碼其中立即看到的3個區塊
(其他目前視線看不到區塊就不處理)。
所以每眼解碼量只剩
1個2x2K影片+3個1x1K區塊影片
....比起原素材5x5K全部解碼,
可能省略7成運算?
那2x2K應該是用來應付萬一突然快速轉頭，來不及提供高解析度畫面時，先用次級畫面應
付。
原理是你轉動動態很大時，眼睛也無法分辨細節。等頭部姿態穩定時，它高解析畫面也算
好了,
我嘗試快速轉頭，但也無法
感覺解析度有差異，沒有任何解碼延遲。
Go靠這技術能硬跑5K x 5K，60hz。
總下載資料會變更大一點。
但能藉此突破硬體解碼性能限制，
提高VR影片畫質。
(不過GearVR因為版本眾多，較舊的機種將不支援。)
這類適應性影片優化，早就有各家實作，各自使用技術不同，
原理都是希望只傳輸解碼眼睛看到的區域。
例如商城的Visbit 也是免費下載
(號稱6-8K甚至更高)
目前只有幾個風景示範影片。
但實作不理想，轉動時延遲明顯，頭轉過1-2秒了畫面還是糊的。
慢慢變清楚，但仍不夠清晰。
有買Go的都體驗過很少有超過2K/3K的VR訊源的痛苦。
360度環景素材，畢竟有8成資料是在FOV視野以外。
在近90-100度上下的實際視野內
的影片有效顯示像素只有1/4。
所以VR商城內不少VR影片長寬
連2k都不到，就註定畫質糊到不行,
畫質太悲劇，常常看一眼就關掉。
FB(Oculus)此次自己示範實作
5Kx5K影片，設立新畫質標竿。
之後這技術如何商業化還不清楚。
推測是希望之後別的廠商跟進，
製作更多超高解析VR影片上架。
(台灣的小貓巴克里有機會嗎?)
實際上FB去年已把該故事短片工作室關閉了，因為政策轉變，
VR前期1-2年早期開拓期，是FB自己砸錢, 先做示範的免費產品來捧Oculus VR.
後來VR軟體開發生態系逐漸成形後，FB把資源轉向扶植合作外部其他廠商做產品，就收掉
一些工作室。
這次Henry，是把原用3D引擎realtime計算的舊有Source，
再重新運算預錄儲存成CG影片。
因為變成純預錄影片，
所以不能互動，不能改視點位置，只能原定轉頭。
而且5Kx5K容量很大，
看這6分多鐘短片就要1.3GB.
雖然透過技術可以減少解碼運算量
但雙眼2x5Kx5K的儲存量無法節省
這市場在哪???
台灣有蠻多商業化遊樂園的軌道車海盜船之類設施。
(被綁在座位無須6DOF與互動)
已導入VR短片，用免主機免接線的手機VR.
這是有市場實證的商機。
一體機在這方面應該更適合。
硬體成本低(撞到飛出較不心疼?)
即使5x5K影片容量很大，
但商業用頭戴設備1次只需塞1影片，應該也很夠用。
再來是360度商業高階VR電影院的閒聊.......
售票商業VR電影短期還不成氣候，看不見片源未來與商機利益。
收費高價服務，影片品質要遠超過一體機才有競爭力,
所以解析度至少8K起跳才ok。
今年HTC在搞Vive Pro+PC主機
配套的TMS劇院管理系統。
TMS最高能做到8K電影。
(播影片6DOF沒用,只要高解析面板)
去年開始以蔡明亮的VR電影
"家在蘭若寺"海外巡迴示範 ,
展示區是每個360度旋轉椅子，
旁邊都有傳輸線(感覺轉圈會纏繞)
看起來場地有多少Vivepro頭顯,
旁邊就有多少台PC主機，
靠PC暴力性能做8K 360度解碼.
商業高階VR電影院問題是片源。
各家廠商弄出VR硬體配套不難。
線的問題，未來應該可以把主機跟椅子整合，觀看者也跟著椅子轉。
甚至椅子增加體感震動。
但....誰來提供影片?
若是Henry或巴克里那種影片
通常是3D引擎即時繪圖，改輸出設定就輸出5K甚至8K影片。
解析度高低都是電腦繪圖創造的
沒成本差異只是算久一點，容量大一點。
但用3D引擎做的動畫，較適合
小額付費下載的小品卡通短片。
放商業劇院收門票就很難普及。
傳統商業電影製作VR化，
就牽涉到剪接合成與後製特效，
對成本影響龐大，其市場投資回收能力卻還不明朗，不太看好。
據說拍攝也很麻煩。
一個VR電影場景要拍兩種畫面，
一種是正常演出，一種是空場景。
(用來後製，把工作人員去掉。)
兩種畫面在不同時間拍攝，
但除了沒工作人員，要完全一致。
這就導致在戶外開放場景有困難。
太多不可控因素可能造成不一致。
3D後製特效成本也會是天價。
因為特效價格是跟張數時間及解析度成正比。所以很多4K電影的CG特效,仍只用2K解析度
來算，省錢。
而VR要搞商業售票電影，畫質
大概8Kx8K是基本要求，複雜特效
後製幾乎只能放棄。
PS: 目前最普及的VR商業影片
是180度的成人影片。
AV不需360度自動省掉很多成本，
AV成人片也不需任何後製特效.....
日本已經實作的很不錯。
180度影片只需2K-4K就有不錯畫質
不需oculus這種5K特殊解碼技術.
谷歌在推自拍VR180格式，也因為這樣較簡單，省掉很多麻煩。
拍攝者不用想辦法把自己後製修掉。
但AV這種用途顯然只利於讓一體機用戶在家看。
對推廣360度的付費的商業VR劇院沒有幫助。