https://tinyurl.com/ycvye9wk
Google Pixel 2動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動
隨著智慧型手機的相機功能與攝影品質越來越精進,雖然在品質部分可能還無法完全取代
數位相機,但是因為方便考量,許多使用者已經捨棄數位相機,全以智慧型手機記錄生活
大小事。廠商也無不致力於強化智慧型手機的拍照功能,不但搭載更強悍的光學元件,也
透過演算法強化防手震效果。
透過極短片記錄生活
有許多智慧型手機搭載動態照片功能(Motion Photo),可以拍攝長度為3秒的短片,如
此一來使用者就不必在要拍攝照片或影片之間抉擇。然而影片與照片之間的差異除了動態
與靜態之外,另一個問題在於拍攝影片時若是一面走動,或是沒有將手機拿穩,就會發生
畫面晃動的狀況。
為了改善這個情況,Google開發了Android平台Motion Stills技術與App,強化防手震效
果。它是透過分析影片的每個畫格,計算每個物件的動態向量,並分辨這些向量屬於前景
或背景物件。這種以純軟體運作的方式,雖然能適用於多數Android裝置,但是整體效果
還是有所限制。
結合軟、硬體功能降低晃動
在Pixel 2智慧型手機上,Google的研發團隊結合了以軟體為基礎的影像辨識追蹤,以及
以硬體為基礎的動態感應偵測,開發了新的動態預估以及混合式影像穩定技術,有助於提
供比Motion Stills或是純硬體技術更穩定的拍攝成果。
每當使用者按下快門的時候,系統就會擷取1張靜態照片以及3秒的動態影片,而在拍下的
影片時,也會將拍攝當時陀螺儀以及光學影片穩定器記錄的動態資訊(手機移動、晃動的
情況)一併保留下來,做為影像調整與穩定化的參考數據。
由於Motion Stills只能透過影像辨識來判斷晃動情況,難免會發生誤判的情況,而混合
式影像穩定技術則可在影像辨識過成中納入動態資訊,提升判斷的精準度。
在系統能夠準確預估影片中背景晃動狀態後,就能透過影像處理的方式,將背景「貼齊」
在固定位置,受益於混合式影像穩定技術,即便影片的場景很複雜、有多種不同距離的景
物,或是前景的物件佔據大半畫面,都能有效降低晃動的情況,
使用Pixel 2拍攝動態短片時,系統只會儲存原始影片以及容量很小的附加資訊,並在播
放影片的當下,透過繪圖處理器的著色器(GPU Shader)即時處理影像。如果使用者想要
分享穩定的影像也不是問題,只要透過Google Photos,就能將原始影片轉換成穩定的影
片或Gif動態圖檔,並上傳至社群網站或傳送給朋友,如此一來其他裝置也能看到穩定處
理後的影片。