Re: [閒聊] Google Pixel 3的Night Sight

作者: lordcolus (God Save The Queen)   2018-10-12 10:46:22
※ 引述《double21 (我不是雙二一)》之銘言:
: ※ 引述《talan (這個好吃嗎)》之銘言:
: : 早上看報導,Google Pixel 3在發表會上秀出的Night Sight功能,
: : 能在暗夜拍出清晰的照片
: : 還秀了一張與iPhone Xs的對比照
: : https://i.imgur.com/zfJap0o.png
: : 把晚上拍成宛如白天
: : 完全就是黑科技的感覺
: : 不過去看發表會影片那段,有提了一下原理,感覺瞬間冷了下來,
: : 原來照片中宛如白天的色彩是利用機器學習用AI填上與加強的,
: : 但仔細想想,這是跟其他廠商完全不同的思維,
: : 其他人都先從感光元件、光圈或鏡頭等硬體上下功夫
: : 然後配合多禎合成與演算法去加強照片
: : Google這種用機器學習把照片上色,可謂是另闢蹊徑
: : 可能不是所有夜間情境都很合用,
: : 但應該有很多用處,就不知道大眾接受度如何了
: 這邊可能很多人沒用過Pixel phone,之後台灣有了,大家用了之後就知道了
: 用過之後就相信佳評如潮不是假的,硬體明明沒有突出,但是照片就是好看
: 這裡的好看不是顏色,是整體的亮度和顏色的搭配
: 當然在這個相機的戰國時代能不能高分是很難說,但是也不至於沒競爭力就是
: 這邊先跟大家講解一下相機,我們平常看到的鏡頭,以及感光元件
: 都只是得到原始資訊,這些東西需要經過處理,才會變成人眼所見的影像
: 大家都知道感光元件基本上是RGB三色,但是人眼對於紅藍綠感光並不一致
: (像是綠色較為敏感)
: 所以其實最基本的你就要調整紅藍綠的比重,也就是hue
: 這些就是影像工程師的範圍(Image Quality) 早期其實都是非常手動人工
: 大量的拍照,大量的調整,所以才會有A家比較暖,B家比較冷
: 也才會有 硬體sensor明明是自己開發市場上最好的
: 鏡頭也選大X光 明明強到頂天
: 但是拍起來卻油畫感十足or畫質不知道哪裡怪怪的 (S公司表示...)
: 在大部分人都選用高通+Sony sensor+大立光鏡頭這種組合
: 卻還是會有高低
: 後處理佔了非常大的部分
現在的馬賽克 CMOS/CCD硬體上每一個像素點只能感應RGB其中一個顏色
所有畫面不只顏色 連物體長什麼形狀都是算(合成)出來的
唯一的例外是 Sigma 的 Foveon X3
因為它跟底片一樣每一個像素點可以同時感應到 RGB
Dpreview這篇對 Night sight 有比較詳細的說明:
https://goo.gl/yWdZxY
它本質上是靠類似 HDR+ 連拍 (華為P20 Pro也一樣)
把原本需要 4~5S 曝光的場景切分成最多 15 張照片 然後靠演算法後製
另外不是說靠機器學習上色 (雖然某種程度上也對)
Dpreview 是說用 "learning-based AWB"
也就是最佳化 (補償) 在低照度狀況下的白平衡 (或者說色偏) 而不是"無中生有"
以這樣來看的話 現有的 Pixel 2/2XL 應該也可以
但可能會因為硬體的限制沒法疊那麼多張就是 ...
作者: windsinsky29   2018-10-12 11:32:00
在前面那篇Dpreview 的影片中,google PM自己也是說用ML幫你還原顏色,所以說成ML幫你上色我覺得沒什麼問題耶。

Links booklink

Contact Us: admin [ a t ] ucptt.com