Google Brain 最新技術:還原馬賽克成清晰圖像!
來源:風傳媒
https://goo.gl/kqQfuf
https://www.inside.com.tw/wp-content/uploads/2017/02/589a98882c04d.jpg
在看不少片子的時候,往往在一些敏感部位打上了馬賽克,固然呈現了朦朧美,但部分觀眾依然希望變得更加清晰。現在,Google Brain 在提升圖片解析度方面取得了突破進展。他們已經成功將 8*8(毫米)網格的像素馬賽克轉換成為肉眼可辨識的人物圖像。
而真正能夠提升低解析度照片細節的最佳突破口就是神經網路。當我們被照片中所包含的像素資訊難倒的時候,深度學習能通過人類常說的「幻想」來增加細節。實質就是軟體基於從其他圖片中學習到的資訊對圖片進行猜測。
Google Brain 的研究團隊已經公佈了「像素遞歸超解析度」技術(Pixel Recursive Super Resolution)的最新進展,儘管結果看上去還是有點不完美,但是整個還原效果令人印象深刻。
下面是他們復原的效果案例之一:
右邊圖片是 32 x 32 網格的真實人物頭像。左手邊的圖片,是已經壓縮到 8 x 8 網格的相同頭像,而中間的照片,是 GoogleBrain 基於低解析度樣片猜測的原圖。
整個復原過程使用了兩種神經網絡。首先介紹的是調節網絡(Conditioning Network),它將低解析度照片和數據庫中的高解析度照片進行對比。這個過程中迅速降低數據庫照片中的解析度,並根據像素顏色配合一堆同類照片。
接下來介紹的是優先網絡(prior network),它就會猜測那些細節可以作為高解析度照片的特徵。利用 PixelCNN 架構,網絡會篩查該尺寸的同類照片,並根據概率優先對高解析度照片進行填充。例如,在論文提供的例子中,提供的同類照片是名人和臥室,優先網絡根據優先級最終確認了名人的照片。優先網絡會在低解析度和高解析度照片中做出決定,如果發現鼻子的可能性比較大,就會選擇鼻子。
接下來,兩個神經網絡的最佳猜測就會進行整合,最終形成的圖像如下:
下面也是一些通過超像素技術變化的樣本:
儘管技術沒問題,但是未來可能會有非常可怕的應用。就像是波士頓馬拉松爆炸案一樣,不難聯想到一些執法部門會濫用該軟體來抓取嫌疑犯。分析型人工智慧和圖像技術的結合,在未來必然會經歷一段漫長的調整過程。
通通給我下馬?(誤)