HOME

 

 

那福忠,網路作者。
   
  西海岸數位隨筆
美國西海岸 吸取太平洋與陽光精華 隨時有精彩故事發生
  August 09, 2017   AI 讓手機照片立即賞心悅目
  請把你的想法寫信給我: [email protected]
   

   下面的照片看起來一半是黑的,但細看之下還有影子,而且與亮的另一半是連在一起的,兩部分是屬於同一張照片。這張照片是 MIT 與 Google 合作的即時影像修飾技術的展示,數位照片用數位技術修飾,並不稀奇,可以用軟體藉人力修飾得非常好,像 Photoshop,也有用軟體自動修飾的,但須花耗計算資源與時間。現在都用手機拍照,光線太弱或太強,效果不會太好,MIT Google 這個新技術,可以即時、快速的修飾手機照片,快到按下快門的同時,就看到賞心悅目的修飾結果。


(MIT Google 合作的即時影像修飾技術,原影像左下角一半是攝影原像,右上角一半是新技術修飾的結果。圖片來源:MIT,取自網路)

   Google 的新手機 Pixel,特點之一就是高品質照相,強光下的白雲,陰影裡的人臉,都照的很清楚,色彩也很真實,有人評論說,如果你是手機照相迷,Pixel 是目前最好的手機。除了高檔 Sony 12-megapixel Sensor,以及高通 Hexagon 數位信號處理晶片,Google 更發展高動態範圍 (HDR) 影像軟體,放在 Pixel 手機,每拍攝一張照片,軟體自動拍攝多張光線強弱不同的照片,然後選用幾張重疊,調節成我們肉眼看得較舒服的明暗與彩色。

   MIT 早先也實驗一個手機照片修飾技術,手機照相機的解析度越來越高,但手機資源有限,不容易處理龐大資料的照片,所以傳到外面處理以後再傳回手機,也算是一個權且的方法。為了加快傳輸速度,先把高解析度的照片壓縮成低解析度,資料量大幅度減少,外傳到伺服器處理,然後傳回簡單的修正資料,用來修正手機原來的高解析度照片。

   MIT Google 的合作,可以說是以上兩種技術的結合延伸,HDR 的處理複雜,不但需時間,更需要資源,造成手機電源的消耗,一般的照片可能還不覺得,高檔影像的處理就會感覺到,Google 不建議用 HDR 拍攝影片。MIT 用壓縮技術減低照片資料量,外傳固然節省頻寬,但用取樣的低解析度照片來分析,甚至猜測如何修正高解析度照片,品質無法達到最好。所以新技術換了一種方式,用智慧型、也就是人工智慧 AI 的方法。

   大家都知道 AI 是要經過學習、或說是訓練的,MIT 與 Google 的專家,用 5000 張 Durand(歷史檔案照片典藏機構)與 Adobe 提供的照片,每一張都經過五個攝影師做不同程度的修飾,另外用數以萬計其他 AI 如 HDR 修飾後的照片,做為學習教材,周而復始的訓練這個AI,發展高品質修飾照片的能力。 。

   為了節省資源,修飾後的結果不是另一張照片,而是一個簡單的公式,內涵修飾原照片的指令,例如原照片的哪一個色彩不佳的像素,應該換成另一個彩色正確的像素,這樣處理不但快速,更可以節省製造另一張與原照片大小的空間,所以這個 AI 軟體可以裝在手機。手機的容量與電源有限,手機的功能卻越來越多,節省資源就成為設計考量。

   MIT Google 的新 AI 照片修飾,有 HDR 的高品質,速度僅有 100 分之一,用在手機上,幾乎在拍攝的同時,屏幕上出現賞心悅目的修飾照片。這一新技術是 MIT 與 Google 小組,上週在 Siggraph 數位圖像會議上發表的,手機攝影也因此進一大步,以後類似的技術出現在 Pixel 或別的手機上,也就不足為奇了。


(照片修飾效果比較。圖片來源:MIT-Google 在 Siggraph 會議發表的論文。取自網路)

   上面這三張照片是不同修飾技術的比較:左圖是拍攝後以一般的「色調映射」(Tone mapping) 技術修飾的效果。中圖是以「高動態範圍」(HDR) 技術修飾後的效果,所用的時間是約 400-600 ms。右圖則是 MIT-Google 合作的 AI 技術,效果與 HDR 一樣好,但處理時間僅用了 61 ms,是 HDR 的 10 分之 1,而峰值信號雜訊比 (PSNR)高達 28.4 dB,接近 ISO 32.4 dB 的特優品質。


(以上是 Siggraph 會議上的一段短片,簡介這一新技術,有興趣的讀者或可以從中獲得一些概念。取自網路)



上一篇  下一篇  索引