手機已經成為大家生活中必不可少的通訊工具,或者更確切的說,是拍照工具。用手機打開美顏拍一張自拍照,隨后進行一系列修圖操作之后發到朋友圈,想必這是不少朋友的日常。
相信大家也都有所了解,手機拍照之所以能夠媲美單反相機,靠的不是硬件,而是算法。單就畫質來說,但依托強大的算法加持,最終的手機成像畫面和單反很難分辨,非常關鍵的一點,手機拍出來的照片更真(hao)實(kan)!
目前而言,手機拍照后期處理能處理的無非是調調亮度、銳度、對比度、色彩飽和度,以及增添一些濾鏡特效啥的。如果有人告訴你,你的自拍照除了能進行常規美顏,還能調節拍攝角度、光照方向、姿勢、表情、發型,甚至改變年齡和性別,而且整個操作就像是在游戲里 “捏臉” 一樣簡單,你信不信?這項技術就叫 StyleFlow。
StyleFlow—— 把游戲里的 “捏臉” 帶到現實
雖說目前圖像生成以及編輯技術逐漸趨于成熟,比如通過無條件的 GAN(例如 StyleGAN)可以生成高質量、多樣且逼真的圖像。但是,由于 GAN 潛在空間的糾纏性質,沿一個屬性執行編輯可能會輕易導致沿其他屬性進行不必要的更改。
換句話說,就是在圖像上進行某個屬性的編輯往往會帶來其他的屬性改變。比如,我只是想給人臉調一下嘴型,結果鼻子和臉頰也受到了牽連跟著變形了。
單純的改變圖像一個屬性而不引起其他變化,以往的技術很難實現這一點。而 StyleFlow 的出現改變了這一局面。
據悉,這項技術由阿卜杜拉國王科技大學(KAUST)和 Adobe 共同研發。
研發團隊以糾纏潛空間的條件探索為背景,研究了屬性條件采樣和屬性控制編輯兩個問題。
其一,屬性條件采樣,即對擁有特定屬性的圖像進行采樣;其二,屬性控制編輯,即保留源圖像屬性的條件下進行編輯,使處理后的圖像擁有目標屬性。
如上圖所示,使用 StyleFlow 進行屬性條件編輯。從源圖像開始,通過使用反向推理,然后通過一系列 CNF 塊進行正向推理,用來進行屬性條件的一系列編輯。
如上圖所示,使用 StyleFlow 進行屬性條件采樣。這里展示了目標姿勢下戴著眼鏡的女性(頂行)、面部有毛發的 50 歲男性(中間行)、微笑的 5 歲兒童(底行)的屬性規范采樣結果。
上圖展示的是使用 StyleFlow 進行圖像順序編輯,給人臉圖像增加或減少各種屬性。圖示中的 “+” /“-” 表示相應屬性的順序編輯已增加 / 減少。
圖中的第一列均是源圖像,后面的圖像都是基于源圖像通過調節不同屬性而生成的。這步操作有點類似于在游戲中對角色進行 “捏臉”。
值得注意的是,StyleFlow 的屬性調節都是獨立的,比如年齡、性別、表情、角度、發型等等,調節其中的任何一種屬性并不會引起其他改變。
上圖展示的是使用 StyleFlow 進行圖像非順序編輯。注意,與并發方法相比,該方法能夠很好地處理極端姿勢(第一行和第二行),不對稱表達式(第四行)和年齡差異(第一行和最后一行)。
通過大量定性和定量比較,研發團隊證明了 StyleFlow 相對于其他并行工作的優越性,StyleFlow 是一種非常簡單、有效的解決方案。
不止是人臉,StyleFlow 還能對汽車進行同樣的操作,畢竟汽車也有 “前臉” 。比如,改變車的顏色、角度、輪轂,甚至是車型。
話不多說,下面直接來幾張動圖感受一下:
StyleFlow 未來應用如何?
基于研發團隊所展示的 StyleFlow 的強大表現,我們不妨大膽地想象一下未來的應用前景有哪些。
1、美顏算法領域
不得不說,StyleFlow 的出現讓目前手機的美顏功能瞬間 “黯然失色”,也讓市面上的各種修圖軟件 “弱爆了”。作為美顏算法的終極版(如果可能的話),毫不夸張的說,StyleFlow 為大家的后期修圖提供了更為廣闊的 “發揮空間”。
2、案件偵破領域
依托 StyleFlow,即使是只有一張側面照也能還原出正面照,警察或許可以更加快速高效地還原犯罪嫌疑人本來樣貌并將其迅速鎖定逮捕,大范圍促成協助案件的調查與偵破。StyleFlow 或許還可以通過模擬預測兒童未來的長相樣貌,以幫助尋找失散多年的失蹤兒童。
3、整形醫療領域
想看看變性后的自己長啥樣?拍張自拍照用 StyleFlow 一試便知。借助 StyleFlow,美容整形醫院用電腦直接為客戶展示最終效果,如果不滿意,那就再動動鼠標,調整試試其他的類型,畢竟所見即所得。
4、人臉識別領域
目前,人臉識別技術已經開始逐步用于支付領域,就像之前的指紋識別可以造假一樣,未來人臉識別也可能存在造假現象威脅人身財產安全,依托 StyleFlow 的算法或許可以大大降低破解的概率以保障安全。
5、產品設計領域
上文也提到了,除了人臉,像是汽車也可以實現一系列的 “變形” 操作,相信這為包括汽車在內的眾多產品設計師提供了不少幫助,不必每次都得重新設計渲染產品模型,設計出一稿,后續直接通過調整參數 “捏” 出來即可,大幅提高設計效率。
當然,上述只是基于該項技術的一些猜想。畢竟目前該技術的代碼沒有開源,至于這項技術未來的應用如何還不好妄下結論,但有一點可以確定的是,StyleFlow 一定會為未來的工作和生活帶來便捷。
-End-
參考:
https://rameenabdal.github.io/StyleFlow/