7月11日消息，近日，以色列魏茨曼科學(xué)研究所的研究人員開發(fā)出了一項(xiàng)名為Double-DIP的新技術(shù)，該技術(shù)能讓系統(tǒng)在沒有大量訓(xùn)練數(shù)據(jù)的情況下，通過深度學(xué)習(xí)來對圖像進(jìn)行編輯，分離人們在圖片中想要的和不想要的部分。
該研究基于一項(xiàng)名為DIP(Deep Image Prior)的混合圖像恢復(fù)技術(shù)，因此研究人員將他們開發(fā)的新分離圖像方法稱為Double-DIP。
DIP技術(shù)的研究成果已于美國時(shí)間2018年7月18日提交在arxiv上，名為《圖像恢復(fù)的混合稀疏先驗(yàn)學(xué)習(xí)：深度學(xué)習(xí)與稀疏編碼的結(jié)合(Learning Hybrid Sparsity Prior for Image Restoration: Where Deep Learning Meets Sparse Coding)》。
魏茨曼科學(xué)研究所的Double-DIP研究成果則被收錄在IEEE計(jì)算機(jī)視覺和模式識別會議(CVPR 2019)中。
一、從零計(jì)算的深度內(nèi)部學(xué)習(xí)算法
想象一下，通過店面的窗戶拍攝一張照片給以前從未睜開眼睛的人看，并要求他指出玻璃的倒影里和商店里都有些什么。但對這個(gè)人而言，照片里的一切都是混亂的。
一般來說，計(jì)算機(jī)能夠執(zhí)行圖像分離的操作，但如果要做得更出色，它們通常需要人們手動制定算法規(guī)則，或是為系統(tǒng)提供更多明確的演示，例如，告訴系統(tǒng)這是一幅圖像，以及圖像的組成部分是什么。
通常情況下，系統(tǒng)在機(jī)器學(xué)習(xí)中的許多任務(wù)都需要大量的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)并不總是可利用的。
因此，魏茨曼科學(xué)研究所的研究人員們研究了一種新的機(jī)器學(xué)習(xí)算法，該系統(tǒng)無需大量訓(xùn)練數(shù)據(jù)，僅憑一張圖片就能將人們想要的和不想要的圖片元素分離。同時(shí)，他們將這個(gè)能讓軟件從零開始計(jì)算單個(gè)圖像內(nèi)部結(jié)構(gòu)的深度學(xué)習(xí)算法，稱為“深度內(nèi)部學(xué)習(xí)”。
二、Deep Image Prior：多層次修復(fù)混合圖像
Deep Image Prior(DIP)是一種涉及多層神經(jīng)網(wǎng)絡(luò)的技術(shù)，該技術(shù)使用的也是深度學(xué)習(xí)算法，它主要讓系統(tǒng)通過訓(xùn)練以恢復(fù)特定的混合圖像。
首先，研究人員向網(wǎng)絡(luò)隨機(jī)輸入一個(gè)數(shù)據(jù)，并輸出一個(gè)混雜的像素圖。其次，網(wǎng)絡(luò)將自己輸出的圖像與研究人員給定的圖像進(jìn)行比較，并調(diào)整自己的內(nèi)部參數(shù)，以便下次生成出更接近目標(biāo)圖像的內(nèi)容。
對于同一個(gè)目標(biāo)圖像，系統(tǒng)需要將該過程重復(fù)數(shù)百次。
其中的關(guān)鍵是，DIP使用了一種反映大腦處理視覺信息方式的神經(jīng)網(wǎng)絡(luò)，能從邊緣、角落到四肢、動物各方面來尋找圖像中具有重復(fù)特征的層次結(jié)構(gòu)。
這種結(jié)構(gòu)能充當(dāng)一種先驗(yàn)的預(yù)期。簡單理解為，如果給定的圖象有什么問題，例如存在灰塵或空白，網(wǎng)絡(luò)就會加強(qiáng)自己的預(yù)期，以覆蓋目標(biāo)的缺陷，并在適當(dāng)?shù)臈l件下生成更真實(shí)的東西。
最終，生成圖像的斑點(diǎn)消失，并且空白也被填補(bǔ)，變成了一個(gè)更好看的圖像版本。
三、Double-DIP：雙DIP結(jié)合，輕易分離圖像
Double-DIP結(jié)合了兩個(gè)DIP。這兩個(gè)DIP都能將隨機(jī)輸入的數(shù)據(jù)轉(zhuǎn)換成一張圖像，并將兩張圖像疊加在一起。
系統(tǒng)將組合的圖像與目標(biāo)圖像進(jìn)行比較時(shí)，DIP能獨(dú)立地調(diào)整它們的參數(shù)，使它們輸出的參數(shù)相加能更接近目標(biāo)圖像。
最后，每個(gè)DIP會聚焦在一組內(nèi)部相似的視覺特征或補(bǔ)丁上，并與其他DIP的視覺特征或補(bǔ)丁相輔相成，生成兩個(gè)不同的圖像，但兩幅圖像能組合在一起形成目標(biāo)圖像。
對此，魏茨曼科學(xué)研究所的計(jì)算機(jī)科學(xué)家、該研究論文的資深作者M(jìn)ichal Irani表示，她對兩個(gè)網(wǎng)絡(luò)能輕易將補(bǔ)丁分開感到很驚訝，網(wǎng)絡(luò)就像奧卡姆剃刀(Occam’s razor，即兩種解釋中較簡單的那個(gè)更有可能是真的)一樣學(xué)會了最簡單的解釋。
四、多種圖像分離方式
有趣的是，在Double-DIP進(jìn)行圖像分離的過程中，有一些旋鈕可以精確地指導(dǎo)它如何分離圖像。
算法可以將畫面的前景和背景分開。例如，畫面中的草地上有一只斑馬，系統(tǒng)會生成一只斑馬和一片空曠的草地。在不同的設(shè)置下，算法能將人們通過玻璃拍攝的圖像，分離成反射圖像和玻璃后面的圖像。
當(dāng)轉(zhuǎn)動另一個(gè)旋鈕時(shí)，算法會生成一個(gè)模糊的圖像，并將畫面中的霾和城市天際線分離。
該算法除了能利用許多圖像訓(xùn)練系統(tǒng)之外，它還能在沒有經(jīng)過訓(xùn)練的情況下刪除照片水印。
莫斯科Skolkovo科學(xué)技術(shù)研究所的計(jì)算機(jī)科學(xué)家、原始DIP論文的主要作者Dmitry Ulyanov表示，他和團(tuán)隊(duì)設(shè)計(jì)DIP是為了研究網(wǎng)絡(luò)架構(gòu)的重要性，而不是創(chuàng)造實(shí)際應(yīng)用。
但他認(rèn)為，在魏茨曼科學(xué)研究所的Double-DIP研究中，該研究所提出了4到5個(gè)應(yīng)用，且應(yīng)用的實(shí)驗(yàn)也很神奇，這是對DIP的一次非常好的擴(kuò)展。
在魏茨曼科學(xué)研究所方面，Irani還認(rèn)為，零次學(xué)習(xí)(Zero-shot Learning)和小樣本學(xué)習(xí)(Few-shot Learning)是人工智能的一個(gè)重要組成部分。
目前，她的團(tuán)隊(duì)正在計(jì)劃將Double-DIP進(jìn)一步應(yīng)用到“雞尾酒派對問題(Cocktail-Party Problem)”上，通過使用Double-DIP將多個(gè)混合聲音分成兩個(gè)或多個(gè)錄音。
雞尾酒派對問題又稱雞尾酒會效應(yīng)，指人的一種聽力選擇的能力。在這種情況下，人們可以將注意力集中在某個(gè)人的談話中，而忽略背景中其他的聲音。
結(jié)語：將給人們的視覺體驗(yàn)帶來更多精彩和便利
魏茨曼科學(xué)研究所研發(fā)的Double-DIP算法用途非常廣泛，除了能通過訓(xùn)練不斷地調(diào)整參數(shù)，以更好地實(shí)現(xiàn)圖像分離外，還可以在無需大量數(shù)據(jù)訓(xùn)練的前提下去除圖片水印。
在未來，當(dāng)這一技術(shù)真正成熟落地后，它也許能更好地應(yīng)用于涉及法醫(yī)學(xué)、野生動物觀察和藝術(shù)照片增強(qiáng)等計(jì)算機(jī)視覺領(lǐng)域，給人們的視覺體驗(yàn)帶來更多精彩和便利。
關(guān)鍵詞：
