子豪 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
先來看一張海島大片：
這可不是哪個攝影師的杰作，而是出自GANcraft之手。
原圖是「我的世界」中一個馬賽克畫質的場景：
這下「我的世界」真的變成了，我的世界！
GANcraft由英偉達和康奈爾大學合作完成，它是一個無監督3D神經渲染框架，可以將大型3D塊狀世界生成為逼真圖像。
空前的真實感
究竟有多逼真？和與其他模型對比來看。
以下是在兩個場景中，分別使用MUNIT、GauGAN用到的SPADE、wc-vid2vid，以及NSVF-W（NSVF+NeRF-W）生成的效果。
再感受下GANcraft的效果：（色彩和畫質有所壓縮）
通過對比可以看到：
諸如MUNIT和SPADE這類im2im（圖像到圖像轉換）方法，無法保持視角的一致性，這是因為模型不了解3D幾何形狀，而且每個幀是獨立生成的。
wc-vid2vid產生了視圖一致的視頻，但是由于塊狀幾何圖形和訓練測試域的誤差累積，圖像質量隨著時間迅速下降。
NSVF-W也可以產生與視圖一致的輸出，但是看起來色彩暗淡，且缺少細節。
而GANcraft生成的圖像，既保持了視圖一致性，同時具有高質量。
這是怎么做到的？
原理概述
GANcraft中神經渲染的使用保證了視圖的一致性，而創新的模型架構和訓練方案實現了空前的真實感
