如今，每隔一段時間就有新的文本生成圖像模型釋出，個個效果都很強(qiáng)大，每每驚艷眾人，這個領(lǐng)域已經(jīng)是卷上天了。
不過，像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系統(tǒng)，都只能生成二維圖像，如果文字也能變成三維場景，那帶來視覺體驗勢必加倍提升。
現(xiàn)在，來自蘋果的 AI 團(tuán)隊推出了 3D 場景生成的最新神經(jīng)架構(gòu) ——GAUDI。
它可以捕捉復(fù)雜和逼真的 3D 場景分布，從移動攝像機(jī)中進(jìn)行沉浸式渲染，還能根據(jù)文本提示來創(chuàng)建 3D 場景!該模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大師 。
基于 NeRFs 的 3D 渲染
神經(jīng)渲染(nerual rendering)將計算機(jī)圖形學(xué)與人工智能結(jié)合起來，已經(jīng)產(chǎn)生了很多從 2D 圖像生成 3D 模型的系統(tǒng)。比如最近 Nvidia 開發(fā)的 3D MoMa 可以在一個小時內(nèi)從不到 100 張的照片中創(chuàng)建出 3D 模型。谷歌也依靠神經(jīng)輻射場(NeRFs )在谷歌地圖中將 2D 衛(wèi)星和街景圖像組合成 3D 場景，實現(xiàn)了沉浸式視圖。谷歌的 HumanNeRF 還可以從視頻中渲染出 3D 人體。
目前，NeRFs 主要還是用作 3D 模型和 3D 場景的一種神經(jīng)存儲介質(zhì)，可以從不同的相機(jī)視角進(jìn)行渲染。NeRFs 也已經(jīng)開始被用于虛擬現(xiàn)實體驗。
那么，NeRFs 這種從不同攝像機(jī)角度逼真地渲染圖像的強(qiáng)大能力，能不能用于生成式 AI 呢?當(dāng)然可以，已經(jīng)有研究團(tuán)隊嘗試了 3D 場景的生成，如谷歌在去年首次推出了 AI 系統(tǒng) Dream Fields，它將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評估圖像內(nèi)容的能力相結(jié)合，最終實現(xiàn)了能夠生成匹配文本描述的 NeRF。
但是，谷歌的 Dream Fields 只能生成針對單個對象的 3D 視圖，要將它擴(kuò)展到完全不受約束的 3D 場景還存在很多困難。最大的難點就在于攝像機(jī)的位置有很大的限制，對于單個對象，每個可能的、合理的攝像機(jī)位置都可以映射到一個圓頂，但在 3D 場景中，攝像機(jī)的位置會受到對象和墻壁等障礙物的限制。如果在場景生成時不考慮這些因素，那就很難生成 3D 場景。
3D 渲染專家 GAUDI
對于上述攝像機(jī)位置受限的問題，蘋果的 GAUDI 模型拿出了三個專門的網(wǎng)絡(luò)來輕松搞定：
GAUDI 有一個相機(jī)姿態(tài)解碼器，它將攝像機(jī)姿態(tài)與場景的 3D 幾何和外觀分離開來，可以預(yù)測攝像機(jī)的可能位置，并確保輸出是 3D 場景架構(gòu)的有效位置。
針對場景的場景解碼器則可以預(yù)測三維平面的表示，這種表示是一種 3D 畫布。
然后，輻射場解碼器會在這塊畫布上使用體積渲染方程來繪制后續(xù)的圖像。
GAUDI 的 3D 生成包含兩個階段：
一是潛在和網(wǎng)絡(luò)參數(shù)的優(yōu)化：學(xué)習(xí)對數(shù)千條軌跡的 3D 輻射場和相應(yīng)相機(jī)姿態(tài)進(jìn)行編碼的潛在表示。與針對單個對象不同，有效相機(jī)姿態(tài)隨著場景的變化而不同，所以需要對每個場景有效的相機(jī)姿態(tài)進(jìn)行編碼。
二是使用擴(kuò)散模型在潛在表示上學(xué)習(xí)生成模型，從而能夠在有條件和無條件的推理任務(wù)中都能很好地建模。前者是根據(jù)文本或圖像提示來生成 3D 場景，后者則是根據(jù)攝像機(jī)軌跡來生成 3D 場景。
通過 3D 室內(nèi)場景，GAUDI 可以生成新的攝像機(jī)運(yùn)動。如在下面一些示例中，文本描述包含有關(guān)場景和導(dǎo)航路徑的信息。這里研究團(tuán)隊采用了預(yù)先訓(xùn)練的基于 RoBERTa 的文本編碼器，并使用其中間表示來調(diào)節(jié)擴(kuò)散模型，生成效果如下：
另外，使用預(yù)訓(xùn)練的 ResNet-18 作為圖像編碼器，GAUDI 能夠?qū)碾S機(jī)視點觀察給定圖像的輻射場進(jìn)行采樣，從而從圖像提示中創(chuàng)建 3D 場景。
研究人員在四個不同的數(shù)據(jù)集(包括室內(nèi)掃描數(shù)據(jù)集 ARKitScences)上進(jìn)行了實驗，結(jié)果表明，GAUDI 可以重建學(xué)習(xí)視圖，而且可以與現(xiàn)有方法的質(zhì)量相匹配。即使是在為數(shù)千個室內(nèi)場景制作具有數(shù)十萬張圖像的 3D 場景的龐大任務(wù)中，GAUDI 也不會出現(xiàn)模式崩潰或方向問題。
GAUDI 的出現(xiàn)不僅會對許多計算機(jī)視覺任務(wù)上產(chǎn)生影響，而且其 3D 場景的生成能力也將有利于基于模型的強(qiáng)化學(xué)習(xí)和規(guī)劃、SLAM 以及 3D 內(nèi)容的制作等研究領(lǐng)域。
就目前來看，GAUDI 生成的視頻質(zhì)量還不算高，可以看出有很多偽影。不過，這個系統(tǒng)或許可以為蘋果正在進(jìn)行的渲染 3D 對象和場景的 AI 系統(tǒng)，這是一個好的開始和基礎(chǔ)，據(jù)說 GAUDI 還將被應(yīng)用到蘋果的 XR 耳機(jī)中，用于生成數(shù)字化位置。可以期待一下~
關(guān)鍵詞： 神經(jīng)存儲 神經(jīng)輻射場 谷歌地圖 街景圖像 沉浸式視圖
