作者｜賈桂鵬

一直以來，創(chuàng)作3D內(nèi)容是設(shè)計和開發(fā)視頻游戲、增強現(xiàn)實、虛擬現(xiàn)實以及影視特效中最重要的部分。然而，3D生成具有獨特而艱巨的挑戰(zhàn)，這是圖像和視頻等其他生成內(nèi)容所不具備的。

不過，在生成式AI爆發(fā)的當下，很多研究者開始嘗試針對以上問題提出解決方案。日前，Meta發(fā)布了最新系統(tǒng)Meta 3D Gen (3DGen)，其用不到一分鐘的時間，就能直接從文本生成3D資產(chǎn)。

關(guān)于AI在3D創(chuàng)作技術(shù)的突破會不會加速這個行業(yè)的變革呢?或者說AI是不是又顛覆了一個行業(yè)?

3D內(nèi)容行業(yè)的顛覆

當下，3D內(nèi)容生產(chǎn)面臨的最大難點是成本居高不下，據(jù)權(quán)威3D數(shù)據(jù)平臺公司Sketchfab數(shù)據(jù)，3D模型成本在數(shù)百美元到數(shù)千美元間，生產(chǎn)所需時長從數(shù)小時到數(shù)天不等。不同的模型、不同的精細度、不同的生產(chǎn)方法，價格和生產(chǎn)時間均不一樣。

圍繞著3D內(nèi)容生產(chǎn)技術(shù)，其中3D引擎和3D內(nèi)容創(chuàng)作工具更是視為藍海中的明珠。更具生產(chǎn)力、更低使用門檻的3D引擎和創(chuàng)作工具也成了廣泛關(guān)注的焦點。面對全球數(shù)十萬億級3D內(nèi)容市場，以及面臨的技術(shù)、商業(yè)、成本難題，誰掌握了精度高、效率快、成本低的3D內(nèi)容生產(chǎn)技術(shù)，誰就掌握了未來數(shù)字世界的生產(chǎn)能力。

而且，3D生成是一個非常耗費算力的過程，主要因為它涉及復(fù)雜的計算和大量的數(shù)據(jù)處理，如實時渲染、細節(jié)處理。并且由于算力不夠，可能會導(dǎo)致生成速度非常慢。

另外，傳統(tǒng)方法生成的3D資源通常難以實現(xiàn)逼真的照明和材質(zhì)屬性，從而限制了它們在專業(yè)工作流程中的實用性，

如果用戶能夠非常方便且高效地創(chuàng)造3D素材，至少將能大大改善VR內(nèi)容缺乏的問題。如果素材的質(zhì)量再能得到進一步的提高，生成的虛擬現(xiàn)實世界真的能夠達到以假亂真的地步。

面對3D內(nèi)容方面的發(fā)展壁壘，Meta發(fā)布了其最新的AI模型——Meta 3D Gen(3DGen)，可在1分鐘內(nèi)生成高質(zhì)量3D素材。

據(jù)Meta方面介紹，3DGen能夠在不到1分鐘的時間，根據(jù)文本提示詞快速生成具有高分辨率紋理和材質(zhì)貼圖的3D內(nèi)容。此外，它還能在同一3D形狀的基礎(chǔ)上調(diào)整紋理貼圖，幫助創(chuàng)作者實現(xiàn)快速迭代。技術(shù)報告中稱，專業(yè)3D藝術(shù)家在大多數(shù)類別中對該工具的評分都好于競爭對手，特別是對于復(fù)雜的請求。Meta表示，它的速度是同類系統(tǒng)的3到60倍。

科技旋渦認為，3DGen在更多場景的廣泛應(yīng)用將大幅提升相關(guān)專業(yè)人士的工作效率與創(chuàng)作質(zhì)量，并將推動3D內(nèi)容創(chuàng)作和應(yīng)用領(lǐng)域的進一步發(fā)展。

Meta 3D Gen如何實現(xiàn)

Meta 3D Gen支持基于物理的渲染 (PBR)，這是在實際應(yīng)用中重新照明 3D 資產(chǎn)所必需的。此外，3DGen 還支持使用用戶提供的額外文本輸入對先前生成的(或藝術(shù)家創(chuàng)建的)3D 形狀進行重新紋理化。

那么，3D Gen的運行原理是什么呢?

其實，Meta 3D Gen是一個兩階段的3D資產(chǎn)生成方法，它通過結(jié)合Meta 3D AssetGen和Meta 3D TextureGen兩個關(guān)鍵組件，能夠高效地創(chuàng)建具有高分辨率紋理和PBR材質(zhì)的3D資產(chǎn)，其速度比現(xiàn)有解決方案快3至10倍。

其實現(xiàn)方法包括一個用于創(chuàng)建3D網(wǎng)格的組件(AssetGen)和一個用于生成紋理的組件(TextureGen)。

第一階段在用戶提示下創(chuàng)建初始3D資產(chǎn)，推理時間約為30秒。第二階段基于第一階段生成的資產(chǎn)和初始文本提示，生成更高質(zhì)量的紋理和PBR貼圖，推理時間約為20秒。第二階段還可以從頭開始為無紋理的3D網(wǎng)格生成紋理，推理時間約為20秒，但視覺效果通常更逼真。

而且，3DGen以AssetGen和TextureGen為基礎(chǔ)，將3D對象的三個關(guān)鍵信息進行了很好的互補：視圖空間(對象的圖像)、體積空間(3D形狀和外觀)和UV空間(紋理)。

此過程從AssetGen開始，通過使用一個多視角和多通道的文本到圖像生成器，生成關(guān)于物體的幾個相對一致的視圖。

接下來，AssetGen中的一個重建網(wǎng)絡(luò)會在體積空間中提取出3D對象的第一個版本。此過程接著進行網(wǎng)格提取，建立對象的3D形狀和其紋理的初步版本，這一系列步驟構(gòu)成了從文本描述到3D模型的轉(zhuǎn)換過程。

最終，TextureGen 件利用視圖空間和UV空間生成的組合來重新生成紋理，提高紋理質(zhì)量和分辨率，同時保持對初始圖像的保真度。

Meta的3D Gen的潛在應(yīng)用是巨大的。游戲開發(fā)人員可以用3D Gen快速制作游戲環(huán)境和角色原型，建筑可視化公司則只需要文本描述，就能生成建筑物整體和內(nèi)部的詳細3D模型，簡化設(shè)計流程。目前來看，3D Gen還處于一個比較初級的階段，經(jīng)過發(fā)展之后，我們相信它將會對行業(yè)造成更大的沖擊力。

寫在最后

科技旋渦認為，Meta的這種新技術(shù)為3D模型在不同光照環(huán)境下的真實感呈現(xiàn)提供了可能，在3D圖形、動畫、游戲和XR等領(lǐng)域中具有巨大潛力，對上述行業(yè)甚至產(chǎn)品開發(fā)都會有長足的幫助，未來在3D內(nèi)容領(lǐng)域會不會全面部署AI來完成任務(wù)呢?我們拭目以待。