▎作者：陳雅婷，張書(shū)赫（清華大學(xué)）

離散而又連續(xù)的3D場(chǎng)景表征

2024年8月20日游科互動(dòng)科技有限公司出品的3A游戲《黑神話(huà)：悟空》廣受全球玩家關(guān)注和熱議。在正式發(fā)售后不到24小時(shí)，Steam在線(xiàn)玩家峰值突破222萬(wàn)，在Steam所有游戲中在線(xiàn)玩家歷史峰值排名第二。這款現(xiàn)象級(jí)產(chǎn)品正式開(kāi)啟國(guó)產(chǎn)3A游戲元年?！逗谏裨?huà)：悟空》憑借炫酷逼真的3D渲染效果和東方美學(xué)實(shí)力出圈，受央視、新華網(wǎng)、人民日?qǐng)?bào)等官媒點(diǎn)贊和報(bào)道。

圖1：《黑神話(huà)：悟空》

圖片來(lái)源網(wǎng)絡(luò)[1]

《黑神話(huà)：悟空》取材于《西游記》的故事和人物角色，融入了大量古代建筑、東方美學(xué)、國(guó)風(fēng)音樂(lè)等中華文化元素，36個(gè)取景地中，共有27個(gè)來(lái)自山西，例如懸空寺、小西天等。在游戲中，高清逼真的渲染場(chǎng)景與現(xiàn)實(shí)世界無(wú)縫銜接，虛擬與現(xiàn)實(shí)的界限在精湛的技術(shù)下難以分辨，帶來(lái)身臨其境的沉浸式體驗(yàn)。

圖2：山西懸空寺vs《黑神話(huà)：悟空》渲染場(chǎng)景

圖3：《黑神話(huà)：悟空》3D實(shí)時(shí)渲染動(dòng)態(tài)場(chǎng)景

圖片來(lái)源網(wǎng)絡(luò)[1]

▎3D實(shí)時(shí)渲染技術(shù)

在《黑神話(huà)：悟空》游戲開(kāi)發(fā)中，有一至關(guān)重要的技術(shù)—3D實(shí)時(shí)渲染技術(shù)。它能夠根據(jù)玩家的動(dòng)作和視角變化，實(shí)時(shí)更新場(chǎng)景中的每一幀，確保游戲體驗(yàn)的流暢性和互動(dòng)性。

（1）世界是“離散”的

光柵化渲染管線(xiàn)是當(dāng)前主流的3D圖形渲染方法之一，廣泛應(yīng)用于游戲中。其工作原理是將三維場(chǎng)景的幾何數(shù)據(jù)（如多邊形、頂點(diǎn)等）轉(zhuǎn)換為二維圖像，即將頂點(diǎn)信息連接形成的基本幾何圖元（如三角形）映射到二維的屏幕像素上。根據(jù)圖元的頂點(diǎn)位置進(jìn)行著色。光柵化渲染雖然高效，但是相比較光線(xiàn)追蹤等物理更精確的渲染技術(shù)，其在光線(xiàn)的反射、折射、全局光照等方面的表現(xiàn)遜色。

圖4：離散化渲染

圖片來(lái)源網(wǎng)絡(luò)

圖5展示了不同密度三角面片表征的3D物體。隨著三角形面片密度增加，3D物體越細(xì)膩，但也為3D計(jì)算帶來(lái)了更大的負(fù)擔(dān)。

圖5：三角形面片表征的3D模型

圖片來(lái)源網(wǎng)絡(luò)

（2）世界是“連續(xù)”的

3D物體的表征本質(zhì)上是找到在3D空間某坐標(biāo)下物體的例如反射率、光學(xué)密度、顏色等屬性。數(shù)學(xué)上實(shí)際上需要找到一種儲(chǔ)存關(guān)于3D點(diǎn)坐標(biāo)與這些物體屬性的方式。離散的3D表征實(shí)際上是顯式地將這些關(guān)系存儲(chǔ)在網(wǎng)格中，通過(guò)訪(fǎng)問(wèn)這些網(wǎng)格就能獲得物體的屬性，從而得到整個(gè)3D場(chǎng)景下的物體。那么有沒(méi)有可能通過(guò)構(gòu)造函數(shù)的方式，直接將輸入的3D坐標(biāo)映射為物體屬性呢？神經(jīng)隱式表征給了我們答案。

2021年谷歌研究所Ben Mildenhall等[2]提出隱式神經(jīng)表示的神經(jīng)輻射場(chǎng)（Neural Radiance Field，NeRF）。NeRF通過(guò)優(yōu)化多層感知機(jī)的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)從輸入的稀疏視圖合成復(fù)雜場(chǎng)景新視圖。輸入5D坐標(biāo)（空間位置（x,y, z）和觀察方向（θ,φ），輸出該空間位置的體積密度和與視角相關(guān)的輻射度（顏色），通過(guò)體渲染方式合成極具真實(shí)感的新視角渲染結(jié)果。但是該渲染技術(shù)訓(xùn)練效率低，難以實(shí)現(xiàn)高分辨率實(shí)時(shí)渲染效果。2022年，英偉達(dá)Thomas Müller等[3]提出了Instant NeRF，采用多分辨率哈希表方式減少浮點(diǎn)運(yùn)算和內(nèi)存訪(fǎng)問(wèn)次數(shù)，能在幾秒鐘內(nèi)完成高質(zhì)量神經(jīng)圖形基元訓(xùn)練，并能在幾十毫秒內(nèi)完成1920×1080分辨率的渲染。

Nerf是計(jì)算機(jī)視覺(jué)中認(rèn)知的一次飛躍：

計(jì)算機(jī)視覺(jué)的最高獎(jiǎng)是“馬爾獎(jiǎng)”（Marr Prize），以David Marr命名，而David Marr作為計(jì)算機(jī)視覺(jué)4的開(kāi)創(chuàng)者曾經(jīng)提出過(guò)一個(gè)系統(tǒng)的視覺(jué)理論。在他的理論中，他把計(jì)算機(jī)視覺(jué)終極問(wèn)題定義為：輸入二維圖像，輸出是由二維圖像"重建"出來(lái)的三維物體的位置與形狀；而其他的一些我們現(xiàn)在常稱(chēng)為“計(jì)算視覺(jué)”的任務(wù)，比如識(shí)別、檢測(cè)等等，在Marr的理論中只能稱(chēng)作“模式識(shí)別”問(wèn)題，不能被稱(chēng)作“計(jì)算視覺(jué)”問(wèn)題。這其中的分別在于，Marr證明如果終極問(wèn)題能夠被解決，那么其他問(wèn)題都能夠被解決。所以從整個(gè)計(jì)算機(jī)視覺(jué)的領(lǐng)域來(lái)講，NeRF所解決的就是計(jì)算機(jī)視覺(jué)最根本的問(wèn)題，它所展示的效果是計(jì)算機(jī)視覺(jué)領(lǐng)域最根本的進(jìn)步。（引用知乎專(zhuān)欄的內(nèi)容 https://zhuanlan.zhihu.com/p/574351707）

盡管NeRF已經(jīng)在高真實(shí)感的新視角合成方面取得了突破性進(jìn)展，但它依然存在隱式表達(dá)不直觀、訓(xùn)練效率低等問(wèn)題[4]。

圖6：NeRF投影與渲染過(guò)程

圖7：Instant NeRF 實(shí)時(shí)渲染結(jié)果

（3）在“離散”與“連續(xù)”中找到平衡

自2021年Nerf提出以來(lái)，有大量的工作前赴后繼，為Nerf的改造與應(yīng)用添磚加瓦，然而就在2023年夏天，Nerf的強(qiáng)大對(duì)手3D高斯?jié)姙R（3D gaussian splatting, 3DGS）[5]正在蘊(yùn)量著一次革命。3DGS結(jié)合隱式輻射場(chǎng)表示和顯式渲染的優(yōu)勢(shì)。它首先將場(chǎng)景物體顯式表示為點(diǎn)云，然后給每個(gè)點(diǎn)賦予一個(gè)3D高斯橢球。顯式地將3D場(chǎng)景表示為多個(gè)3D高斯函數(shù)，每個(gè)高斯橢球連續(xù)地表征當(dāng)前點(diǎn)云的3D物體屬性。使用可微的光柵化進(jìn)行渲染，基本思想是將所有3D高斯根據(jù)相機(jī)參數(shù)投影到影像平面上，形成一系列的二維平面高斯，再通過(guò)二維平面上高斯的疊加混合，最終合成影像[6]。通過(guò)對(duì)比渲染圖像與實(shí)際拍攝圖像直接的差異優(yōu)化3D高斯橢球的參數(shù)，能夠在1080p分辨率下實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)新視圖合成。近期，德國(guó)圖賓根大學(xué)Andreas Geiger課題組[7]介紹了一種抗鋸齒3D 高斯?jié)姙R方法Mip-Splatting，引進(jìn)了3D平滑濾波器和2D Mip濾波器以實(shí)現(xiàn)任意采樣率下的無(wú)偽影渲染。該工作獲得2024年CVPR最佳學(xué)生論文。

圖8：3D高斯函數(shù)濺射過(guò)程

圖9：3DGS實(shí)時(shí)渲染結(jié)果

▎3D實(shí)時(shí)渲染技術(shù)的應(yīng)用

3D實(shí)時(shí)渲染技術(shù)不僅在游戲領(lǐng)域有著廣泛應(yīng)用，還在多個(gè)行業(yè)展現(xiàn)了其重要價(jià)值[8-10]。在自動(dòng)駕駛領(lǐng)域，3D渲染技術(shù)可用于創(chuàng)建虛擬駕駛環(huán)境，協(xié)助自動(dòng)駕駛系統(tǒng)識(shí)別和處理各種路況。例如，Waymo和Tesla等公司利用該技術(shù)進(jìn)行自動(dòng)駕駛的模擬測(cè)試。在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)的應(yīng)用中，3D渲染技術(shù)使人與虛擬環(huán)境之間的沉浸式交互成為可能，提供實(shí)時(shí)的交互反饋。微軟推出的HoloLens增強(qiáng)現(xiàn)實(shí)設(shè)備可廣泛應(yīng)用于工業(yè)制造、建筑和醫(yī)療等領(lǐng)域，而Meta也推出了Meta Quest系列頭顯設(shè)備。此外，蘋(píng)果推出了混合現(xiàn)實(shí)設(shè)備Apple Vision Pro。它們通過(guò)3D渲染技術(shù)實(shí)現(xiàn)用戶(hù)與虛擬環(huán)境的互動(dòng)。這項(xiàng)技術(shù)還被用于危險(xiǎn)操作培訓(xùn)，如飛行員培訓(xùn)。在生物醫(yī)學(xué)領(lǐng)域，3D渲染可用于手術(shù)前的三維成像與模擬，幫助醫(yī)生規(guī)劃手術(shù)路徑，同時(shí)協(xié)助研究人員創(chuàng)建人體模型。天文學(xué)家則利用實(shí)時(shí)3D渲染構(gòu)建并觀察星系、恒星等天體的三維模型，還可以創(chuàng)建虛擬天文館，讓公眾以沉浸式的方式探索宇宙。

圖10：3D實(shí)時(shí)渲染技術(shù)的應(yīng)用

3D實(shí)時(shí)渲染技術(shù)在自動(dòng)駕駛、人機(jī)交互、虛擬現(xiàn)實(shí)、生物醫(yī)學(xué)和天文觀測(cè)等多個(gè)領(lǐng)域展現(xiàn)了廣泛的應(yīng)用前景，推動(dòng)了智能化和可視化的發(fā)展。這項(xiàng)技術(shù)不僅提升了用戶(hù)體驗(yàn)和產(chǎn)品功能，也加速了產(chǎn)品創(chuàng)新與迭代，具有顯著的市場(chǎng)價(jià)值和工程價(jià)值。通過(guò)精準(zhǔn)的3D視覺(jué)模擬，3D渲染技術(shù)正悄然改變工業(yè)和日常生活的傳統(tǒng)模式，助力提供沉浸式體驗(yàn)和智能化操作范式，從而提升了工作效率和決策能力，印證了“科技改善生活、科技服務(wù)生活”的理念。

▎參考文獻(xiàn)

[1] https://www.heishenhua.com/

[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106.

[3] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics, 2022, 41(4): 1-15.

[4] 高建, 陳林卓, 沈秋, 等. 基于三維高斯濺射技術(shù)的可微分渲染研究進(jìn)展 (特邀)[J]. 激光與光電子學(xué)進(jìn)展, 2024, 61(16): 1611010-1611010-13.

[5] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.

[6] Charatan D, Li S L, Tagliasacchi A, et al. pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19457-19467.

[7] Yu Z, Chen A, Huang B, et al. Mip-splatting: Alias-free 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19447-19456.

[8] 劉興潭,張成渝, 武延鵬,等.小天體在軌渲染觀測(cè)技術(shù)[J].光學(xué)精密工程, 2021, 29(12): 2745-2753.

[9] 滕嘉瑋,趙巖,張艾嘉等.基于二維仿射變換的幾何一致性虛實(shí)融合[J].光學(xué)精密工程,2022,30(11):1374-1382.

[10] 林晉鋼,李東年,陳成軍等.基于像素投票的人手全局姿態(tài)估計(jì)[J].光學(xué)精密工程,2022,30(19):2379-2389.