
今年,3D高斯濺射(Gaussian Splatting)技術(shù)在測(cè)繪領(lǐng)域火起來(lái)了,如其域創(chuàng)新在其推出的靈光系列手持掃描儀及LCC后處理軟件中,將SLAM算法與3D高斯濺射技術(shù)融合,可自動(dòng)化生成超逼真的大場(chǎng)景三維模型,實(shí)現(xiàn)前所未有的沉浸式體驗(yàn),據(jù)相關(guān)消息,另外兩個(gè)國(guó)產(chǎn)品牌——數(shù)字綠土和歐思徠也即將推出基于高斯濺射的三維重建軟件,可以說(shuō),高斯濺射技術(shù)作為一種創(chuàng)新的 3D 表示方法,正逐漸成為測(cè)繪領(lǐng)域的熱門(mén)話(huà)題。
高斯濺射技術(shù)的原理
高斯濺射是一種體繪制技術(shù),該技術(shù)最初由 Lee Westover 于 20 世紀(jì) 90 年代初以濺射形式引入。它的主要原理是基于高斯函數(shù)進(jìn)行3D重建和新視角合成,它通過(guò)將場(chǎng)景表示為一組高斯函數(shù)的組合,實(shí)現(xiàn)了對(duì)復(fù)雜場(chǎng)景的高效渲染。
3D高斯濺射技術(shù)主要應(yīng)用場(chǎng)景是通過(guò)組合多張照片或視頻來(lái)創(chuàng)建高質(zhì)量的實(shí)時(shí)新穎視圖場(chǎng)景,是實(shí)時(shí)輻射場(chǎng)渲染領(lǐng)域使用的一項(xiàng)技術(shù)。其實(shí)現(xiàn)路徑通常主要包括以下幾個(gè)環(huán)節(jié):
輸入:一組靜態(tài)場(chǎng)景的圖像以及相機(jī)位置,可以用空間的稀疏點(diǎn)云來(lái)表達(dá)。
3D高斯處理:將場(chǎng)景分解為多個(gè)小的高斯函數(shù),每個(gè)高斯函數(shù)代表場(chǎng)景中的一個(gè)點(diǎn)或一個(gè)物體。
顏色模擬:使用球諧函數(shù)來(lái)模擬視圖相關(guān)的外觀。
優(yōu)化算法:使用隨機(jī)梯度下降等優(yōu)化參數(shù),對(duì)這些高斯函數(shù)進(jìn)行優(yōu)化和擬合。
光柵化器:實(shí)現(xiàn)基于圖塊的光柵化器,用于快速排序和向后傳遞,從而實(shí)現(xiàn)高斯分量的有效混合,得到場(chǎng)景的3D模型。
該方法使用保留連續(xù)體積輻射場(chǎng)屬性的 3D 高斯函數(shù)來(lái)表示場(chǎng)景,并整合相機(jī)校準(zhǔn)期間產(chǎn)生的稀疏點(diǎn)。它引入了使用 3D 高斯函數(shù)來(lái)建模輻射場(chǎng)的各向異性表示,以及高斯函數(shù)的交錯(cuò)優(yōu)化和密度控制,渲染的每個(gè)步驟都會(huì)與數(shù)據(jù)集中可用的訓(xùn)練視圖進(jìn)行比較。
高斯濺射技術(shù)的應(yīng)用
1、3D 重建
高斯濺射技術(shù)可以用于 3D 重建,即從多個(gè)視角的圖像中恢復(fù)出場(chǎng)景的 3D 結(jié)構(gòu)。它具有高效、準(zhǔn)確的特點(diǎn),可以應(yīng)用于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、游戲等領(lǐng)域。
2、新視角合成
高斯濺射技術(shù)可以用于新視角合成,即從一個(gè)已知視角的圖像中生成出其他視角的圖像。它具有快速、靈活的特點(diǎn),可以應(yīng)用于視頻會(huì)議、遠(yuǎn)程教育、影視制作等領(lǐng)域。
3、實(shí)時(shí)渲染
高斯濺射技術(shù)可以用于實(shí)時(shí)渲染,即對(duì)場(chǎng)景進(jìn)行實(shí)時(shí)的渲染和顯示。它具有高效、實(shí)時(shí)的特點(diǎn),可以應(yīng)用于游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。
總之,高斯濺射技術(shù)作為一種創(chuàng)新的 3D 表示方法,具有廣闊的應(yīng)用前景和發(fā)展?jié)摿ΑN磥?lái),它將在 3D 重建、新視角合成、實(shí)時(shí)渲染等領(lǐng)域發(fā)揮重要作用,帶來(lái)更加真實(shí)、更加豐富的 3D 體驗(yàn)。