當(dāng)前位置:廣州虹科電子科技有限公司>>技術(shù)文章>>從實驗室到量產(chǎn):3D高斯?jié)姙R仿真還缺什么?
從實驗室到量產(chǎn):3D高斯?jié)姙R仿真還缺什么?
一、引言
在一線從事高階ADAS仿真測試的工程師,大概率都經(jīng)歷過這樣的困境:在CARLA等傳統(tǒng)仿真器中表現(xiàn)良好的感知算法,一旦部署到實車上,就會出現(xiàn)漏檢和誤觸發(fā)。
根本原因在于,傳統(tǒng)圖形學(xué)仿真器基于人工建模的幾何網(wǎng)格與光線追蹤,渲染出的攝像頭畫面過于理想化,缺少真實世界中普遍存在的非均勻光照、鏡頭畸變、運(yùn)動模糊和多源噪聲。這種“虛實域差異"使得耗費(fèi)巨資搭建的仿真系統(tǒng)難以有效服務(wù)于端到端模型的測試驗證。
2023年底以來,神經(jīng)渲染技術(shù)帶來了新的方向。3D高斯?jié)姙R(3D Gaussian Splatting, 3DGS)憑借其顯式的三維空間表征和實時渲染保真度,能夠基于實車采集的數(shù)據(jù)快速構(gòu)建高保真的數(shù)字孿生場景,直接回應(yīng)了仿真感知域的核心訴求。
傳統(tǒng)圖形學(xué)仿真

神經(jīng)渲染仿真3DGS

然而,從實驗室走向工程量產(chǎn),3DGS仍然面臨多模態(tài)傳感器物理建模缺失、路網(wǎng)語義斷層、硬實時接入延遲等系統(tǒng)性瓶頸。本文旨在梳理當(dāng)前技術(shù)現(xiàn)狀,并探討面向量產(chǎn)落地的雙軌策略:“功能級 HiL 確定性物理注入 + 云端前饋可泛化 SiL 高并發(fā)生成"。
二、六大工程瓶頸
為了弄清楚 3DGS 到底離量產(chǎn)還有多遠(yuǎn),我們需要從多模態(tài)感知適配、場景交互能力、工程落地效率等量產(chǎn)核心維度出發(fā),可將3DGS技術(shù)的量產(chǎn)落地瓶頸拆解為六大核心問題,全面覆蓋傳感器仿真、場景重建、動態(tài)編輯、算力效率等關(guān)鍵環(huán)節(jié)。
1、攝像頭仿真
在攝像頭仿真方面,學(xué)術(shù)界與工業(yè)界推進(jìn)最快。基于 nuScenes 和 Waymo 數(shù)據(jù)集,諸如 SplatAD 和 AutoSplat 等方案已經(jīng)能夠?qū)崿F(xiàn)實時的相機(jī)渲染,峰值信噪比較傳統(tǒng)的 NeRF 提升了 2~3dB。
然而,量產(chǎn)車型標(biāo)配的超大畸變魚眼鏡頭以及周視相機(jī)的接縫重疊區(qū)域,在 3DGS 中極易出現(xiàn)“印象派畫作"般的偽影和拉伸。3DGUT 等環(huán)視適配方案,在解決多視角曝光不一致、動態(tài)鬼影方面,工程調(diào)優(yōu)成本依然高昂。
2、LiDAR 仿真
目前 LiDAR-GS 和 GS-LiDAR 能夠較好地模擬反射強(qiáng)度、回波以及射線漏檢。但對于 50 米以外的遠(yuǎn)距離物體,由于點云稀疏,高斯基元的擬合精度斷崖式下跌。
更致命的是,雨雪霧等天氣下光束的散射與衰減,3DGS 目前缺乏嚴(yán)密的物理機(jī)制支撐,導(dǎo)致生成的點云數(shù)據(jù)無法直接用于工況的測試。
3、Radar仿真
相較于光學(xué)傳感器,毫米波雷達(dá)的 3DGS 仿真目前處于極早期階段。盡管有 RadarSplat 和 NeuRadar 等前沿探索,但雷達(dá)波在金屬、路面、植被上的電磁散射具有多徑效應(yīng)和多普勒效應(yīng)。3DGS 的顯式高斯點表征難以抽象這些物理特性,其仿真精度距離量產(chǎn)的感知評測要求仍有顯著差距。
4、路網(wǎng)與語義重建
仿真需要的是車輛要在里面跑起來。3DGS在重建大范圍城市場景時,由于缺乏長距離幾何約束,容易出現(xiàn)路面微小起伏或塌陷。
同時,它無法直接導(dǎo)出符合OpenDrive規(guī)范的高精地圖語義拓?fù)洹H绻抡鎴鼍霸谝曈X上逼真但缺乏車道線拓?fù)?,則該場景只能用于感知評估,無法支持完整的規(guī)劃控制閉環(huán)測試。
5、動態(tài)編輯
在 ADAS 測試中,我們需要靈活修改主車周圍的交通流行為如突發(fā)的(Cut-in)。目前通過解耦靜態(tài)背景與動態(tài)物體的 StreetGaussians 方案,雖然支持對背景和車輛進(jìn)行獨(dú)立編輯,但在車輛大角度轉(zhuǎn)向或加速時,高斯點云往往會出現(xiàn)撕裂或瞬間漂移。
由于缺乏足夠的泛化能力,該方法難以生成從未采集過且符合物理規(guī)律的長尾碰撞場景。
6、訓(xùn)練與渲染效率
傳統(tǒng)的 3DGS 依賴于“逐場景優(yōu)化"。重構(gòu)一段 20 秒的剪輯,往往需要數(shù)十分鐘甚至數(shù)小時的訓(xùn)練。在功能級 HiL(硬件在環(huán))測試中,每置換一個新場景就要重新加載數(shù)百兆的高斯文件,PCIE 總線的數(shù)據(jù)拷貝延遲直接打破了系統(tǒng)對確定性硬實時的要求。
三、 量產(chǎn)落地的雙軌策略
針對上述技術(shù)瓶頸,結(jié)合硬件在環(huán)、軟件在環(huán)的差異化測試場景需求,本文提出“HiL確定性物理注入+云端SiL高并發(fā)生成"的雙軌并行落地策略,兼顧實時閉環(huán)測試的確定性與大規(guī)模場景測試的泛化性、高效性。

1、左軌:功能級 HiL 確定性物理注入
在硬件在環(huán)階段,不追求大范圍城區(qū)的重建。而是針對固定的封閉測試場、特定路線(如高精測試場地、特定危險彎道)進(jìn)行極度精細(xì)的 3DGS 顯式重建,固化其高斯基元分布。
物理鏈路方面,通過定制化的渲染GPU服務(wù)器,將高保真相機(jī)渲染畫面通過全鏈路視頻注入到智能駕駛域控制器中。
雷達(dá)與高精地圖部分:在3DGS負(fù)責(zé)視覺與LiDAR近場仿真的同時,通過基于數(shù)據(jù)驅(qū)動的Radar模型和高精地圖提供完整的測試環(huán)境,通過多源融合打通硬實時閉環(huán)。

2、右軌:云端前饋可泛化 SiL 高并發(fā)生成
在云端大規(guī)模軟件在環(huán)(SiL)測試中,每天需要運(yùn)行數(shù)百萬個場景。目前耗時的“逐場景優(yōu)化"可能無法滿足,可以轉(zhuǎn)向前饋式可泛化高斯技術(shù)與數(shù)據(jù)驅(qū)動世界模型的合流。
(1)前饋式 3D/4D GS 技術(shù)的工業(yè)化
近兩年的學(xué)術(shù)突破為這一路線提供了支撐。DGGT框架實現(xiàn)了無需相機(jī)外參、單次前饋推理即可預(yù)測包含動態(tài)運(yùn)動信息和高斯點分布的4D驅(qū)動場景。這種免訓(xùn)練、直接推理的特性使云端高并發(fā)仿真成為可能。
同時,ADGaussian(ICRA 2026)等技術(shù)通過融合稀疏LiDAR深度信息和單目圖像進(jìn)行多模態(tài)聯(lián)合學(xué)習(xí),增強(qiáng)了3DGS在未知場景下的幾何泛化與視角切換穩(wěn)定性。

(2)世界模型賦能長尾場景閉環(huán)
當(dāng)可泛化高斯與動作條件化的世界模型(如Waabi World、GAIA-1)結(jié)合時,仿真系統(tǒng)可以具備場景生成能力。輸入“前車爆胎并向左偏擺"等行為描述,世界模型負(fù)責(zé)生成符合物理邏輯的動態(tài)演化軌跡,可泛化高斯負(fù)責(zé)高保真渲染。此時的仿真系統(tǒng)兼具交互靈活性與物理真實感。
四、結(jié)語
3DGS在視覺保真度上的優(yōu)勢使其成為高階智駕感知評測的重要技術(shù)路徑。通過功能級硬件在環(huán)注入解決當(dāng)前的感知閉環(huán)痛點,通過云端前饋高斯與世界模型攻克大規(guī)模泛化與長尾場景生成難題,行業(yè)正在以更高的精度和效率推動高階自動駕駛的量產(chǎn)安全落地。



7