在自動(dòng)駕駛時(shí)代奔涌向前的路上，仿真測(cè)試早已不再是可選項(xiàng)，而是驗(yàn)證智能駕駛系統(tǒng)安全性、魯棒性和泛化能力的剛需，如何提升仿真測(cè)試的保真度已成為無(wú)法避免的重要話題。

這正是“數(shù)字孿生"出現(xiàn)的時(shí)代背景。本文為大家詳細(xì)介紹如何用傳統(tǒng)與前沿結(jié)合的數(shù)字孿生構(gòu)建流程，再配合3DGS 的神經(jīng)網(wǎng)絡(luò)重建技術(shù)，為自動(dòng)駕駛仿真測(cè)試注入真正的“現(xiàn)實(shí)之眼"。

一、從點(diǎn)云到高精地圖的重建

依托的aiData工具鏈與aiSim仿真平臺(tái)，本文建立了一套高精度數(shù)字孿生地圖構(gòu)建流程，已經(jīng)廣泛應(yīng)用于布達(dá)佩斯 Kolosy廣場(chǎng)、ZalaZone測(cè)試場(chǎng)等真實(shí)道路還原項(xiàng)目。整個(gè)流程包括：

（左）帶有標(biāo)注的HD地圖、（中）裝飾HD地圖、（右）aiSim中渲染

1、數(shù)據(jù)采集

采用搭載激光雷達(dá)（LiDAR）、高精度GNSS/INS系統(tǒng)的測(cè)繪車（如康謀DATALynx ATX4）執(zhí)行移動(dòng)激光掃描（MLS），通過(guò)aiData Recorder進(jìn)行錄制，主要路線至少繪制兩次，確保厘米級(jí)空間精度。

數(shù)采車示意圖

2、點(diǎn)云聚合

使用aiData Annotator將多幀點(diǎn)云拼接為統(tǒng)一的全局坐標(biāo)系，結(jié)合反射率、時(shí)間戳等多通道信息形成高密度、低誤差的空間點(diǎn)集。

Tips：詳細(xì)數(shù)據(jù)采集精度和點(diǎn)云數(shù)據(jù)格式可聯(lián)系康謀技術(shù)團(tuán)隊(duì)獲取，可接受第三方數(shù)據(jù)，但建議在采集前與我們技術(shù)團(tuán)隊(duì)溝通優(yōu)化策略。

3、高精地圖建模

基于聚合點(diǎn)云手工標(biāo)注道路元素：車道線、交通標(biāo)志、人行道、護(hù)欄、紅綠燈等。輸出為GeoPackage格式的HD Map，用于自動(dòng)駕駛系統(tǒng)參考。

ZalaZone試驗(yàn)場(chǎng) LiDAR點(diǎn)云建模ZalaZone試驗(yàn)場(chǎng)衛(wèi)星參考圖像

4、三維建模與裝飾

借助Atlas程序化建模引擎，生成道路、地形等基礎(chǔ)結(jié)構(gòu)，再通過(guò)aiSim Unreal插件手工裝飾建筑、植被、街景設(shè)施，高程度復(fù)現(xiàn)現(xiàn)實(shí)細(xì)節(jié)。為了獲取最大精度，康謀將會(huì)采用DCC工具，例如Maya、Blender、Substance等工具利用可用數(shù)據(jù)構(gòu)建新模型；

二、革新：NeRF 與 3DGS 重建

傳統(tǒng)方式固然精準(zhǔn)，但高成本、高周期、強(qiáng)人工依賴，難以支撐大規(guī)模、快速迭代的測(cè)試需求。

本文分享的神經(jīng)網(wǎng)絡(luò)重建方案，則以NeRF+ 3DGS為核心技術(shù)，實(shí)現(xiàn)了從真實(shí)環(huán)境到仿真世界的躍遷：

1、僅需數(shù)日，完成街景重建

相比傳統(tǒng)數(shù)月的手動(dòng)建模，神經(jīng)網(wǎng)絡(luò)重建只需幾天時(shí)間，就能將采集到的圖像和點(diǎn)云數(shù)據(jù)自動(dòng)生成高保真的三維靜態(tài)場(chǎng)景。

在aiSim中重建Waymo場(chǎng)景

2、進(jìn)一步消除 Domain gap，場(chǎng)景逼真如實(shí)地拍攝

通過(guò)DEVIANT算法驗(yàn)證3D目標(biāo)檢測(cè)精度、Mask2Former測(cè)量像素一致性等方式，驗(yàn)證了神經(jīng)重建場(chǎng)景在多攝像頭視角下的高可用性與仿真一致性。

請(qǐng)查看最新發(fā)表的論文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation"

3、降本增效，拒絕重復(fù)建模

方案致力于告別繁復(fù)的建模軟件與人工建模流程，實(shí)現(xiàn)端到端自動(dòng)化構(gòu)建，大幅降低人力與制作成本。

4、場(chǎng)景增強(qiáng)與標(biāo)準(zhǔn)兼容

在生成的三維場(chǎng)景中，可靈活添加動(dòng)態(tài)對(duì)象（車輛、行人、信號(hào)燈等），并全面兼容OpenSCENARIO標(biāo)準(zhǔn)，適配多種自動(dòng)駕駛測(cè)試平臺(tái)。

三、重建工作流：從采集到仿真部署

神經(jīng)網(wǎng)絡(luò)重建方案遵循高度自動(dòng)化流程：

流程圖

（1）數(shù)據(jù)采集： 使用DATALynx ATX4記錄圖像、LiDAR點(diǎn)云和自車位姿；推薦配置包括Hesai Pandar64、環(huán)視非魚(yú)眼攝像頭和NovAtel高精度組合導(dǎo)航系統(tǒng)。

（2）數(shù)據(jù)轉(zhuǎn)換：將原始數(shù)據(jù)轉(zhuǎn)化為康謀格式，統(tǒng)一處理點(diǎn)云、圖像和標(biāo)定信息。

（3）自動(dòng)標(biāo)注： 利用aiData工具鏈去除動(dòng)態(tài)目標(biāo)、生成GT數(shù)據(jù)，實(shí)現(xiàn)非因果式追蹤。

環(huán)視系統(tǒng)自動(dòng)標(biāo)注

（4）神經(jīng)網(wǎng)絡(luò)訓(xùn)練： 使用NeRF/3DGS算法生成高精度三維場(chǎng)景。

（5）仿真部署與增強(qiáng)： 在aiSim仿真平臺(tái)中集成重建場(chǎng)景，配置不同環(huán)境（暴雨、夜晚、雪天）、多模態(tài)傳感器（攝像頭、LiDAR、毫米波雷達(dá)等）與虛擬交通流。

雨天場(chǎng)景

四、仿真世界，無(wú)需困于“假"

在自動(dòng)駕駛技術(shù)快速發(fā)展的今天，數(shù)字孿生已從簡(jiǎn)單的場(chǎng)景復(fù)制，進(jìn)化為具備真實(shí)物理特性的虛擬世界。我們和眾多同行們正在見(jiàn)證一場(chǎng)仿真技術(shù)的革命：

（1）通過(guò)激光雷達(dá)的精準(zhǔn)測(cè)繪確保厘米級(jí)精度

（2）借助3DGS/NeRF實(shí)現(xiàn)場(chǎng)景的智能重建

（3）融合傳統(tǒng)與創(chuàng)新的技術(shù)優(yōu)勢(shì)

康謀致力于將傳統(tǒng)構(gòu)建流程與前沿神經(jīng)網(wǎng)絡(luò)重建技術(shù)相融合，用速度、真實(shí)與自動(dòng)化重塑自動(dòng)駕駛仿真測(cè)試的范式。