盖世汽车讯 如今许多自动驾驶汽车通过两种感知方式同时 " 观察 " 路况：摄像头捕捉行人的颜色、纹理及轮廓，而激光雷达（LiDAR）则发射激光脉冲，精确测量行人与车辆的距离。这两种方式相辅相成，所提供的综合信息优于单一传感器单独工作时的表现。

然而，这种组合也存在缺陷。由于融合模型主要基于清晰的日间影像进行训练，它往往倾向于依赖在那种环境下表现最佳的传感器，因此在面对复杂或恶劣工况时可能会失效。例如，雨水会散射激光雷达的光束，而在夜间行驶时，摄像头则需应对黑暗环境及强光眩光带来的挑战。

图片来源：SUTD

据外媒报道，为了解决这一问题，新加坡科技设计大学（Singapore University of Technology and Design, SUTD）的 Zhao Na 助理教授主导了两项研究，分别构建了不同的模型。在题为《CCF：面向域泛化多模态 3D 目标检测的互补协同融合》（CCF: Complementary collaborative fusion for domain generalized multi-modal 3D object detection）的研究中，团队调整了检测器对各传感器权重的分配方式，使其能够适应新环境。而在题为《PanDA：自动驾驶中多模态 3D 全景分割的无监督域自适应》（PanDA: Unsupervised domain adaptation for multimodal 3D panoptic segmentation in autonomous driving）的研究中，他们利用新环境中的无标签数据，帮助模型在进入该环境后实现自适应。

" 真正的挑战不仅仅在于噪声的增加，更在于各传感器的可靠性会发生动态变化，"Zhao Na 说道，" 我们的研究旨在让系统具备超越训练环境的泛化能力，并能根据可用信息的变动，动态调整模型对各个传感器的依赖程度。"