芝能科技出品
在感知数据融合领域，通常根据数据处理的阶段将方法分为三类：数据级融合（早期融合）、特征级融合（深度融合）和目标级融合（后期融合）。如果将所有融合方法分为强融合和弱融合，可能更清楚一些。
01
智能驾驶中的强融合
强融合方法是直接融合不同模态数据的主流方法之一。根据激光雷达和视觉数据的组合阶段，将强融合分为四类：早期融合、深度融合、后期融合和不对称融合。
● 早期融合：早期融合是指在数据级别直接融合不同模态的原始传感器数据。这种方法在数据级别融合LiDAR数据，而在数据级或特征级融合相机数据。早期融合的一个例子是将语义分割结果作为相机数据的特征级表示，与LiDAR数据的原始点云融合来实现更好的目标检测性能。
● 深度融合：深度融合方法在特征级别融合跨模态数据，即对激光雷达分支进行特征级融合。这种方法利用了原始和高级语义信息，有时以级联方式融合特征。例如，一些方法将来自图像和激光雷达分支的全局特征相结合，以实现更好的检测性能。
● 后期融合：后期融合是融合每种模态的Pipeline结果的方法。它集成了不同模态的输出，并基于这些结果进行最终预测。这种方法利用多模态信息优化最终方案，例如，结合图像分支和激光雷达分支的结果，二次细化每个3D区域方案的输出。
● 不对称融合：不对称融合方法将来自一个分支的目标级信息与来自其他分支的数据级或特征级信息进行融合。这种方法通常将一个分支作为主导，而其他分支提供辅助信息来执行最终任务。不对称融合的一个例子是使用LiDAR主干引导2D主干进行更高精度的检测。
02
弱融合和其他融合
与强融合不同，弱融合方法不直接融合来自多模态分支的数据/特征/对象，而是以其他方式操作数据。它们通常利用一种模态中的数据作为监控信号来指导另一种模态的交互。弱融合的一个例子是使用图像分支的2D方案在原始激光雷达点云中产生截锥。
除了上述分类之外，还有一些方法采用多种融合方式，如深度融合和后期融合的组合，或早期融合和深度融合的结合。这些方法在模型设计上存在一定的冗余，并非主流融合模块。
小结
基于智能驾驶的融合，在中国的传感器部署比较多的大背景下，还是很有意义的。