德州仪器毫米波雷达与NVIDIA AI传感器融合实现精准感知

在现代机器人应用的复杂环境中，感知系统时常面临巨大挑战。无论是人形机器人、自主移动平台还是工业自动化系统，都必须在各种操作条件下，以高精度、低延迟和一致的可靠性来感知周围环境。传统视觉传感器在雾、眩光、灰尘、雨水或弱光环境下，性能往往会明显下降；而单模态深度传感器则经常在杂乱或动态场景中难以提供稳定的测量结果。这恰恰是当前技术方案绕不过去的痛点。

德州仪器 (TI) 的 IWR6243 毫米波雷达传感器与部署在 NVIDIA Holoscan 平台上的摄像头，共同构建了一个实时 AI 原始传感器融合流程，系统架构如图 1 所示。

图 1 由摄像头、IWR6243 毫米波雷达传感器和 NVIDIA Holoscan 平台组成的系统示意图

TI 的毫米波雷达技术，本质上是一种截然不同的感应方式——它天然具备应对各种环境挑战的能力。IWR6243 毫米波雷达传感器可以在不受光照条件影响下，提供精确的距离、速度和角度测量，并且对环境干扰具有很强的抗扰性。当原始雷达数据与基于摄像头的感知和 AI 驱动的传感器融合相结合，相较于仅用雷达或仅靠视觉的方法，系统能够实现更加稳健、可靠的周围环境感知，保真度也更高。

具体来看，IWR6243 是一款高度集成化的单芯片毫米波雷达收发器，工作频段为 57GHz 至 64GHz，配备 4个接收通道和 3个发射通道。这种集成度让系统复杂性、功耗和物料清单成本都得到显著降低，使其非常适合用于可扩展的机器人及边缘 AI 部署。同时，该器件支持高分辨率点云生成，专门为需要低延迟和确定性性能的实时感应应用而设计。

通过将 IWR6243 与 NVIDIA Jetson Thor 和 NVIDIA Holoscan Sensor Bridge 配合使用，开发人员能把 TI 久经考验的毫米波雷达感应能力，与 NVIDIA GPU 加速的 AI 和流媒体基础设施无缝整合。这种组合确保雷达数据能高效流入 AI 传感器融合流程，同时完整保留了 TI 雷达在物理测量精度和可靠性上的一向优势。

在机器人应用中，IWR6243 可以实现精确的短距离人体检测和运动跟踪，助力仓库等拥挤环境下的安全导航。借助雷达直接测量距离和速度的能力，系统能在机器人周围动态建立起一个安全缓冲区，并根据物体距离和相对速度，连续调整保护区域。对于人形机器人而言，雷达传感器还能进一步支持行走、奔跑或操作任务中的稳定平衡控制和动态避障。

系统概述

整个系统架构的核心，是一条低延迟、以 GPU 为主驱动力的数据通路，它能在保留传感器原始精度的同时，支持高级 AI 处理。设计上集成了 TI 的 IWR6243 毫米波雷达模块、摄像头模块、用于高带宽和确定性传感器数据收集的 NVIDIA Holoscan Sensor Bridge，以及基于 Holoscan SDK 运行的 NVIDIA Jetson Thor 边缘计算平台，如图 2 所示。

图 2 系统概述

IWR6243 毫米波雷达传感器通过高速 CSI-2 接口提供原始测量数据，这让系统能直接、低延迟地访问原始雷达信息，传输开销极低。该接口可将雷达数据高效流式传输至 NVIDIA Holoscan Sensor Bridge，再借助零拷贝机制将数据直接传入 GPU 内存，整个过程兼具以太网的可扩展性与灵活性。这一方案在保持 TI 高精度雷达测量数据完整性的同时，将延迟和 CPU 参与度降到最低。

数据进入 GPU 后，Holoscan 运行时将使用基于图形的执行模型来编排处理流程。雷达信号处理、摄像头预处理、神经网络推理以及多模式融合，都会采用确定性调度，确保在高传感器数据率下，系统依然能满足实时性要求。借助这种架构，开发人员能够充分发挥 TI 毫米波雷达的测量精度，同时高效地扩展 AI 工作负载。

AI 传感器融合流程

传感器融合流程的第一步，是同步收集雷达和摄像头数据。雷达处理方面，依靠 IWR6243 提供距离、速度和角度的原始测量，生成能够捕获环境空间结构和运动特性的点云。与此同时，摄像头帧会用 GPU 加速的 AI 模型进行处理，提取出对象身份、姿态和分类等语义信息。

图 3 雷达处理流程

融合阶段的关键，是将 TI 雷达的测量值与空间和时间维度上的视觉检测对齐。雷达衍生的深度和速度信息，能有效补充基于视觉的推理，从而提高整体稳健性，减少感知上的模糊性。尤其是在涉及高速运动目标、部分遮挡或视觉环境恶化的场景中，单纯依赖摄像头极易失效，此时融合感知的价值就尤为突出。

将 TI 不受光照影响的精确雷达传感，与 AI 驱动的视觉语义相结合，融合输出的感知结果可以实现更高的置信度、更稳定的跟踪和更可靠的对象分类。最终生成的融合数据可用于实时决策、导航、安全监控，或者直接喂给下游的自主堆栈。

TI 毫米波雷达在传感器融合中的优势

TI 的毫米波雷达为传感器融合系统带来了其他传感技术难以复制的独特优势。直接测量距离和速度的能力，让系统对运动的理解极为精确，从而增强了跟踪和预测能力。而毫米波传感的稳健性，确保感知系统在光学传感器性能退化的环境下——比如低光照、眩光、雾和灰尘——依然能可靠运行。

IWR6243 的高集成度降低了系统复杂性和功耗，同时也让多传感器部署变得更可扩展。TI 在汽车和工业雷达领域长期积累的专业经验，在功能安全、可靠性和长期可用性上奠定坚实基础，这些都是机器人和自主系统至关重要的要求。

当 IWR6243 被集成到基于 Holoscan 的 AI 流程中，它作为传感器前端，为 AI 推理提供了基于真实物理测量的可靠数据来源。这种组合，一方面提升了整体系统性能，另一方面也降低了边缘部署中间出现感知故障的风险。

开始使用硬件

要基于 TI 毫米波雷达和 NVIDIA Holoscan 构建雷达视觉传感器融合系统，第一步是搭建一套能够支持从传感器到集中式 AI 计算平台的高带宽、低延迟数据传输的硬件平台。参考硬件配置，是将 TI 的雷达评估硬件与 NVIDIA Holoscan Sensor Bridge 及 NVIDIA Jetson Thor 组合使用。

IWR6243 级联 EVM 用作雷达传感前端。这个评估模块集成了两个 IWR6243 毫米波雷达器件，以及快速开发和验证所需的电源管理、时钟和连接部分。借助 IWR6243 EVM，开发者可以配置雷达的线性调频脉冲和帧时序，同时能获得适用于高级信号处理和基于 AI 融合的原始雷达数据。EVM 能够加速系统启动，并提供经过验证的、可靠的硬件基准，能很好地反映量产雷达方案的性能特性。

为了实现从 IWR6243EVM 到 Holoscan 生态系统的高效数据传输，在雷达评估模块和 NVIDIA Holoscan Sensor Bridge 之间，使用了一块 CSI-2 适配器板，如图 4 所示。这块适配器板的作用，是将雷达输出接口的信号桥接至传感器桥预期的 CSI-2 输入。

图 4 硬件概述

Lattice CertusPro-NX 传感器到以太网桥接板，运行在低延迟、低功耗、灵活的 FPGA 上，用作高带宽传感器数据的中央聚合和传输设备。它接收来自雷达的 CSI-2 数据流，以及摄像头等其他传感器的各类接口信号。传感器桥接器负责确定性的数据移动，将传感器数据直接传送到计算平台上、供 GPU 访问的存储器中。

NVIDIA Jetson Thor 作为系统的集中计算平台，提供雷达信号处理、摄像头推理、多模式融合和实时决策所需的 GPU 性能和 AI 加速。在 Jetson Thor 上运行 Holoscan SDK，让开发人员能够定义和执行流式 AI 流程，以可预测的延迟来处理雷达和视觉数据。这种集中计算方法，让系统可以通过提升计算能力，在不同自主级别之间进行扩展，而无需重新设计传感器硬件。

IWR6243EVM、CSI-2 适配器板、NVIDIA Holoscan Sensor Bridge、摄像头模块和 NVIDIA Jetson Thor，共同构成了雷达视觉传感器融合的完整硬件基础。这种配置让开发人员可以集中精力在感知算法和 AI 融合上，同时依赖一个专为高带宽检测、低延迟和面向量产人形机器人及机器人系统可扩展性而优化的硬件架构。IWR6243 级联 EVM 硬件和适配器板可直接从德州仪器 (TI) 获取，有需求的开发者应联系 TI 销售代表了解供货情况、订购信息和支持选项。

开始使用软件

在 NVIDIA Holoscan 平台上搭建雷达视觉传感器融合软件栈，需要完成 Holoscan SDK 配置、启用 Holoscan Sensor Bridge 软件组件，并部署实现雷达处理与传感器融合功能的应用软件。

NVIDIA Holoscan SDK 为构建实时流式 AI 应用程序提供了核心软件框架，包括基于图形的执行模型、GPU 加速的运算符、确定性调度，以及对传感器推理、可视化和数据移动的集成支持。该 SDK 运行在 NVIDIA Jetson Thor 上，管理雷达处理和摄像头推理的执行。

在 Holoscan 平台之上，应用软件负责实现雷达配置、信号处理、传感器对齐和融合逻辑。这套应用软件由 D3 Embedded 开发，专门设计用来充分利用德州仪器 (TI) 毫米波雷达、Lattice Semiconductor 的 Holoscan Sensor Bridge 板和 NVIDIA Holoscan 基础设施。该软件将 IWR6243 雷达数据集成到基于 Holoscan 的流程中，从而在集中式处理架构内完成雷达点云生成、摄像头对齐和 AI 驱动的融合。D3 Embedded 的应用软件作为其服务项目的一部分可提供给客户。

NVIDIA Holoscan SDK、Holoscan Sensor Bridge 软件栈以及 D3 Embedded 的应用软件，共同构成了一个完整的、用于实时雷达视觉传感器融合的软件体系。这种组合实现了快速启动和可扩展的性能，并为从评估硬件走向可直接用于生产环境的人形机器人和机器人系统，提供了清晰的路径。

结语

TI 的 IWR6243 毫米波雷达与 NVIDIA Holoscan 平台上的摄像头数据，通过实时 AI 传感器融合，提供了一套稳健、可扩展且可立即投入生产的感知方案。TI 的毫米波雷达技术能做到准确、不受光照影响的距离和速度测量，而 NVIDIA Holoscan 则实现了超低延迟的 GPU 处理与 AI 驱动的融合。这些技术结合在一起，让开发人员能够构建出可以在复杂、动态和具有挑战性的环境中可靠运行的高级感知系统，从而加速新一代机器人和自主机器的部署进程。