新闻动态

随着人工智能技术的飞速发展，具身智能机器人正成为未来科技发展的核心方向。这类系统在工业自动化、物流运输、精准医疗等产业领域展现出广阔的应用前景，同时也在智能家居、服务机器人等消费级市场释放出巨大的潜力。市场研究显示，具身智能芯片市场规模预计将从 2025 年的 15 亿美元呈爆发式增长至 2050 年的 3500 亿美元（见图 1）。

图 1: 具身智能机器人芯片市场预测。

具身智能（Embodied AI, EAI）机器人在重塑未来工业生态与社会形态方面具有革命性的潜力，但其发展面临着关键的计算挑战。为了实现类人智能水平，系统需要集成复杂的理解、推理与规划算法，这要求硬件架构发生根本性的范式转变。具体而言，机器人端计算系统必须在满足实时响应（毫秒级延迟）、低功耗和有限成本的严格约束下，完成包含数万亿次操作每秒（Tera Operations Per Second, TOPS）的 EAI 软件流水线处理。以实时控制场景为例，系统需要具备每秒处理数十帧图像并生成数百条控制指令的能力。

AIRSTONE 项目旨在解决机器人端计算所面临的挑战。其最终使命是在嵌入式芯片上实时执行 EAI 软件，这对于大规模部署 EAI 机器人至关重要。基于我们过去几年的研究和观察，我们采用针对机器人工作负载定制的加速器设计方法来应对高效 EAI 计算的挑战。

图 2：80% 的计算预算分配给 EAI 工作负载，20% 的计算预算分配给机器人计算。

在计算资源分配方面，基于对传统机器人计算流水线的特征分析以及对 EAI 模型计算需求的剖析，我们为嵌入式 EAI 系统建立了一套计算资源分配方案。如图 2所示，80% 的计算资源被分配给 EAI 模型，剩余的 20% 则分配给经典的机器人计算任务，包括定位、路径规划和控制。

在架构设计层面，我们认为数据流架构结合加速器更适合机器人计算。首先，机器人计算流水线呈现出数据流的计算模式：来自物理世界的信息被依次捕获和处理，经过感知、认知、决策和控制模型。其次，流水线的端到端延迟是最关键的因素，它直接影响机器人的安全性和控制精度。加速器在机器人计算中发挥着关键作用，它在功耗、成本和延迟方面都具有显著的优势。

我们以自动驾驶车辆系统架构设计为例，如图 3 所示。在这个系统中，机器人软件被映射到一个由 FPGA、GPU 和 CPU 组成的硬件流水线上。具体来说，FPGA 加速感知和定位，GPU 实现基于深度学习的感知，CPU 处理规划和控制。与仅使用 CPU 和 GPU 的基线设计相比，使用 FPGA 加速器可以将端到端延迟降低 23%。这促使我们深入探索使用加速器来优化机器人计算系统。

图 3：我们的车载计算系统，使用 FPGA 加速感知和定位 [1]。

除了系统架构方面的创新，AIRSTONE 项目还致力于引入新的开发工具和方法，以加快具身人工智能系统的开发进程。这一举措的驱动力在于，当前的机器人系统开发仍然严重依赖物理测试和手动调试，导致时间和成本上的巨大浪费。为了实现生产力的显著提升，向以仿真驱动、设计自动化的方法转变是必不可少的。这种需求促使我们开发了基于数字孪生的设计自动化范式 [2-3]。AIRSTONE 项目将整合我们之前在自动驾驶系统数字孪生系统 ADDT 方面的工作，该系统能够实现硬件在环（Hardware-in-the-Loop, HIL）开发以及对安全性和性能的验证。以下视频展示了 HIL 设置和故障注入能力。我们计划将 ADDT 扩展为一个用于更广泛具身人工智能系统开发的基于数字孪生的平台。

图 4：项目组成员出版的书籍

在过去几年中，我们对机器人计算的硬件加速器进行了深入研究，成果包括一本著作 [4] （见图4）和多篇研究论文 [5-12]。我们的著作对机器人软件堆栈及其基于 FPGA 的加速器进行了全面的综述，旨在实现高效的机器人计算。我们的研究论文在硬件中实现了几种广泛使用且计算密集的算法构建模块，称为“机器人算子”。这些加速器与 CPU 基线相比展现出显著的性能优势。例如，我们的一个工作使用 FPGA 加速因子图（Factor Graph），这是一种在定位、规划和控制中常用的优化算法，与嵌入式 CPU 相比，性能提升了 40 到 60 倍，如图 5 所示。

图 5：FPGA 加速机器人定位、规划和控制的因子图计算：与 ARM 相比速度提升 40-60 倍 [5]。

为了加快基于加速器（特别是 FPGA 或 ASIC）的机器人计算系统的开发，我们决定开源我们的 FPGA 基加速器设计，并寻求与开发社区和公司的合作。我们将加速器设计整合到 AIRSTONE 项目中。通过 AIRSTONE，我们旨在：1）开发传统机器人计算的硬件 IP，使其能够无缝集成到 SoC 芯片中，以提升机器人计算系统的性能并降低成本；2）开发机器人计算指令集，以增强嵌入式 CPU 的指令集。

在 AIRSTONE 项目的第一阶段，我们主要开源我们之前论文中的加速器设计，重点关注定位、路径规划和控制以及 HIL 数字孪生模拟器：1）ORB 特征提取 [6]；2）基于 QP 的移动机器人路径规划优化器 [7]；3）基于因子图的定位、路径规划和控制优化器 [6]；4）自动驾驶数字孪生模拟器。

自 2017 年起，本项目的负责人俞波博士和发起人刘少山博士便与多家公司、研究机构和高校联合研究机器人、无人驾驶的高效计算问题，包括深圳普思英察科技有限公司、天津大学、北京理工大学、中国科学院计算技术研究所、美国罗彻斯特大学和美国加州大学。目前已在机器人及无人驾驶领域已积累了深厚的经验，并发表了多项国际顶会级硬件加速研究成果。现在，我们希望通过这一开源计划，AIRSTONE 期望打破技术壁垒，汇聚全球开发者与产业资源，加速技术成果向实际应用转化。

AIRSTONE 不仅是一个技术项目，更是一个开放创新的协作平台。通过整合学术界的前沿探索与产业界的落地经验，项目团队将推动具身智能计算系统的技术标准化与商业化进程，为智能机器人、无人驾驶等领域的规模化应用奠定坚实的基础。诚挚邀请全球研究机构、开发者与行业伙伴加入 AIRSTONE 生态，共同书写具身智能时代的未来篇章。

项目负责人

俞波博士（boyu@cuhk.edu.cn），清华大学工程博士，深圳市人工智能与机器人研究院（AIRS）具身智能中心研究员，IEEE高级会员，研究方向包括具身智能机器人和无人驾驶计算系统。在计算系统方向发表多篇顶级论文，包括ISCA、MICRO、ASPLOS、HPCA、DAC、ICCAD、CICC等。
 

参考文献：

[1] "Building the computing system for autonomous micromobility vehicles: Design constraints and architectural optimizations." 2020 53rd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2020.

[2] “Autonomous Vehicles Digital Twin: A Practical Paradigm for Autonomous Driving System Development,” Computer, vol. 55, no. 9, pp. 26–34, 2022.

[3] “Autonomous Driving Digital Twin Empowered Design Automation: An Industry Perspective,” in 2023 60th ACM/IEEE Design Automation Conference (DAC), 2023, pp. 1–4.

[4] “Robotic computing on fpgas.” Springer International Publishing, 2021.

[5] "Orianna: An accelerator generation framework for optimization-based robotic applications." Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2. 2024.

[6] "FPGA-based ORB feature extraction for real-time visual SLAM." 2017 International Conference on Field Programmable Technology (ICFPT). IEEE, 2017.

[7] "Accelerating Autonomous Path Planning on FPGAs with Sparsity-Aware HW/SW Co-Optimizations." Proceedings of the 2024 ACM/SIGDA International Symposium on Field Programmable Gate Arrays. 2024.

[8] "Archytas: A framework for synthesizing and dynamically optimizing accelerators for robotic localization." MICRO-54: 54th Annual IEEE/ACM International Symposium on Microarchitecture. 2021.

[9] "Eudoxus: Characterizing and accelerating localization in autonomous machines industry track paper." 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA). IEEE, 2021.

[10] "π-BA: Bundle Adjustment Hardware Accelerator Based on Distribution of 3D-Point Observations." IEEE transactions on computers 69.7 (2020): 1083-1095.

[11] "Blitzcrank: Factor graph accelerator for motion planning." 2023 60th ACM/IEEE Design Automation Conference (DAC). IEEE, 2023.

[12] "Factor graph accelerator for lidar-inertial odometry." Proceedings of the 41st IEEE/ACM International Conference on Computer-Aided Design. 2022.