中国机器人企业Galbot日前发布RoboGesture框架，旨在提升人形机器人在面对面交流中的非语言表达能力。该系统能够根据实时语音生成与之匹配的手势动作，使机器人的肢体语言与说话内容保持同步，从而让对话更加自然。
人形机器人在交互场景中常面临一个共性问题：动作机械、重复，甚至与语音内容脱节。RoboGesture从三个层面回应这一挑战——有限训练数据下如何生成多样化手势、如何将语音与动作语义关联、以及AI生成的运动如何在实体机器人上安全执行。该研究由Galbot联合清华大学、北京大学、北京理工大学、哈尔滨工业大学和上海启智研究院共同完成，相关论文将在2026年欧洲计算机视觉会议（ECCV）上进行展示。
系统的核心是一个语义-声学处理模块，它不依赖语音的文字转录，而是直接处理原始音频信号。这一设计的关键在于：口语中包含大量文字难以捕捉的信息——音高变化、重音位置、节奏和语调。例如，同一句话以不同语气说出，含义可能截然不同。RoboGesture能够捕获这些声学特征，并将其作为手势生成的输入。
具体流程上，系统首先使用Mimi音频编解码器将输入语音转换为音频令牌，随后在多层次上并行处理：低层特征捕捉声音的瞬时变化和节奏，深层特征则识别更宏观的语义信息。两者结合后，系统在300个手势类别库中匹配最合适的动作类型。手势生成采用基于扩散变换器的运动模型，在连续运动空间中输出动作序列，使手势能从前一个动作自然过渡到下一个，而非孤立地逐帧执行。
研究团队还识别出一个名为“模态遮蔽”的典型问题——运动生成模型可能过度依赖机器人上一时刻的运动状态，导致重复输出类似动作，而非响应新语音。RoboGesture通过Anti-Inertia无分类器引导掩蔽方法，迫使模型将注意力重新聚焦于当前输入音频。
安全性是另一个关键设计。AI生成的运动无法天然保证实体机器人不会发生自碰撞或超出关节限位。RoboGesture在执行前将生成的运动经由模型预测控制（MPC）安全过滤器校验，检查运动约束并调整动作。测试显示，该过滤器将自碰撞帧率从4.16%降至0.13%。
据团队介绍，该系统已在搭载BrainCo灵巧手的宇树G1人形机器人上完成测试。完整交互管线整合了自动语音识别、大语言模型、文本转语音、音频处理、手势生成和MPC安全过滤，使机器人能够听人说话、生成对话回复、产生匹配的语音和手势，并在本体上执行这些动作。
