智能体机器人
智能体机器人是把推理智能体——通常是一个负责规划、调用工具、跟踪状态的大模型——与实际驱动机器人的低层策略结合起来。已经成型的模式是分层的:智能体决定做什么,机器人策略处理怎么做;因为语言模型无法产生关节力矩,而操作策略无法规划数分钟长的任务。
为什么必须分层
两层的需求不相容。规划智能体受益于长上下文、缓慢的深思以及工具和记忆的访问;操作策略必须在数十赫兹的控制回路中运行,负担不起这种深思。试图让一个模型两者兼顾,得到的东西要么太慢无法控制,要么太浅无法规划。
分层的答案也符合领域的专业化方式:高层工作在语言与推理,低层工作在模仿学习与动作生成。
技能即工具
一种有生产价值的框架是:机器人策略就是一种工具。智能体把操作技能与搜索、代码执行等能力一起注册,并按意图调用它们。这让机器人能力可组合、可检查,也让智能体的规划能够与策略的灵巧性分开评估。已知的弱点是交接——判断一个技能何时完成,以及失败时怎么办。
智能体层看不到的东西
高层智能体通过其工具所报告的内容观察世界。如果低层策略的感官接口丢弃了什么,智能体的世界模型里也就缺了它。一个无法分辨“过程是真的结束了”还是“看起来像是结束了”的机器人,无法准确报告进展,而基于该报告规划的智能体会规划错误。
这就是低层接口成为智能体层面问题的地方。在执行空档中丢失的瞬态证据不只是控制问题,它是智能体世界模型里缺失的信息。
HEAR 的位置
HEAR 是低层动作组件:一个把流式感知转换为关节指令、并在实时约束下运行的策略。它对智能体栈的贡献,是确保世界状态中的声学部分不会在两次决策之间被悄悄丢弃。