全球首例！大模型机器人线下真机展示泛化干活技能

全球首例！大模型机器人线下真机展示泛化干活技能

全球首例的“可以线下真机展示泛化干活技能的大模型机器人”——银河通用的首个人形机器人GALBOT G1，成为了现象级的焦点。在技术的不断迭代和大模型的推动下，机器人展现出多能力的“全能选手”特性，但同时也面临着感知模态不足、实时性响应及泛化能力较弱等挑战。实现通用机器人的终极目标之一是提升机器人在不同环境和任务下的执行成功率。对此，北京银河通用机器人有限公司创始人兼CEO王鹤教授在2024年中国机器人开发者大会上，发表了关于“面向通用机器人的具身多模态大模型系统”的主旨演讲，引发广泛关注。

通用机器人技术的新进展、挑战及未来趋势，本文将从GALBOT G1出发，结合王鹤教授的观点，深入探讨。通用机器人不仅指形态上的人形化，更强调任务和环境的通用性，包括执行各种任务和适应各种地形环境。银河通用提出了机器人结构，包括基石层和能力层，旨在打造通用的本体，实现数据驱动的感知、决策和执行能力，形成完整的通用机器人系统。

在本体创新方面，GALBOT G1采用独特的移动双臂和轮式腿设计，实现全方位的360°移动能力，满足不同任务需求。其高度、臂展和躯干提升能力为65cm，操作范围可达240cm，覆盖更广泛的工作空间，展现高成功率的通用操作能力。

数据驱动是实现具身智能的关键。银河通用通过大规模合成仿真数据驱动具身智能，解决传统数据采集方式成本高昂、难以大规模应用的问题。在仿真环境中，引入实际物体，实现高度逼真的物理仿真，确保在虚拟环境中学习到的技能和经验在真实世界同样有效。研究团队通过集成交感传感器，收集训练数据，为机器人的学习和训练提供强有力支持。

银河通用机器人在合成数据方面取得突破，通过合成数据训练，机器人在抓取透明、高光物体及复杂光照条件下的操作表现出色，没有使用真实世界的数据，体现了合成数据驱动具身智能的高效性和可扩展性。

为驱动通用机器人智能进化，王鹤教授提出了大脑大模型和小脑大模型的概念，分别负责高层次的语义理解和决策以及具体的操作和执行。银河通用机器人采用三层架构，底层为硬件层，中间层为三维视觉合成数据驱动的技能层，上层为图文大模型层，实现精准操作和快速响应。

展望未来，通用人形机器人的发展将趋向于端到端具身大模型，通过自然语言导航大模型，机器人仅凭人类语言指令，就能在未见过的环境中执行行走任务。银河通用团队将继续引入手部动作能力，实现手与腿的协同操作，构建首个机器人基础大模型，推动通用机器人技术的突破与发展。

腾讯机器人研究登顶刊！能帮程序员安显示器，像真人一样协同干活

国产机器人新突破，两只独立机械臂协同操作如同真人。拧瓶盖、倒水、安装显示屏、搬运重物，各类物体都能稳稳hold住。腾讯Robotics X实验室的最新成果已登上《IEEE Transactions on Robotics》。

通用双臂协同操作框架，抗干扰能力强，双臂避碰能力出色。系统安全性高，能够完成意图识别和动态交互。技术细节包括灵巧可达感知子框架和多功能控制子框架。

灵巧可达感知子框架实现视觉感知到的物体3D点云到灵巧-可达最优的双臂6D抓取位姿对之间的端到端映射，包含数据集生成、抓取质量评估网络和双臂机器人可达性概率化建模三个层面。通过学习得到的双臂最小距离代理函数，实现高精度双臂避自碰。基于黎曼几何的双臂协同操作度椭球跟踪，提升操作灵巧度。

系统在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口，具有很高的通用性、可扩展性和兼容性。验证了双臂最优协同抓取、双臂避自碰以及双臂协同操作度椭球跟踪的有效性，实现在物理仿真引擎中的大规模消融实验。

论文详细介绍了技术细节，首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取问题，实现了工作空间高度重叠的双臂机器人本质安全，并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。这一成果有助于弥合AI与Robotics之间的技术鸿沟，提升基于AI生成的操作策略在物理世界中的执行稳定性和可靠性。