给机器人装上“离线大脑”+“安卓系统” 谷歌端上“自家最强”VLA模型
《科创板日报》6月26日讯 日前，谷歌宣布推出“自家最强大的视觉-语言-动作（VLA）模型”Gemini Robotics On-Device，作为一款面向双臂机器人的通用基础模型，Gemini Robotics On-Device专为减少计算资源消耗而设计。
其具备通用灵巧操作能力和任务泛化能力，即支持灵巧操作任务的快速实验、可通过微调适应新任务，以提升性能。
更重要的是，这款模型可以完全在机器人设备本地离线运行。谷歌表示，由于运行时无需依赖数据网络，这一模型非常适用于对延迟敏感的应用场景，并能在网络连接不稳定甚至完全中断的环境中稳定运行——换言之，即使是在完全断网的情况下，搭载这款模型的机器人设备也能做到“看得见、听得懂、做得了”。
Gemini Robotics On-Device在多种测试场景中实现了强大的视觉、语义和行为泛化能力，能理解自然语言指令，并完成拉开拉链、折叠衣物等高灵巧度任务。
除了离线运行之外，Gemini Robotics On-Device的另一大亮点便是“能微调”。
十几年前安卓系统正式面世，提供了高度开放的架构，让开发者和厂商们定制系统。如果说安卓系统是“让手机更懂用户”，那么谷歌这次的Gemini Robotics On-Device就是“让机器人更懂任务”。
Gemini Robotics On-Device模型是谷歌首个对外开放可供微调的VLA模型，开发者可以选择对该模型进行适配，以提升具体应用场景中的性能。据谷歌介绍，Gemini Robotics On-Device可快速适应新任务，仅需50-100个示范样本即可显示出良好的泛化能力。
谷歌在七个不同难度级别的灵巧操作任务中测试了该模型，包括拉上便当盒拉链、抽卡和倒沙拉酱等操作。
图|Gemini Robotics On-Device任务适应性能
并且，谷歌还将Gemini Robotics On-Device模型适配到了Franka FR3双臂机器人和Apollo人形机器人等不同的机器人实体上。
在双臂 Franka 机器人上，该模型可以执行通用指令，包括处理以前未见过的物体和场景、完成折叠衣服等灵巧任务，或执行需要高精确度和灵巧性的工业传送带组装任务。
在Apollo人形机器人上，谷歌对该模型进行了适应性调整，以适配显著不同的实体形态。
（科创板日报）