GPT控制机械臂太危险!把菜刀悬在人手上,手机丢进水里
GPT控制机械臂太危险!把菜刀悬在人手上,手机丢进水里近年来,多模态基础模型凭借规模化带来的泛化能力,越来越多地被用作机器人的「大脑」,负责任务规划和动作决策。
搜索
近年来,多模态基础模型凭借规模化带来的泛化能力,越来越多地被用作机器人的「大脑」,负责任务规划和动作决策。
就在刚刚,首届蚂蚁灵波具身大模型挑战赛,总决赛成绩揭晓!
让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?
Robocurve的RoboSpoof评测显示,GPT-6 Astra、Claude Fable 5.1等五款多模态模型控制真实机械臂时,画面模糊或AI篡改使危险任务总体尝试率从27%升至约88%和97%。
在nil的无人值守工作系统中,Claude于凌晨4点操控UFactory xArm 7机械臂,因缺少过渡色暂停绘图、自行调配并验证颜料色阶,最终完成耗时4.5小时、303次落笔的水彩画《秋之冠》。
基于预训练的 Cosmos-Predict2.5-2B,SkeLAM 使用总计约 10 小时的机器人交互数据进行训练。在人手到机器人的迁移实验中,输入换成人类演示,生成视频中的机械臂仍然呈现出与演示对应的运动方向。迁移时模型参数全部冻结,没有针对这些演示额外微调。
普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和智元研究人员提出WorldOracle,并于10月16日开放评测平台;七种模型的真实执行对照显示,其机械臂轨迹较准但物体运动易偏离,长序列预测表现也会明显退化。
机器人 RSI 时刻远远未到达,先看一个动作:机械臂把碗放到盘子上,再抓起杯子,放进刚刚移动过的碗里。
设想这样一个场景:你让机器人把桌上的杯子收进托盘。它已经看到了杯子,机械臂正朝杯子伸过去。这时,旁边的人顺手把杯子挪开了几厘米。
三星与上海交通大学提出RoboICL具身上下文学习方法,通过冻结GPT-6 Astra模型并在推理时提供少量示范与机器人自身交互记忆,在RoboDojo 30项机器人操控评测中以50.64分全面领先PhysicalRSI等现有方法,并公开了929条可逐布局核查的执行记录及真实机械臂实验结果。