蚂蚁灵波开源 LingBot-Touch,让灵巧手共享触觉表征
LingBot-Touch 用同一模型表征三种触觉传感信号。团队在两款灵巧手的 26 项真机任务中测试,四种动作模型的平均成功率提升约 14 至 26 个百分点。
海宇数科 · 事件日期 · 约 4 分钟 · 8 次阅读

蚂蚁灵波科技 11 月 10 日公开 LingBot-Touch。团队用将近 5000 小时的触觉数据训练模型,让采用磁、视觉或压阻原理的传感器接入一套共同的触觉编码。
项目着眼于机器人和物体接触之后的动作调整。触觉数据可以辅助机器人的操作策略继续执行下一步。
团队把这个编码器接入了 LingBot-VLA。原有系统能够识别三维空间并执行手部动作,加入的新信号主要来自指尖。
两款灵巧手的真机结果与触觉迁移
完成抓握后,动作模型还需要判断物体有没有移动、握力是否合适。相机能辅助定位,但有些变化只有接触信号能提供。
拧瓶盖时,滑动的指腹和已经松开的盖子从外观上不易区分。指尖受力的变化可以提示机器人调整抓握方式。
团队用 Sharpa Wave 和 XHand1 做了 26 项操作测试,任务包括翻页、识别麻将牌和开瓶盖。对照不使用触觉的设置,四种受测策略的平均成功率高出约 14 至 26 个百分点。
单看 Sharpa Wave 的开盖试验,T-Rex 从无触觉时的 56.25%,提高到直接使用传感器读数时的 62.5%;改用编码器后达到 90%。

这些数字来自团队的真机对照。提升幅度随所用策略、灵巧手和任务而变化。
团队希望让同一份训练经验在更换硬件后也能用上。
现有指尖传感器有多种实现。选择哪一类,会受到成本、尺寸和要感知的力等条件影响。
不同传感器甚至同一原理的不同触点布局,对同一次接触也可能给出不同读数。专门针对一种读数训练的策略,迁移时往往需要新的数据和适配。
将信号映射成共享表征后,训练可以同时利用几种硬件采集的数据,减少换设备时的重复工作。
模型为不同类型的读数设立独立入口,先将触点对齐到共同的指尖坐标。共享网络再对接触的位置、力度以及变化建模,输出动作策略可读取的特征。

统一接口也能利用人佩戴手套或远程操作机器人时积累的样本。
以 XHand1 为例,预训练阶段并没有使用它的那款磁触觉传感器。测试时,团队固定编码器的参数,只用这只手的演示训练动作策略。
参与测试的策略包括 LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex。团队可以保留原有动作模型,让触觉模块承担传感信号到特征的转换。
26 项任务使用的是 Tiny 版,参数约 530 万。接入三个受测策略时,参数增幅约为 0.13% 至 0.16%。
参数更多的 Small 版面向容量需求更高的场景。团队观察到,增加预训练数据后,模型的感知表现还在提升。
触觉模块服务于实际操作,也可以和通用模型的任务推理配合。
蚂蚁灵波 CEO 朱兴表示,语言模型在复杂任务规划上带来帮助,实际操作仍需要具身模型处理动作反馈。
他把两类模型的分工概括为理解和执行。前者读懂目标并规划,后者依据环境的实时变化修正动作。
朱兴还提到,团队会探索不同机器人形态之间的迁移,把触觉与视觉、深度等输入接入统一系统,并继续对外开放研究成果。
项目代码、报告和模型下载入口可在团队公开的 GitHub 项目及其链接中找到。
