- LingBot-Touch 是一款开源触觉基础模型，提升机器人触觉感知能力。
- 该模型支持三种感知模态，能共享和重用触觉信息。
- 模型在多项现实操作测试中显示出成功率显著提升。
- Robbyant 提供两种模型大小以平衡感知能力和计算需求。
Robbyant，作为蚂蚁集团旗下的具身人工智能公司，已开源 LingBot-Touch，这是一款旨在提升机器人触觉感知能力的触觉基础模型。该模型在近 5,000 小时的实际触觉数据上进行了预训练，支持三种感知模态：磁性触觉、视觉触觉及压阻感测。它将来自不同传感器的信号转换为统一的触觉表示，从而使不同的机器人手及动作模型能够共享和重用触觉相关的信息。该公司表示，这项能力可能改善精细操作任务，包括翻页、打开瓶盖及识别麻将牌。
LingBot-Touch 是一个开源的触觉基础模型，旨在帮助机器人解读不同类型传感器的物理接触。该模型针对机器人操作中的一个主要挑战，即在切换传感器、灵巧手及控制模型时，使机器人能够保留和重用触觉感知能力。现有的商用触觉传感器使用不同的技术，包括磁性触觉、视觉触觉及压阻感测。每种方法各有优缺点、成本及应用场景，因此不太可能出现单一感知技术主导市场的情况。然而，这些不同的感知原理即使在检测相同的物理接触时也会产生不兼容的原始信号。
针对单一传感器类型进行训练的模型在转移知识到另一种类型时可能会遇到困难，这使得开发者每次硬件变更时都需要收集新的数据集、重新训练模型及调整系统。
克服传感器不兼容问题
LingBot-Touch 尝试克服这一限制，将异质触觉信号转换为共享表示。其架构使用独立的编码通道来处理来自不同感知技术的数据，然后将不同传感器布局的接触点映射到一个共同的手指尖坐标空间。共享模型随后学习解释接触位置、力量分布及这些属性随时间变化的情况。最终产生的统一触觉标记使不同的机器人手和动作模型能够访问和重用相同的学习触觉信息。该架构还允许在训练过程中结合来自佩戴触觉手套的人类数据及远程操作的机器人手数据，这有助于开发者在不必为每种传感器配置建立独立感知系统的情况下，跨硬件平台转移触觉知识。
该公司表示，这一架构还能够容纳新兴的触觉感测技术。
实际操作测试显示成效
Robbyant 通过 26 项涉及两个灵巧机器人手 Sharpa Wave 和 XHand 的现实操作测试对该模型进行了评估。四个动作模型—LingBot-VLA、π0.5、Diffusion Policy 和 TRex—在使用 LingBot-Touch 时，任务成功率的平均提升约为 14 至 26 个百分点。一项测试涉及使用 T-Rex 动作模型控制 Sharpa Wave 以打开瓶盖。
在未使用触觉输入的情况下，机器人的成功率为 56.25%，当原始传感器信号直接输入动作模型时，成功率提升至 62.5%。当 LingBot-Touch 在将触觉信息传递给策略之前进行处理时，成功率达到 90%。团队还测试了该模型是否能将其能力转移至不同的硬件。XHand 使用的磁性触觉传感器不在 LingBot-Touch 的预训练数据中，而是通过人类收集的手套数据学习了磁性触觉信息。
Robbyant 保持基础模型的参数不变，只使用 XHand 演示数据训练动作模型，以评估跨硬件的重用。
该公司提供两种模型大小，以平衡感知能力和计算需求。所有 26 项现实测试都使用 LingBot-Touch-Tiny，该模型包含约 5.3 百万个参数。当与 LingBot-VLA、π0.5 和 T-Rex 集成时，仅增加其总模型大小约 0.13 至 0.16%。Robbyant 表示，随着其预训练数据集接近 5,000 小时，较大模型也显示出进一步改进的潜力。
技术报告及源代码可通过 Hugging Face 和 GitHub 获取。
项目 规格 模型名称 LingBot-Touch-Tiny 参数数量 约 5.3 百万 成功率提升 14 至 26 百分点
LingBot-Touch 对机器人技术的影响
LingBot-Touch 的开源设计不仅提升了机器人触觉感知能力，还解决了不同传感器间的数据不兼容问题。这一模型的成功实施，显示了跨硬件平台的触觉知识转移潜力，对未来机器人技术的发展具有重要意义。随着机器人应用范围的扩大，LingBot-Touch 可能成为提升机器人灵活性和精确度的关键技术，进一步推动智能机器人市场的进步。