Google的机械手AI只需很少的训练数据就可以学习旋转保定球

尽管我们的手部解剖学很原始，但同时使用几根手指抓握和操纵对象是人类的一个直截了当的问题。但是机器人要艰难得多。那是因为诸如用铅笔在纸上书写之类的任务需要物理模型来指导将力施加到目标对象上，以及反复建立和断开接触。并且对于解决右手操作问题的常规方法，通常难以精确地生成这样的模型。
因此，Google Brain的研究人员追求一种新颖的机器人任务计划技术，该技术涉及深度动力学模型或DDM。他们声称，他们的方法(本周在Arxiv.org上发布的预印本论文(“用于学习敏捷操作的深度动力学模型”)中描述了该方法，使机械手可以仅用四个小时的实际数据来操纵多个对象。
它建立在AI研究的丰富基础上，致力于研究机器人的手部操纵问题，其中包括腾讯最近的一项研究，该研究调查了五指魔方的立方体求解器。另外，OpenAI研究人员于去年7月详细介绍了一种系统，该系统能够以最先进的精度指导手抓握和操纵对象。去年9月，麻省理工学院CSAIL小组提出了一种名为“密集物体网”的计算机视觉系统，该系统使机器人能够检查，视觉理解和操纵他们从未见过的物体。就其本身而言，Google于今年早些时候与哥伦比亚普林斯顿大学和麻省理工学院的研究人员合作，开发了一种被称为TossBot的捡拾机器人，该机器人学会了将物体抓握并扔入其“自然范围”之外的盒子中。
“无需模型的[机器学习]…方法可以学习在复杂的[机器人操纵]任务上能达到良好性能的策略。 […]但是……当需要高度灵活性时，这些最先进的算法就会遇到困难。”合著者写道。 “ [C]复杂的联系动态和任务失败的可能性很大，使整体技能更加困难。无模型方法还需要大量数据，使其难以在现实世界中使用……在这项工作中，我们旨在突破这种任务复杂性的界限。”
为此，团队的方法将他们描述为“不确定性”的AI模型与最新的轨迹优化相结合。强化学习(一种算法培训技术，采用奖励将软件策略推向目标)，有助于教导系统细微的手和对象交互。计算每个动作是跨多个机器学习模型的平均预测奖励，该模型用于优化候选动作序列。手只执行第一个动作，然后接收更新的状态信息并在接下来的步骤中重新计划。
研究人员指出，“闭环”重新计划方法具有防止错误累积的优点，从而可以减轻误差。此外，他们说，它允许在运行时与训练有素的机器学习模型无关地交换新目标。
研究人员为系统分配了解决一些实际操作难题的任务，所有这些难题都需要与对象接触并将其最终定位到目标位置。最困难的一项是将两个保定球绕着手掌旋转而不会掉落，但研究人员的模型令人印象深刻地设法仅使用100,000个数据点(或2.7小时)的数据来解决该问题。
在一个单独的实验中，该团队重新调整了在保定任务中训练的模型的用途，而无需进行额外的培训即可完成其他任务，包括将单个球移动到机械手的目标位置，并执行顺时针旋转而不是学习逆时针旋转。 (有问题的手是“影子手”，它的手腕带有两个已激活的关节，外加中指和无名指，每个中指和无名指都有三个已激活的关节和一个未激活的关节，还有一个小手指和拇指，有五个已激活的关节。)它成功地将两个球旋转了90度和180度，而没有将它们从相机捕获的两个小时的真实数据中掉落，成功率分别约为100%和54%。
在旨在研究其系统灵活性的后续测试中，该团队在模拟环境中进行了手写体实验。他们说，该方法将建模与特定于任务的控制分离，从而可以跨行为进行概括，而不是发现并记住特定任务或动作的答案。
该论文的合著者写道：“基于深度模型[强化学习]的方法挑战了通用机器学习社区的观念，即模型难以学习且尚未提供像无模型方法一样令人印象深刻的控制结果。” 。 “在我们的灵巧操作任务模拟套件中，[在学习速度和最终性能方面，它始终优于这些先前方法，经常解决那些先前方法无法做到的灵活任务……就我们所知，本文首次证明了这一点。深层神经网络模型确实可以利用高维操纵器，包括高效地利用样本，自动发现精细的运动技能，其中包括只用……小时的真实数据训练的真实灵巧手。”
研究人员打算尽快将代码开源。