致力于研究ChatGPT等大型人工智能（AI）模型的研究人员会利用大量的互联网文本、图片和视频来训练系统。但是训练物理机器的机器人专家却面临了阻碍，即机器人数据很昂贵，而且没有大量机器人在世界各地游荡，因此很难轻易获取足够的数据，以便让机器人在动态环境（如家中）中表现出色。
有些研究人员转而采用仿真技术来训练机器人，然而即使采用此种方法，通常也需要一位平面设计师或工程师，既费力又昂贵。
据外媒报道，美国华盛顿大学（University of Washington）研究人员进行了两项新研究，介绍了AI系统。该系统采用视频或图片来创建仿真环境，以训练机器人在实际环境中执行任务，有望显著降低训练机器人在复杂环境中工作的成本。
厨房仿真环境（图片来源：华盛顿大学）
在第一项研究中，用户使用智能手机快速扫描空间以记录其几何结构。然后RialTo系统可以打造该空间的“数字孪生”仿真环境，用户在其中可以输入不同事物的运行方式（如打开抽屉）。随后，机器人可以在仿真环境中以略有不同的动作重复这些动作，以高效地学会此类动作。在第二项研究中，该团队打造了一个名为URDFormer的系统，其可以从互联网上获取真实环境的图片，并迅速创建出机器人可以在其中进行训练的逼真仿真环境。
华盛顿大学Paul G. Allen计算机科学与工程学院（Paul G. Allen School of Computer Science & Engineering）助理教授兼两项研究的合作资深作者之一Abhishek Gupta表示：“我们正致力于研发能够以低成本从现实世界过渡到仿真环境的系统。此类系统可以在仿真场景中训练机器人，从而让机器人能够在物理空间中更高效地运行。这对于保证安全性非常有用，有望扩大机器人的访问范围。如果能够通过手机扫描的方式让机器人在家中执行任务，那么该项技术就实现了民主化。”
虽然目前许多机器人非常适合在装配线等环境中工作，但教会它们与人互动以及在结构化程度较低的环境中工作仍然是一项挑战。
该研究的首席作者、华盛顿大学艾伦学院博士生Zoey Chen表示：“例如，在工厂里，就有很多重复性的工作，这些任务可能很难完成，但一旦你为机器人编写好了程序，它就可以一遍又一遍地重复执行该任务。然而，家庭环境则是独一无二且不断变化的。这里有各种各样的物品、任务、布局，人们还在其中穿行。对机器人专家而言，这就是人工智能够真正有用的地方。”
上述两种系统以不同的方式应对此类挑战。
RialTo ——由Gupta与麻省理工学院（Massachusetts Institute of Technology）的研究团队共同打造——可允许人在环境中穿行，并拍摄下环境的几何结构和其中移动部件的视频。例如，在厨房里，人们会打开橱柜、烤面包机和冰箱。然后，该系统会使用现有的AI模型——人们会通过图形用户界面快速完成一些工作，以展示物体的移动方式——以创建一个厨房的仿真版本，并显示在视频中。虚拟机器人通过在仿真环境中反复尝试诸如打开烤箱之类的任务，不断试错，以训练自己，此种方法被称为强化学习。通过在仿真环境中进行该过程，该机器人在该任务的执行能力得到提升，并可以应对环境中的干扰或变化（如放在烤面包机旁边的杯子）。然后，该机器人可以将此类学习成果转移到物理环境中，在此种环境中，其准确度几乎可以与在真实厨房中接受过训练的机器人相媲美。
另一个系统URDFormer更注重快速、廉价地生成大量通用的厨房仿真环境，而不太关注单个厨房的相对精确性。URDFormer扫描互联网图片，并将其与现有模型（此类模型跟厨房抽屉和橱柜可能移动的方式有关）配对。然后，该系统可以从最初的现实世界图像中预测出一个仿真场景，让研究人员能够以快速且低成本的方式，在各种环境中训练机器人。不过，此种方式的代价是此类仿真环境的准确性明显低于RialTo系统生成的仿真环境。
Gupta表示：“这两种方法可以互补。URDFormer在预先训练数百种场景时非常有用，而如果你已经预先训练了一个机器人，而且想将其部署到某人的家中，且成功率要达95%，RialTo系统就会特别有用。”
展望未来，RialTo团队希望能够将其系统部署到人们家中（目前主要在实验室中进行测试），Gupta表示，他希望能够将少量的现实世界训练数据融入到该系统中，以提高其成功率。
“希望能够仅凭少量的现实世界数据就能解决此类问题。不过，我们仍需要弄清楚如何以最好的方式将从现实世界中直接收集到的昂贵数据与在仿真环境中收集到的廉价且略有偏差的数据结合在一起。”
