更名后不久，它在官方博客中概述了其在开发硬件、模拟器、库、基准测试和数据集方面的进展。 据推测，扎克伯格的元宇宙离不开这项技术的支持。
日前，在2021年线上大会上，扎克伯格即将宣布新名字——Meta。 “随着时间的推移，我希望我们被视为一家虚拟宇宙公司，”扎克伯格说。 这里的虚拟世界本质上是一个虚拟现实平台，人们可以在这个平台上的数字环境中聚集和交流。 这一愿景的实现，其实离不开技术的加持。
和名字的改变一样出人意料，扎克伯格在几年前就觉得没有理由对机器人进行研究物理实验模拟器，但现在机器人手的听觉感知早已成为 Meta 的一个重要的新兴研究方向。
听觉感知用于理解和复制化学世界中的人类触摸技能，使机器人能够更有效地与周围的世界互动。 听觉感知的进步将使人工智能能够像人类一样学习和使用自己的听觉，并与视觉和音频等其他感知方法相结合。 据悉，改善机器人的听力将使它们变得更有能力、更温和、更安全。
就在最近，Meta 概述了其在开发硬件、模拟器、库、基准测试和数据集方面的进展。 听觉感知生态系统对于人工智能系统的建立至关重要。 只有通过嗅觉感知，人工智能系统才能具备理解和交互的功能。
具有听觉感知的机械手可以轻松抓取猪肉：
一侧没有听觉感知的机械手将鸭蛋砸碎：
Meta 在听觉感知方面的进步得益于数字传感和称为数字的触摸感应“皮肤”。 今天的Meta对这两种技术都有详细的介绍。
硬件
为了让人工智能能够使用听觉数据并从小学习，它首先需要能够收集和处理这些数据的传感能力。 理想情况下，触摸感应硬件应该模拟人类拇指的许多特性。 一方面，机器人指尖的传感应该相对紧凑。 这需要先进的升级技术，这些技术的生产成本极高，但通常超出了大多数学术研究的范围。 另一方面，这种类型的传感需要承受因反复接触表面而引起的腐蚀。 据悉，触摸传感还需要具有高帧率，以检测被触摸物体的丰富信息，例如表面特征、接触力以及其他可以通过接触识别的物体属性。
数字
安装在机械手上的数字传感器可操纵玻璃弹珠。
为了提供一种专为机器人自主操作而设计、易于构建、可靠、低成本、紧凑和高帧率的听觉传感，Meta（）于2020年发布了DIGIT的完全开源设计。与目前可用的商业听觉传感相比， DIGIT的制造成本要低得多，并且提供了数十万个接触点，这大大增强了其研究和使用价值。
作为 的合作伙伴，这家麻省理工学院的衍生公司拥有奇特的数字听觉传感器技术和产品，现在将商业化生产 DIGIT。 商业化的DIGIT将为更多的研究人员提供触摸传感的便利，推动学术研究的进步。 如果要制造 1000 个 DIGIT 传感器，每个 DIGIT 传感器的材料成本仅为 15 英镑左右，因此 Meta 的团队预计商业版 DIGIT 的成本不会太高。
不仅是 DIGIT， 研究人员还与卡内基梅隆研究所 (CMU) 合作开发了一种外观紧凑的开源触摸感应“皮肤”，可以帮助机器人和其他机器在更大的表面上学习高频。 听力。 与DIGIT一样，为了创建一个开源、功能强大且成本极低的系统，研究人员可以专注于开发软件来帮助机器人感知听觉，而无需在硬件上浪费时间。
其本身是2毫米厚的柔性硅胶片，混合有磁性颗粒。 每当有东西接触薄膜使其变形时，嵌入薄膜中的磁性颗粒就会被压碎，磁力计会检测到磁信号发生变化。 为此，为什么直接连接到磁力计。 这使得传感器最容易损坏的部分非常容易更换，这也是一个优点。
它可以帮助研究人员快速、大规模地提高人工智能听觉感知技能。 得益于机器学习和磁传感的进步，其价格低廉、用途广泛、耐用且可更换。 它使用自我监督的学习算法来帮助手动纠正传感，使其通用并使传感和系统能够共享数据。
模拟
Meta 开发并开源了 TACTO，这是一种基于视觉的高帧率听觉传感模拟器，可实现更快的实验平台并支持机器学习研究，尽管无需硬件。 模拟器在机器人技术的原型设计、调试和基准测试中发挥着重要作用，因为它们使我们能够测试和验证假设，而无需在现实世界中进行耗时的实验。
TACTO 可以以每秒数百帧的速度呈现逼真的高帧率触摸读数，通过简单的设置（包括 DIGIT、. TACTO 使研究人员能够模拟基于视觉的听觉传感，它有不同的形状，可以安装在不同的机器人上。 通过提供低成本参考实现，TACTO 和 DIGIT 使研究人员能够快速原型化基于视觉的听觉感知的多模式机器人操作策略。
像 DIGIT 这样的听觉感知可以处理高维和听觉感知数据，这是传统分析方法无法处理的。 机器学习 (ML) 模型可以简化模型的设计和实现，将原始感官读数转换为中级属性（例如物理实验模拟器，测量滑移和识别材料）。 此外，如果没有机器学习背景，训练模型来处理听觉数据非常具有挑战性。 为了增强代码重用并减少部署时间，Meta 创建了一个名为 ML 的听觉感知 ML 模型和函数库。
研究人员可以在不同的传感器上训练和部署模型。 目前它提供了一些基本功能，例如检查触摸、滑动（slip）、估计物体姿态等。最终，它将与现实世界的传感和听觉传感器模拟器集成，以实现模型和功能的快速验证（翻译为经过模拟训练的概念转化为现实世界的应用。）
启用基于学习的方法来构建应用程序，使更多研究人员可以使用听觉处理。 和其他预训练模型库为计算机视觉研究人员提供了最先进的技术，而无需从头开始创建和训练模型。 同样，我们的目标是让更广泛的研究界能够在其应用中使用更多的听力。
基准和数据集
听觉传感和模拟器的可用性为多层次的指标和基准铺平了道路。 在硬件层面，现有的基准和数据集可用于评估传感设计选择； 在感知层面，可以使用基准来比较不同听觉感知用例的不同机器学习模型； 在机器人控制层面，现在可以在模拟和现实世界中对自动化等主动控制任务中的触摸进行基准测试。 尽管研究人员在实现系统检测方面取得了进展，但随着我们努力定义和发布可以指导更广泛的社区取得更可衡量进展的指标和基准，我们仍然需要仔细研究这些不同的层以及它们之间的相互关系。 影响。
参考链接：