meta|Meta开放Project Aria Pilot数据集，未来将开发实时3D地图( 二 ) 3d地图|ar眼镜|ai

Project Aria传感器细节
Meta还公开了Aria眼镜所配备的传感器，不同的传感器负责收集不同的数据，其中包括：

一个110°FOV的滚动快门RGB摄像头；
两个150°FOV全局快门单摄（用于SLAM和手势追踪）；
两个80°FOV全局快门单摄（配备IR光源，用于眼球追踪）；
两个1KHz IMU+气压计+磁力计+环境传感器；
七个48KHz空间麦克风；
一个1Hz GPS模块。

此外还配备眼球追踪模块，主要用于校正佩戴者的注视点，也可以加速人与物体交互的研究。

除了图像外， Project Aria也收集语音数据，因此Meta在Aria Pilot数据集中也加入了语音转文本注释。这样的数据可以训练算法来预测对话轮换，以及多人对话转写。

数据的用途
应用场景方面， Aria Pilot数据集可应用于多种研究领域，包括相机重定位、场景重建等机器感知和AI技术，而这些研究将成为改善AR设备的关键。细节方面， Project Aria通过收集第一人称视频数据，可帮助Meta构建实时3D空间地图等软件，也有助于推动AR眼镜的硬件迭代。此外，也可以帮助开发者、科研人员探索AR在真实世界的潜在用途。
Meta表示：Project Aria的目标是，通过AR眼镜等产品，将计算设备融入日常生活中，不干扰人的日常互动、任务执行、运动等等。同时，进一步增强周围的物理世界，使得人机交互设计和体验更加人性化。

同时，第一人称视频数据也有望用来构建实时3D地图，以帮助视觉助手定位物品，执行快速找钥匙等任务。 Meta表示：未来的AR设备需要更具感知力，才能发挥真正的价值。而为了让AR设备了解她与人、周围物体之间的关系，分析当下的情境，将需要基于物理环境的3D地图。

据了解， Magic Leap、HoloLens等AR设备通过实时3D空间扫描来动态更新场景结构/布局，但这种方式不仅耗电，还难以规模化。如果开发一个大规模的3D地图，将有助于加速AR眼镜理解周围环境的速度。

Meta开发的实时3D地图（LiveMaps）使用计算机视觉来识别环境并进行定位显示。利用LiveMaps功能， AR眼镜将可以有效查看、分析、了解周围世界，为用户更好的服务。此外， LiveMaps将实时更新，帮助AR眼镜追踪街道变化等信息。 Project Aria的目的之一，就是测试LiveMaps的实际应用效果。

Meta指出， AR设备和体验将加深人与环境、事物之间的联系，并提供更多实用功能和信息，减少低头看手机的时间。 Meta计划构建一个以人为本的AR生态系统，设计出透明、有意义、考虑周到、人性化的技术。参考：Meta