清华联手哈佛团队推出全新AI系统:能更准确描述3D场景

近日，清华大学携手哈佛大学共同开发了名为LangSplat的全新AI系统，能够在三维空间内高效、准确地搜索开放式词汇。LangSplat是第一个基于3DGS的3D语言场方法，特别引入了SAM和CLIP，在开放词汇3D对象定位和语义分割任务上优于最先进的方法，同时比LERF快199倍。加州大学伯克利分校的研究人员于2023年3月展示了语言嵌入式辐射场（LERF），将语言嵌入从现成模型（如CLIP）嵌入到NeRF中，从而在不需要专门培训的情况下，在三维环境中准确识别物体。例如在书店的NeRF环境中，用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、机器人的视觉训练以及人类与三维世界的互动。不过LERF的短板在于不适合实时搜索，且搜索结果准确率低。LangSplat为了解决这个短板，使用3DGaussians构建3D语言场，避免了NeRFs所需的复杂渲染过程，在1440x1080像素的分辨率下，LangSplat比LERF快199倍。团队展示了泡有茶叶的茶杯，LERF标记的是两个杯子，而LangSplat标记的是杯子中的液体。在另一个例子中，它可以标记一碗拉面汤中的单个配料。LangSplat为了形成3D语言场，使用Meta的“分段任意模型”（SegmentAnythingModel）从场景的多幅图像中学习分层语义。具体来说，图像会被分解成边界清晰的不同物体掩码，而物体又会被进一步分解成整体、部分和子部分。然后，CLIP对学习到的遮罩进行处理，其嵌入会训练一个自动编码器，然后用于训练LangSplat的3DGaussianSplatting。研究人员使用LERF和3DOVS两个数据集对LangSplat进行测试，结果显示总体准确率分别达到了84.3%和93.4%，而LERF分别为73.6%和86.8%。