SceneBind: Binding What and Where Across Vision, Audio and Language
SceneBind 是一种全模态场景表示方法，联合了视觉、音频和语言的语义与3D空间理解。现有全模态编码器擅长实例级语义（what is present）但缺乏显式空间结构（where it is）。SceneBind 通过将每个场景表示为语义-空间实体，结合全局语义嵌入和以对象为中心的语义-空间槽，显式捕获对象级语义、空间属性和不确定性。SceneBind Matching 是一种语义-空间匹配方案，集成全局场景相似性与对象对齐，支持跨模态场景检索和对象定位。为训练和评估 SceneBind，作者策划了一个新的真实世界双耳视听数据集，包含结构化语义和空间标注，并提出对齐跨模态语义和空间信号的训练协议。SceneBind 与大规模预训练语义编码器兼容，仅添加少量额外令牌的轻量级空间建模。它在场景和空间检索任务上达到最先进水平。
Development
- First ReportSceneBind: Binding What and Where Across Vision, Audio and LanguagearXiv cs.AI
- Current Assessment该工作推动多模态理解从实例级语义向结构化场景表示演进，可能影响机器人、AR/VR和自动驾驶等需要空间感知的应用。AIGC.NEWS · analysis
SceneBind 是一种全模态场景表示方法，联合了视觉、音频和语言的语义与3D空间理解，通过语义-空间实体和匹配方案实现跨模态场景检索和对象定位，并在真实世界双耳视听数据集上训练和评估。
SceneBind 通过语义-空间槽显式编码对象级空间属性，弥补了现有全模态编码器缺乏空间结构的不足。其轻量级设计（仅少量额外令牌）使其易于集成到现有预训练模型中。
该工作推动多模态理解从实例级语义向结构化场景表示演进，可能影响机器人、AR/VR和自动驾驶等需要空间感知的应用。
SceneBind 提升了跨模态场景检索和对象定位的准确性，可赋能需要精确空间理解的产品，如智能家居、虚拟现实和机器人导航。
可验证的下一信号：SceneBind 方法是否被集成到主流多模态模型（如 CLIP 或 ImageBind）中，或是否出现基于 SceneBind 的下游应用（如场景编辑或导航）。