图像绑定：跨六种模式的整体 AI 学习 9月 2023， <> 当人类从世界吸收信息时，我们天生会使用多种感官，比如看到繁忙的街道，听到汽车发动机的声音。今天，我们引入了一种方法，使机器更接近人类同时、整体和直接从许多不同形式的信息中学习的能力，而无需明确的监督（组织和标记原始数据的过程）。我们已经构建并正在开源ImageBind，这是第一个能够绑定来自六种模式的信息的AI模型。该模型学习单个嵌入或共享表示空间，不仅适用于文本、图像/视频和音频，还适用于记录深度 （3D）、热（红外辐射）和惯性测量单元 （IMU） 的传感器，这些传感器计算运动和位置。ImageBind 为机器提供了全面的理解，将照片中的对象与它们的声音、3D 形状、暖或冷以及它们的移动方式联系起来。 ImageBind...