港中大联手多家研究机构,推出三维多模态模型 Point-Bind
时间:2023-09-05 来源:区块链网络 作者:东寻
据品玩 9 月 5 日报道,香港中文大学近日联手上海 AI 实验室以及华中科技大学推出了一款三位多模态模型 Point-Bind。据研究团队表示,Point-Bind 将点云与二维图像、语言、音频和视频对齐。在 ImageBind 的指导下,研究团队在三维和多模态之间构建了一个联合嵌入空间,实现了许多有前景的应用,例如任意到三维生成、三维嵌入运算和三维开放世界理解。 在此基础上,研究团队还推出了首个遵循三维多模态指令的三维大语言模型 Point-LLM。通过有效的参数微调技术,Point-LLM 将 Point-Bind 的语义注入预训练的 LLM,使其不需要三维指令数据,就能获得卓越的三维和多模态问题解答能力。 原文链接 |
知识: AIGC