阿里大模型又开源！能读图会识物，基于通义千问7B打造，可商用

来源：量子位

继通义千问-7B（Qwen-7B）之后，阿里云又推出了大规模视觉语言模型Qwen-VL，并且一上线就直接开源。

具体来说，Qwen-VL是基于通义千问-7B打造的多模态大模型，支持图像、文本、检测框等多种输入，并且在文本之外，也支持检测框的输出。

举个????，我们输入一张阿尼亚的图片，通过问答的形式，Qwen-VL-Chat既能概括图片内容，也能定位到图片中的阿尼亚。

测试任务中，Qwen-VL展现出了“六边形战士”的实力，在四大类多模态任务的标准英文测评中（Zero-shot Caption/VQA/DocVQA/Grounding）上，都取得了SOTA。

开源消息一出，就引发了不少关注。

具体表现如何，咱们一起来看看~

先来整体看一下Qwen-VL系列模型的特点：

按场景来说，Qwen-VL可以用于知识问答、图像问答、文档问答、细粒度视觉定位等场景。

比如，有一位看不懂中文的外国友人去医院看病，对着导览图一个头两个大，不知道怎么去往对应科室，就可以直接把图和问题丢给Qwen-VL，让它根据图片信息担当翻译。

再来测试一下多图输入和比较：

虽然没认出来阿尼亚，不过情绪判断确实挺准确的（手动狗头）。

视觉定位能力方面，即使图片非常复杂人物繁多，Qwen-VL也能精准地根据要求找出绿巨人和蜘蛛侠。

技术细节上，Qwen-VL是以Qwen-7B为基座语言模型，在模型架构上引入了视觉编码器ViT，并通过位置感知的视觉语言适配器连接二者，使得模型支持视觉信号输入。

具体的训练过程分为三步：

研究人员在四大类多模态任务（Zero-shot Caption/VQA/DocVQA/Grounding）的标准英文测评中测试了Qwen-VL。

结果显示，Qwen-VL取得了同等尺寸开源LVLM的最好效果。

另外，研究人员构建了一套基于GPT-4打分机制的测试集TouchStone。

在这一对比测试中，Qwen-VL-Chat取得了SOTA。

如果你对Qwen-VL感兴趣，现在在魔搭社区和huggingface上都有demo可以直接试玩，链接文末奉上~

Qwen-VL支持研究人员和开发者进行二次开发，也允许商用，不过需要注意的是，商用的话需要先填写问卷申请。

项目链接：

https://modelscope.cn/models/qwen/Qwen-VL/summaryhttps://modelscope.cn/models/qwen/Qwen-VL-Chat/summaryhttps://huggingface.co/Qwen/Qwen-VLhttps://huggingface.co/Qwen/Qwen-VL-Chathttps://github.com/QwenLM/Qwen-VL

论文地址：

https://arxiv.org/abs/2308.12966

—-

编译者/作者：AIGC

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。