中国大模型语料数据联盟开源发布高质量多模态语料“书生?万卷”
时间:2023-08-14 来源:区块链网络 作者:Yangz
据金十 8 月 14 日报道,继今年 7 月在 2023 世界人工智能大会发起成立“中国大模型语料数据联盟”,上海人工智能实验室(上海 AI 实验室)于今日宣布,联合语料数据联盟成员单位,共同开源发布“书生?万卷”1.0 多模态预训练语料。“书生?万卷”1.0 目前包含文本数据集、图文数据集、视频数据集三部分,本次开源的数据总量超过 2 TB。该语料数据包含超过 5 亿个文本,2200 万个图文交错文档,1000 个节目影像视频,具备多元融合、精细处理、价值对齐、易用高效等四大特征。 原文链接 |
知识: AIGC