据 TechWeb 9 月 19 日报道,国内权威评测体系 FlagEval(天秤)公布最新 9 月榜单大模型评测结果。基于最新 CLCC v2.0 主观评测数据集,FlagEval(天秤)9 月榜重点评测了近期大热的 7 个开源对话模型。从整体结果来看,Baichuan2-13 b-chat、Qwen-7 b-chat、Baichuan2-7 b-chat 名列前茅,准确率均超过 65%。 在基座模型榜单中,Baichuan 2、Qwen、InternLM、Aquila 的客观评测结果表现均超越同参数量级的 Llama 及 Llama2 模型。在 SFT 模型榜单中,Baichuan 2-13 B-chat、YuLan-Chat-2-13 B、AquilaChat-7 B 名列前三。在客观评测两个榜单中,Baichuan 2 均表现出优异性能,基础模型测试在中英文领域均全面超越 Llama 2。 据悉,FlagEval(天秤)是北京智源人工智能研究院推出的大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能。FlagEval 大语言模型评测体系当前包含 6 大评测任务,近 30 个评测数据集,超 10 万道评测题目。 原文链接 —- 编译者/作者:东寻 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
FlagEval 大语言模型评测 9 月榜:Baichuan 2 排名第一
2023-09-19 东寻 来源:区块链网络
LOADING...
相关阅读:
- 华自科技:与长沙昇腾人工智能创新中心完成算力服务签约2023-09-19
- 又一笔GenAI大钱:企业级文案“化妆师”Writer一举拿下9位数融资2023-09-19
- 腾讯云联合信通院发布“金融行业大模型标准”2023-09-19
- 微软 AI 团队意外泄露包含 3 万多条内部信息在内的大量数据2023-09-19
- IBM 承诺到 2026 年底将培训 200 万名 AI 人才2023-09-19