开源大模型 Falcon 180B 登顶 Hugging Face 排行榜
时间:2023-09-07 来源:区块链网络 作者:Yangz
据新智元 9 月 7 日报道,开源大模型 Falcon 180B 登顶 Hugging Face 排行榜,评分 68.74 分,超越 LlaMA 2(67.35)。在基准测试中,Falcon 180B 在推理、编码、熟练度和知识测试各种任务中,一举击败 Llama 2。甚至,Falcon 180B 能够与谷歌 PaLM 2 不差上下,性能直逼 GPT-4。对此,英伟达高级科学家 Jim Fan 表示质疑,称 Falcon-180B 的训练数据中,代码只占 5%,且没有编码基准数据。 此前,Falcon 已经推出了三种模型大小,分别是 1.3B、7.5B、40B。官方介绍,Falcon 180B 是 40B 的升级版本,由阿布扎比的全球领先技术研究中心 TII 推出,可免费商用。对于训练过程,Falcon 180B 基于亚马逊云机器学习平台 Amazon SageMaker,在多达 4096 个 GPU 上完成了对 3.5 万亿 token 的训练。 原文链接 |
知识: AIGC