玩币族移动版

据新智元 8 月 11 日消息，有两篇研究称，GPT-4 在推理方面表现不尽人意。来自 MIT 的校友 Konstantine Arkoudas 在 21 种不同类型推理集中对 GPT-4 进行了评估，并对 GPT-4 在这些问题上的表现进行了详细的定性分析。

研究发现，GPT-4 偶尔会展现出“最强大脑”的天赋，但目前来看，GPT-4 完全不具备推理能力。而另一篇来自 UCLA 和华盛顿大学的研究也发现，GPT-4 以及 GPT-3.5 在大学的数学、物理、化学任务的推理上，表现不佳。

研究人员引入了一个大学科学问题解决基础 SCIBENCH，其中包含 2 个数据集：开放数据集，以及封闭数据集。通过对 GPT-4 和 GPT-3.5 采用不同提示策略进行深入研究，结果显示，GPT-4 成绩平均总分仅为 35.8%。

原文链接