斯坦福大学研究人员推出优化器 Sophia，可高效低成本训练大模型

据站长之家 7 月 26 日报道，斯坦福大学的研究人员开发了一种名为 Sophia 的新型优化器，可将语言模型的预训练时间缩短一半。相比于 Adam 优化器，Sophia 可以更快地解决语言模型的问题。Sophia 通过轻量级估计对角 Hessian 矩阵作为二阶优化器的预条件。在更新之后，通过取梯度的平均值除以估计 Hessian 的平均值来进行元素级别的剪切。此外，Sophia 还可以适应语言建模任务中的大参数变化。

原文链接

—-

编译者/作者：东寻

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。