中国科学院院士何积丰：大模型的主要安全挑战在隐私保护和价值观对齐

据《科创板日报》9 月 7 日报道，中国科学院院士何积丰在 2023 Inclusion?外滩大会上表示，大模型的主要安全问题一是在隐私方面，大模型训练过程中涉及大量用户个人信息和数据，使用过程涉及很多用户私密信息，这些信息没有受到应有的隐私保护，生成能力让隐私泄露的方式变得多样化，隐私保护更加困难。二是在对齐方面，需要让系统的价值观和人类价值观一致，使其符合设计者的利益和原则，不会产生意外的有害结果。但人类价值观是多元且动态变化的，而且大模型的“有用性”和“无害性”存在冲突，这导致对齐成为复杂的跨学科研究问题。目前，反馈强化学习是实现对齐的技术途径，通过反馈给模型不同的奖励信号，引导模型的高质量输出；基于给大模型提供明确的原则，系统自动训练模型，对所有生成的输出结果提供初始排序。

原文链接

—-

编译者/作者：东寻

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。