玩币族移动版

玩币族首页 > 区块链资产 >

中国科学院院士何积丰:大模型的主要安全挑战在隐私保护和价值观对齐

据《科创板日报》9 月 7 日报道,中国科学院院士何积丰在 2023 Inclusion?外滩大会上表示,大模型的主要安全问题一是在隐私方面,大模型训练过程中涉及大量用户个人信息和数据,使用过程涉及很多用户私密信息,这些信息没有受到应有的隐私保护,生成能力让隐私泄露的方式变得多样化,隐私保护更加困难。二是在对齐方面,需要让系统的价值观和人类价值观一致,使其符合设计者的利益和原则,不会产生意外的有害结果。但人类价值观是多元且动态变化的,而且大模型的“有用性”和“无害性”存在冲突,这导致对齐成为复杂的跨学科研究问题。目前,反馈强化学习是实现对齐的技术途径,通过反馈给模型不同的奖励信号,引导模型的高质量输出;基于给大模型提供明确的原则,系统自动训练模型,对所有生成的输出结果提供初始排序。

原文链接

知识: AIGC