新基建下AI普及率提升空间侠将利用联邦学习助力构建AI新世界

你能想象未来五年甚至十年以后，哪个行业不会被人工智能带来巨大改变吗?——显然，各行各业都在借力人工智能，人工智能已经成为这个时代绕不开的话题。普华永道曾预测，到2030年，人工智能每年将为全球经济贡献16万亿美元。而联邦学习作为有可能大大改进人工智能的机器学习框架，有望为全球数字经济贡献更多的更智能的力量。

联邦学习的背景

随着大数据的进一步发展，重视数据隐私和安全已经成为了世界性的趋势。同时，大多数行业数据呈现数据孤岛现象，如何在满足用户隐私保护、数据安全和政府法规的前提下，进行跨组织的数据合作是困扰AI从业者的一大难题。同时，数据孤岛、小数据、用户隐私的保护等导致数据的割裂，让人工智能很难发挥出价值。

为了解决这一问题，在2016年谷歌率先提出了联邦学习概念，主要用来解决联合存在于多个终端（例如移动手机）中的数据进行中心化模型训练的问题，并应用在输入法改进等场景，目的在于通过对保存在大量终端的分布式数据开展训练学习一个高质量中心化的机器学习模型，解决数据孤岛的问题。

联邦学习是什么

联邦机器学习(Federated machine learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个人工智能机器学习框架，在此框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，让参与方在不共享数据的基础上联合建模，从技术上打破数据孤岛，实现人工智能协作。

联邦学习的三种模式

1、水平/横向联邦学习

两个数据集的用户 ( U1, U2, … ) 重叠部分较大，而用户特征 ( X1, X2, … ) 重叠部分较小；是指当两个数据集的用户不同，重叠较少，但用户特征重叠较多时，则把数据集按照横向（即用户维度）切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。

2、垂直/纵向联邦学习

两个数据集的用户特征 ( X1, X2, … ) 重叠部分较大，而用户 ( U1, U2, … ) 重叠部分较小是指两个数据集的用户特征重叠较少，但它们却有较多的重叠用户，就把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。

3、联邦迁移学习

通过联邦学习和迁移学习，解决两个数据集的用户 ( U1, U2, … ) 与用户特征重叠 ( X1, X2, … ) 部分都比较小的问题。如果两个数据集既不重叠用户特征，又不重叠用户，则利用迁移学习的算法，把这两方数据模型的本质挖掘出来，把抽象的模型加以聚合，在聚合的过程中还能保护用户隐私。

空间侠未来要接入的联邦学习模式为联邦迁移学习，联邦迁移学习让联邦学习更加通用化，可以在不同数据结构和不同机构发挥作用，没有领域和算法限制，同时具有模型质量无损、保护隐私和确保数据安全的优势。

联邦学习现状与未来

自从谷歌提出联邦学习后，之后的相当一段时间里，联邦学习一直处于理论研究的阶段，并没有太多落地的案例。因为技术成熟度不够，谷歌提出的联邦学习模型中，需要有一个中心服务器，负责收集各方训练好的本地模型进行聚合，那么问题就在于这个中心服务器是否可信可靠？

空间侠的分布式联邦学习则突破了以上问题，在联邦学习系统下，各个数据源方进行数据预处理，共同建立学习模型，并将输出结果反馈给用户。空间侠支持海量互联网用户分布式参与对用户有价值的联合建模，在个人隐私数据均不出个人终端设备的情况下实现有价值的数据应用，提升业务的竞争力。同时，不需要中心服务器即可保证可信可靠。

空间侠中的联邦学习的特征

在加密状态下找到共有用户，这样彼此都不知道数据对应的关键用户信息，无需共享原始数据的前提下，用这部分数据来提取特征，并在自己的服务器上进行训练和调参，既遵守了隐私保护法规，又能够补充自己不具备的数据信息，提升双方模型的能力，使得新基建所需的数据利用率得到大幅提升。

1、数据隔离：联邦学习的整套机制在合作过程中，数据不会传递到外部；

2、无损：通过联邦学习分散建模的效果和把数据合在一起建模的效果对比，几乎是无损的；

3、对等：合作过程中，合作双方是对等的，不存在一方主导另外一方；

4、共同获益：无论数据源方，还是数据应用方，都能获取相应的价值。

空间侠未

来联邦学习赋能的关键领域

未来社会治理和监管会有四方面的变化，自动化+规模化+定量化+客观化，届时人工智能和大数据将会发挥越来越大的作用，人工智能最重要的问题在于认知能力——理解周围的情况。围绕这一观点，空间侠将大力促进联邦学习、大数据在城市治理、金融监管、环境治理等方面的真实应用，如，物联网的智慧家居和无人驾驶，让机器联合自主学习，相对于本地建模进一步提升算法准确率；如，金融领域的银行监管，联合反洗钱建模，并进行信贷风控建模和权益定价建模。

空间侠未来联邦学习前景

联邦学习仍处于发展阶段，在具体实践中仍需要慢慢摸索，在融合多维数据的前提下如何更大程度的保障数据安全。但不可否认的是，未来在数据的规模越来越大，数据安全的越来越被重视的趋势下，联邦学习一定会成为AI和智慧城市建设中不可或缺的赋能者。

当未来数据能够大范围共享和共用时，必定在大数据领域还会催生出新的细分行业，以及新的独角兽企业。届时，空间侠联邦学习将有无限用武之地，让AI和大数据高效发展，登上数字时代大舞台。

—-

编译者/作者：UtiSpace空间侠

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。