【深度研究】平衡 AI/ML的力量：ZK 和区块链的作用

原文：sevenxventures

编译：GWEI Research

由 Hill Tan 和 Grace Deng 所著，SevenX Ventures Research

我们要特别感谢 Brian Retford, Sun Yi, Jason Morton, Shumo, Feng Boyuan, Daniel, Aaron Greenblatt, Nick Matthew, Baz, Marcin, 和 Brent 他们对这篇文章提供的宝贵见解，反馈和审阅。

对于我们这些生活在加密货币之下的人来说，人工智能已经火了一段时间。有趣的是，没人想看到一个AI失控。区块链被发明出来就是为了防止美元失控，所以我们可能会尝试一下。此外，我们现在有了一个新的叫做ZK的技术，它被用来确保事情不会出错。我只是假设普通人对区块链和ZK有一点了解。然而，为了驯服AI这个野兽，我们必须理解AI是如何工作的。

第一部分：易懂的机器学习简介 AI已经有了几个名称，从“专家系统”到“神经网络”，然后是“图形模型”，最后是“机器学习”。所有这些都是“AI”的子集，人们给它们不同的名字，我们对AI的了解也更深了。让我们深入了解机器学习，揭开机器学习的神秘面纱。

注意：现今大多数的机器学习模型都是神经网络，因为它们在很多任务上的表现优秀。我们主要将机器学习称为神经网络机器学习。

首先，让我们快速了解一下机器学习的内部工作原理：

1 .输入数据预处理：

输入数据需要被处理成可以作为模型输入的格式。这通常涉及到预处理和特征工程，以提取有用的信息，并将数据转换成适当的形式，例如输入矩阵或张量（高维矩阵）。这是专家系统的方法。随着深度学习的出现，层的概念开始自动处理预处理的工作。

2.设置初始模型参数：

初始模型参数包括多个层，激活函数，初始权重，偏置，学习率等。有些可以在训练中调整，以使用优化算法提高模型的精度。

3.训练数据：

4.获取模型的输出：

神经网络计算的输出通常是一个向量或矩阵，表示图像分类的概率、情感分析分数或其他结果，具体取决于网络的应用。通常还有另一个错误评估和参数更新模块，它允许根据模型的目的自动更新参数。

如果上面的解释看起来太晦涩，你可以看看下面使用CNN模型识别苹果图像的例子。

我们可以将上述内容总结为一个机器学习信任框架，它包括四个必须可靠的机器学习层次，以使整个机器学习过程可靠：

随着机器学习（ML）应用的爆炸式增长（复合年增长率超过20%）以及它们在日常生活中的融合程度的增加，如ChatGPT的最近流行，对ML的信任问题变得日益重要，不能被忽视。因此，发现并解决这些信任问题对于确保AI的负责任使用和防止其潜在滥用至关重要。然而，这些问题到底是什么呢？让我们深入了解。

信任问题长期以来一直困扰着机器学习，主要原因有两个：

隐私性：如前所述，模型参数通常是私有的，在某些情况下，模型输入也需要保密，这自然会在模型拥有者和模型使用者之间带来一些信任问题。

算法的黑匣子：机器学习模型有时被称为“黑匣子”，因为它们在计算过程中涉及许多难以理解或解释的自动化步骤。这些步骤涉及复杂的算法和大量数据，这些数据会带来不确定的、有时是随机的输出，使算法成为偏见甚至歧视的罪魁祸首。

在更深入之前，本文中更大的假设是模型已经“准备好使用”，这意味着它训练有素并且适合目的。该模型可能不适合所有情况，并且模型以惊人的速度改进，ML 模型的正常保质期为 2 到 18 个月不等，具体取决于应用场景。

模型训练过程存在信任问题，Gensyn 目前正在努力生成有效证据以促进这一过程。但是，本文将主要关注模型推理过程。现在让我们使用 ML 的四个构建块来发现潜在的信任问题：

上面的一些信任问题可以通过简单地上链来解决；将输入和ML参数上传到链上，模型计算上链，可以保证输入、参数和模型计算的正确性。但是这种方法可能会牺牲可扩展性和隐私性。 Giza 在 Starknet 上是这样做的，但是由于成本问题，它只支持回归这样简单的机器学习模型，不支持神经网络。 ZK 技术可以更高效地解决上述信任问题。目前ZKML的ZK通常指的是zkSNARK。首先，让我们快速回顾一下 zkSNARKs 的一些基础知识：

一个 zkSNARK 证明证明我知道一些秘密输入 w 使得这个计算的结果 f 是 OUT 是真的而不告诉你 w 是什么。证明生成过程可以概括为几个步骤：

1.制定一个需要证明的陈述：f(x,w)=true

“我已经使用带有私有参数 w 的 ML 模型 f 对这张图像 x 进行了正确分类。”

2.将语句转换为电路（Arithmetization）：不同的电路构造方法包括R1CS、QAP、Plonkish等。

与其他用例相比，ZKML 需要一个称为量化的额外步骤。神经网络推理通常在浮点运算中完成，这在运算电路的主要领域中进行仿真是极其昂贵的。不同的量化方法是精度和设备要求之间的权衡。一些电路构造方法如 R1CS 对神经网络效率不高。可以调整这部分以提高性能。

3.生成证明密钥和验证密钥

4.创建见证人：当 w=w*,f(x,w)=true

5.创建哈希承诺：见证人 w* 承诺使用加密哈希函数生成哈希值。然后可以公开此散列值。

它有助于确保私有输入或模型参数在计算过程中未被篡改或修改。此步骤至关重要，因为即使是微小的修改也会对模型的行为和输出产生重大影响。

6.生成证明：不同的证明系统使用不同的证明生成算法。

需要为机器学习操作设计特殊的零知识规则，例如矩阵乘法和卷积层，从而为这些计算提供具有亚线性时间的高效协议。

由于计算工作量太大，像 groth16 这样的通用 zkSNARK 系统可能无法有效地处理神经网络。

自 2020 年以来，出现了许多新的 ZK 证明系统来优化模型推理过程的 ZK 证明，包括 vCNN、ZEN、ZKCNN 和 pvCNN。然而，它们中的大多数都针对 CNN 模型进行了优化。它们只能应用于某些原始数据集，例如 MNIST 或 CIFAR-10。

2022 年，Daniel Kang Tatsunori Hashimoto、Ion Stoica 和 Yi Sun（Axiom 创始人）提出了一种基于 Halo2 的新证明方案，首次实现了 ImageNet 数据集的 ZK 证明生成。他们的优化主要落在算术部分，具有新颖的非线性查找参数和跨层子电路的重用。

正在对链上推理的不同证明系统进行基准测试，发现在证明时间方面，ZKCNN 和 plonky2 表现最好；在峰值证明者内存使用方面，ZKCNN 和 halo2 表现良好；而 plonky，虽然表现不错，但牺牲了内存消耗，ZKCNN 仅适用于 CNN 模型。它还正在开发一个新的 zkSNARK 系统，特别是针对带有新虚拟机的 ZKML。

7.验证证明：验证者使用验证密钥进行验证，无需见证人知晓。

因此，我们可以证明，将零知识技术应用于机器学习模型可以解决很多信任问题。使用交互式验证的类似技术可以实现类似的结果，但将需要验证方更多的资源，并可能面临更多的隐私问题。值得注意的是，根据确切的模型，为它们生成证明可能会耗费时间和资源，因此当该技术最终在实际用例中实施时，会在各个方面做出妥协。

接下来，桌子上有什么？请记住，模型提供者可能不想生成 ZKML 证明的原因有很多。对于那些有足够勇气尝试 ZKML 并且当解决方案对实施有意义时，他们可以根据他们的模型和输入所在的位置从几个不同的解决方案中进行选择：

如果输入数据在链上，Axiom 可以被视为一种解决方案：

Axiom 正在为以太坊构建一个 ZK 协处理器，以改善用户对区块链数据的访问并提供更复杂的链上数据视图。对链上数据进行可靠的机器学习计算是可行的：

如果模型上链，可以考虑 RISC Zero 作为解决方案：

RISC 零 ZKVM 是一个 RISC-V 虚拟机，它产生它执行的代码的零知识证明。使用 ZKVM，生成加密收据，任何人都可以验证它是由 ZKVM 的访客代码生成的。发布收据不会透露有关代码执行的其他信息（例如，提供的输入）。

通过在 RISC Zero 的 ZKVM 中运行机器学习模型，可以证明执行了模型中涉及的精确计算。计算和验证过程可以在用户首选环境中的链下完成，也可以在通用汇总的盆景网络中完成。

生成 ZK 证明的确切过程涉及一个以随机预言机作为验证者的交互协议。 RISC 零收据上的印章本质上是此交互协议的抄本。

如果您想直接从 Tensorflow 或 Pytorch 等常用的 ML 软件导入模型，可以考虑使用 ezkl 作为解决方案：

Ezkl 是一个库和命令行工具，用于对 zkSNARK 中的深度学习模型和其他计算图进行推理。

看起来很简单，对吧？ ezkl 的目标是提供一个抽象层，允许在 Halo 2 电路中调用和布置更高级别的操作。 Ezkl 抽象化了很多复杂性，同时保持了难以置信的灵活性。他们的量化模型有一个用于自动量化的比例因子。随着新解决方案的出现，它们支持对其他证明系统进行灵活更改。它们还支持多种类型的虚拟机，包括 EVM 和 WASM。

在证明系统方面，ezkl customs halo2 circuits通过聚合证明（通过中介将难以验证的变成容易验证的）和递归（可以解决内存问题，但很难适应halo2）。 Ezkl 还使用融合和抽象优化了整个过程（可以通过高级证明减少开销）

另外值得注意的是，相对于其他通用的zkml项目，Accessor Labs专注于提供专为全链上游戏设计的zkml工具，可能涉及AI NPC、游戏玩法自动更新、涉及自然语言的游戏界面等。

使用 ZK 技术解决 ML 的信任问题意味着它现在可以应用于更多“高风险”和“高度确定性”的用例，而不仅仅是跟上人们的谈话或区分猫的图片和狗的图片。 Web3 已经在探索很多这样的用例。这并非巧合，因为大多数 Web3 应用程序在区块链上运行或打算在区块链上运行，因为区块链的特定性质可以安全运行、难以篡改并具有确定性计算。一个可验证的行为良好的人工智能应该是一个能够在去信任和去中心化的环境中进行活动的人工智能，对吧？

许多 Web3 应用程序为了安全和去中心化而牺牲用户体验，因为这显然是他们的首要任务，并且基础设施的限制也存在。 AI/ML 有可能丰富用户体验，这肯定会有所帮助，但以前似乎不可能不妥协。现在，感谢 ZK，我们可以轻松地看到 AI/ML 与 Web3 应用程序的结合，而不会在安全性和去中心化方面做出太多牺牲。

本质上，它将是一个以无信任方式实现 ML/AI 的 Web3 应用程序（在撰写本文时可能存在也可能不存在）。通过去信任的方式，我们的意思是它是否在去信任的环境/平台中运行，或者它的操作是可证明可验证的。请注意，并非所有 ML/AI 用例（即使在 Web3 中）都需要或首选以去信任的方式运行。我们将分析在各种 Web3 领域中使用的 ML 功能的每个部分。然后，我们会识别出需要ZKML的部分，通常是人们愿意花额外的钱来证明的高价值部分。

下面提到的大多数用例/应用程序仍处于实验研究阶段。因此，它们离实际采用还很远。我们稍后会讨论原因。

Defi 是为数不多的适合区块链协议和 Web3 应用程序的产品市场之一。能够以无需许可的方式创造、存储和管理财富和资本在人类历史上是前所未有的。我们已经确定了许多 AI/ML 模型需要在未经许可的情况下运行以确保安全性和去中心化的用例。

风险评估：现代金融需要 AI/ML 模型进行各种风险评估，从防止欺诈和洗钱到发放无抵押贷款。确保这个 AI/ML 模型以可验证的方式运行意味着我们可以防止它们被操纵进入审查制度，这阻碍了使用 Defi 产品的无许可性质。

资产管理：自动交易策略对于 Tradfi 和 Defi 来说并不新鲜。已经尝试应用 AI/ML 生成的交易策略，但只有少数去中心化策略获得成功。目前 defi 领域的典型应用包括 Modulus Labs 试验的 rocky bot。

The Rocky Bot ：Modulus Labs 在 StarkNet 上创建了一个交易机器人，使用人工智能进行决策。

自动化 MM 和流动性供应：这本质上是在风险评估和资产管理方面进行的类似努力的组合，只是在涉及数量、时间表和资产类型时以不同的方式进行。关于机器学习如何用于股票市场做市的论文很多。其中一些适用于 Defi 产品可能只是时间问题。

例如，Lyra Finance 正在与 Modulus Labs 合作，通过智能功能增强他们的 AMM，以提高资本效率。

荣誉奖: Warp.cc 团队开发了一个教程项目，介绍如何部署运行训练有素的神经网络以预测比特币价格的智能合约。这属于我们框架的“输入”和“模型”部分，因为输入由 RedStone Oracles 提要提供，并且模型作为 Arweave 上的 Warp 智能合约执行。这是第一次迭代并且涉及到 ZK，所以它属于我们的荣誉奖，但在未来 Warp 团队考虑实现 ZK 部分

游戏与机器学习有很多交集：

图中的灰色区域代表我们对游戏部分的 ML 功能是否需要与相应的 ZKML 证明配对的初步评估。 Leela Chess Zero 是将 ZKML 应用于游戏的一个非常有趣的示例：

AI Agents

Leela Chess Zero (LC0)：由 Modulus Labs 打造的完全链上人工智能国际象棋棋手，与来自社区的一群人类棋手对弈。

LC0 和人类集体轮流下棋（象棋应该如此）。

LC0 的移动是使用简化的、电路友好的 LC0 模型计算的。

LC0 的举动生成了 Halo2 snark 证明，以确保没有人为策划干预。只有简化的 LC0 模型可以做出决定。

这适合“模型”部分。该模型的执行具有 ZK 证明，以验证计算未被篡改。

数据分析和预测：这是 AI/ML 在 Web2 游戏世界中的常见用途。然而，我们发现很少有理由将 ZK 实施到这个 ML 过程中。为了不直接参与该过程的太多价值，可能不值得付出努力。但是，如果使用某些分析和预测来确定用户的奖励，则可能会实施 ZK 以确保结果正确。

荣誉奖:

AI Arena 是一款以太坊原生游戏，全世界的玩家都可以在其中设计、训练和战斗由人工神经网络驱动的 NFT 角色。来自世界各地的才华横溢的研究人员竞相创建最佳的机器学习 (ML) 模型以在游戏中进行战斗。 AI Arena 专注于前馈神经网络。通常，它们的计算开销低于卷积神经网络 (CNN) 或递归神经网络 (RNN)。不过，就目前而言，模型只有在经过训练后才会上传到平台，因此值得一提。

GiroGiro.AI 正在构建一个 AI 工具包，使大众能够创建用于个人或商业用途的人工智能。用户可以基于直观和自动化的 AI 工作流平台创建各种 AI 系统。只需输入少量数据并选择算法（或用于改进的模型），用户就会在脑海中生成和利用 AI 模型。尽管该项目处于非常早期的阶段，但由于 GiroGiro 专注于 gamefi 和以虚拟世界为重点的产品，因此我们非常期待看到它能带来什么，因此它获得了荣誉奖。

在DID&social领域，web3和ml的交集目前主要在proof of humanity和proof of credentials领域；其他部分可能会发展，但需要更长的时间。

人性的证明

Worldcoin 使用一种称为 Orb 的设备来确定某人是否是一个没有试图欺骗验证的真实存在的人。它通过各种相机传感器和分析面部和虹膜特征的机器学习模型来实现这一点。一旦做出决定，Orb 就会拍摄一组人的虹膜照片，并使用多种机器学习模型和其他计算机视觉技术来创建虹膜代码，这是个人虹膜图案最重要特征的数字表示。具体报名步骤如下：

Worldcoin 使用开源的 Semaphore 零知识证明系统将 IrisHashes 的唯一性转移到用户帐户的唯一性，而无需将它们链接起来。这确保了新注册的用户可以成功领取他/她的 WorldCoins。步骤如下：

WorldCoin 使用 ZK 技术确保其 ML 模型的输出不会泄露用户的个人数据，因为它们不会相互关联。在这种情况下，它属于我们信任框架的“输出”部分，因为它确保输出以所需方式传输和使用，在这种情况下是私密的。

行动证明

Astraly 是一个建立在 StarkNet 上的基于声誉的代币分发平台，用于寻找和支持最新最好的 StarkNet 项目。衡量声誉是一项具有挑战性的任务，因为它是一个抽象概念，无法用简单的指标轻松量化。在处理复杂的指标时，通常情况下，更全面和多样化的输入会产生更好的结果。这就是为什么 Astraly 正在寻求 modulus labs 的帮助，以使用 ML 模型来提供更准确的声誉评级。

个性化推荐和内容过滤

Twitter 最近为“为你”时间线开源了他们的算法，但用户无法验证该算法是否正确运行，因为用于对推文进行排名的 ML 模型的权重是保密的。这导致了对偏见和审查制度的担忧。

然而，Daniel Kang、Edward Gan、Ion Stoica 和 Yi Sun 提供了一种解决方案，使用 ezkl 提供证据证明 Twitter 算法在不泄露模型权重的情况下诚实运行，从而帮助平衡隐私和透明度。通过使用 ZKML 框架，Twitter 可以提交其排名模型的特定版本，并发布证据证明它为给定用户和推文生成了特定的最终输出排名。该解决方案使用户能够验证计算是否正确执行，而无需信任系统。虽然要使 ZKML 更加实用还有很多工作要做，但这是提高社交媒体透明度的积极步骤。因此，这属于我们的 ML 信任框架的“模型”部分。

可以看出，ZKML 在 web3 中的潜在用例仍处于起步阶段，但不容忽视；未来随着ZKML的使用范围不断扩大，可能会出现对ZKML提供者的需求，形成下图的闭环：

ZKML 服务提供商主要关注 ML 信任框架的“模型”和“参数”部分。尽管我们现在看到的大多数与“模型”相关而不是“参数”。请注意，“输入”和“输出”部分更多地由基于区块链的解决方案解决，用作数据源或数据目的地。单独的 ZK 或区块链可能无法实现完全可信，但它们联合起来可能会做到。

Modulus Labs 的论文通过测试 Worldcoin（具有严格的精度和内存要求）和 AI Arena（具有成本效益和时间要求），为我们提供了一些关于 ZKML 应用可行性的数据和见解：

如果 Worldcon 使用 ZKML，证明者的内存消耗将超过任何商用移动硬件。如果 AI Arena 的锦标赛使用 ZKML，则使用 ZKCNN 会将时间和成本增加到 100 倍（0.6 秒对原来的 0.008 秒）。所以遗憾的是，直接应用 ZKML 技术来证明时间和证明内存使用都是不可行的。

证明大小和验证时间如何？我们可以参考 Daniel Kang 、 Tatsunori Hashimoto 、 Ion Stoica 和 Yi Sun 的论文。如下图所示，他们的 DNN 推理解决方案可以在 ImageNet（模型类型：DCNN，16 层，340 万个参数）上实现高达 79% 的准确率，同时只需 10 秒和 5952 字节的验证时间。此外，zkSNARKs 可以缩小到只需 0.7 秒即可以 59% 的准确率进行验证。这些结果表明 zkSNARKing ImageNet 规模模型在证明大小和验证时间方面的可行性。

现在主要的技术瓶颈在于时间和内存消耗的证明。在 web3 案例中应用 ZKML 在技术上仍然不可行。 ZKML 能否抓住 AI 的发展潜力？我们可以对比几个经验数据：

ML模型的发展速度：2019年发布的GPT-1模型有1.5亿个参数，而2020年最新发布的GPT-3模型有1750亿个参数，参数数量在短短两年内增长了1166倍.

ZK系统的优化速度：ZK系统的性能增长基本遵循“摩尔定律”式的步伐。?几乎每年都会推出新的 ZK 系统，我们预计证明者性能的火箭式增长将持续一段时间。

比较前沿的ML对ZK的提升幅度，前景不是很乐观。然而，随着rollup性能、ZK硬件以及基于高度结构化神经网络操作的量身定制的ZK证明系统的不断改进，希望ZKML的开发能够满足web3的需求，并从提供一些老式的机器学习功能开始第一的。

尽管我们可能很难使用区块链 + ZK 来验证 ChatGPT 提供给我的信息是否值得信赖，但我们或许能够将一些更小和更旧的 ML 模型放入 ZK 电路中。

“权力导致腐败，绝对的权力导致绝对的腐败”。凭借 AI 和 ML 令人难以置信的力量，目前还没有万无一失的方法将其置于治理之下。政府一再证明可以为后果提供后期干预或早期彻底禁止。区块链 + ZK 提供了能够以可证明和可验证的方式驯服野兽的少数解决方案之一。

我们期待在 ZKML 领域看到更多的产品创新，ZK 和区块链为 AI/ML 的运行提供安全可信的环境。我们还期望全新的商业模式会从这些产品创新中产生，因为在无需许可的加密世界中，我们不受这里首选的 SaaS 商业化模式的限制。我们期待支持更多的建设者前来，在这个“狂野西部无政府状态”和“象牙塔精英”的迷人重叠中构建他们激动人心的想法。

我们还早，但我们可能会在路上拯救世界。

参考资料：

—-

编译者/作者：录觉麟

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。