平衡 AI/ML的力量：ZK 和区块链的作用

作者：Hill Tan ， Grace Deng；SevenX Ventures Research

关于咱们这些日子在加密钱银之下的人来说，人工智能现已火了一段时刻。有趣的是，没人想看到一个AI失控。区块链被发明出来便是为了避免美元失控，所以咱们或许会测验一下。此外，咱们现在有了一个新的叫做ZK的技能，它被用来保证事情不会出错。我仅仅假设普通人对区块链和ZK有一点了解。可是，为了征服AI这个野兽，咱们有必要了解AI是怎么作业的。

榜首部分：易懂的机器学习简介 AI现已有了几个名称，从“专家体系”到“神经网络”，然后是“图形模型”，终究是“机器学习”。一切这些都是“AI”的子集，人们给它们不同的名字，咱们对AI的了解也更深了。让咱们深化了解机器学习，揭开机器学习的神秘面纱。

留意：现今大多数的机器学习模型都是神经网络，由于它们在许多使命上的体现优秀。咱们首要将机器学习称为神经网络机器学习。

那么，机器学习是怎么作业的呢？

首要，让咱们快速了解一下机器学习的内部作业原理：

1 .输入数据预处理：

输入数据需求被处理成可以作为模型输入的格式。这一般触及到预处理和特征工程，以提取有用的信息，并将数据转换成恰当的方法，例如输入矩阵或张量（高维矩阵）。这是专家体系的办法。跟着深度学习的呈现，层的概念开端主动处理预处理的作业。

2.设置初始模型参数：

初始模型参数包含多个层，激活函数，初始权重，偏置，学习率等。有些可以在练习中调整，以运用优化算法进步模型的精度。

3.练习数据：

4.获取模型的输出：

神经网络核算的输出一般是一个向量或矩阵，表明图画分类的概率、情感剖析分数或其他成果，详细取决于网络的运用。一般还有另一个过错评价和参数更新模块，它答应依据模型的意图主动更新参数。

假如上面的解说看起来太晦涩，你可以看看下面运用CNN模型识别苹果图画的例子。

1. 图画作为像素值矩阵载入模型，这个矩阵可以被表明为一个三维张量，其维度为（高度、宽度、通道）。

2. 卷积神经网络（CNN）模型的初始参数已设定。

3. 输入图画经过CNN的多个隐藏层，每一层都运用卷积滤波器从图画中提取日益杂乱的特征。每一层的输出经过一个非线性激活函数，然后进行池化以减少特征映射的维度。终究一层一般是一个全连接层，依据提取的特征发生输出猜测。

4. CNN的终究输出是概率最高的类别。这便是输入图画的猜测标签。

机器学习信任结构

咱们可以将上述内容总结为一个机器学习信任结构，它包含四个有必要牢靠的机器学习层次，以使整个机器学习进程牢靠：

第二部分：机器学习的信任问题

跟着机器学习（ML）运用的爆破式增长（复合年增长率超过20%）以及它们在日常日子中的交融程度的增加，如ChatGPT的最近盛行，对ML的信任问题变得日益重要，不能被忽视。因而，发现并处理这些信任问题关于保证AI的负责任运用和避免其潜在乱用至关重要。可是，这些问题到底是什么呢？让咱们深化了解。

缺少透明度或可证明性

信任问题长期以来一向困扰着机器学习，首要原因有两个：

隐私性：如前所述，模型参数一般是私有的，在某些状况下，模型输入也需求保密，这天然会在模型拥有者和模型运用者之间带来一些信任问题。

算法的黑匣子：机器学习模型有时被称为“黑匣子”，由于它们在核算进程中触及许多难以了解或解说的主动化进程。这些进程触及杂乱的算法和大量数据，这些数据会带来不确认的、有时是随机的输出，使算法成为偏见乃至轻视的元凶巨恶。

在更深化之前，本文中更大的假设是模型现已“准备好运用”，这意味着它练习有素而且合适意图。该模型或许不合适一切状况，而且模型以惊人的速度改善，ML 模型的正常保质期为 2 到 18 个月不等，详细取决于运用场景。

机器学习信任问题的详细分类

模型练习进程存在信任问题，Gensyn 现在正在尽力生成有用依据以促进这一进程。可是，本文将首要重视模型推理进程。现在让咱们运用 ML 的四个构建块来发现潜在的信任问题：

• Input:

• 数据源不可篡改

• 私家输入数据不会被模型运营商盗取（隐私问题）

• Model:

• 该模型本身如所宣传的那样准确。

• 核算进程正确完结。

• Parameters:

• 模型的参数未更改或与宣传的相同。

• 模型参数对模型一切者来说是宝贵的财物，在此进程中不会泄露（隐私问题）

• Output:

• 输出可证明是正确的（可以经过上述一切元素进行改善）

ZK怎么运用于ML信任结构

上面的一些信任问题可以经过简单地上链来处理；将输入和ML参数上传到链上，模型核算上链，可以保证输入、参数和模型核算的正确性。可是这种办法或许会献身可扩展性和隐私性。 Giza 在 Starknet 上是这样做的，可是由于本钱问题，它只支撑回归这样简单的机器学习模型，不支撑神经网络。 ZK 技能可以更高效地处理上述信任问题。现在ZKML的ZK一般指的是zkSNARK。首要，让咱们快速回忆一下 zkSNARKs 的一些基础常识：

一个 zkSNARK 证明证明我知道一些秘密输入 w 使得这个核算的成果 f 是 OUT 是真的而不告知你 w 是什么。证明生成进程可以归纳为几个进程：

1.拟定一个需求证明的陈述：f(x,w)=true

“我现已运用带有私有参数 w 的 ML 模型 f 对这张图画 x 进行了正确分类。”

2.将句子转换为电路（Arithmetization）：不同的电路结构办法包含R1CS、QAP、Plonkish等。

与其他用例相比，ZKML 需求一个称为量化的额定进程。神经网络推理一般在浮点运算中完结，这在运算电路的首要范畴中进行仿真是极其贵重的。不同的量化办法是精度和设备要求之间的权衡。一些电路结构办法如 R1CS 对神经网络功率不高。可以调整这部分以进步功能。

3.生成证明密钥和验证密钥

4.创立见证人：当 w=w*,f(x,w)=true

5.创立哈希许诺：见证人 w* 许诺运用加密哈希函数生成哈希值。然后可以揭露此散列值。

它有助于保证私有输入或模型参数在核算进程中未被篡改或修改。此进程至关重要，由于即使是微小的修改也会对模型的行为和输出发生严重影响。

6.生成证明：不同的证明体系运用不同的证明生成算法。

需求为机器学习操作设计特别的零常识规则，例如矩阵乘法和卷积层，从而为这些核算供给具有亚线性时刻的高效协议。

由于核算作业量太大，像 groth16 这样的通用 zkSNARK 体系或许无法有用地处理神经网络。

自 2020 年以来，呈现了许多新的 ZK 证明体系来优化模型推理进程的 ZK 证明，包含 vCNN、ZEN、ZKCNN 和 pvCNN。可是，它们中的大多数都针对 CNN 模型进行了优化。它们只能运用于某些原始数据集，例如 MNIST 或 CIFAR-10。

2022 年，Daniel Kang Tatsunori Hashimoto、Ion Stoica 和 Yi Sun（Axiom 创始人）提出了一种依据 Halo2 的新证明方案，首次完成了 ImageNet 数据集的 ZK 证明生成。他们的优化首要落在算术部分，具有新颖的非线性查找参数和跨层子电路的重用。

正在对链上推理的不同证明体系进行基准测验，发现在证明时刻方面，ZKCNN 和 plonky2 体现最好；在峰值证明者内存运用方面，ZKCNN 和 halo2 体现杰出；而 plonky，虽然体现不错，但献身了内存耗费，ZKCNN 仅适用于 CNN 模型。它还正在开发一个新的 zkSNARK 体系，特别是针对带有新虚拟机的 ZKML。

7.验证证明：验证者运用验证密钥进行验证，无需见证人知晓。

因而，咱们可以证明，将零常识技能运用于机器学习模型可以处理许多信任问题。运用交互式验证的相似技能可以完成相似的成果，但将需求验证方更多的资源，并或许面对更多的隐私问题。值得留意的是，依据确切的模型，为它们生成证明或许会耗费时刻和资源，因而当该技能终究在实践用例中施行时，会在各个方面做出妥协。

处理方案的现状

接下来，桌子上有什么？请记住，模型供给者或许不想生成 ZKML 证明的原因有许多。关于那些有足够勇气测验 ZKML 而且当处理方案对施行有意义时，他们可以依据他们的模型和输入地点的方位从几个不同的处理方案中进行挑选：

假如输入数据在链上，Axiom 可以被视为一种处理方案：

Axiom 正在为以太坊构建一个 ZK 协处理器，以改善用户对区块链数据的访问并供给更杂乱的链上数据视图。对链上数据进行牢靠的机器学习核算是可行的：

假如模型上链，可以考虑 RISC Zero 作为处理方案：

RISC 零 ZKVM 是一个 RISC-V 虚拟机，它发生它履行的代码的零常识证明。运用 ZKVM，生成加密收据，任何人都可以验证它是由 ZKVM 的访客代码生成的。发布收据不会泄漏有关代码履行的其他信息（例如，供给的输入）。

经过在 RISC Zero 的 ZKVM 中运转机器学习模型，可以证明履行了模型中触及的准确核算。核算和验证进程可以在用户首选环境中的链下完结，也可以在通用汇总的盆景网络中完结。

生成 ZK 证明的确切进程触及一个以随机预言机作为验证者的交互协议。 RISC 零收据上的印章本质上是此交互协议的抄本。

假如您想直接从 Tensorflow 或 Pytorch 等常用的 ML 软件导入模型，可以考虑运用 ezkl 作为处理方案：

Ezkl 是一个库和命令行东西，用于对 zkSNARK 中的深度学习模型和其他核算图进行推理。

看起来很简单，对吧？ ezkl 的目标是供给一个笼统层，答应在 Halo 2 电路中调用和安置更高等级的操作。 Ezkl 笼统化了许多杂乱性，同时坚持了难以置信的灵活性。他们的量化模型有一个用于主动量化的比例因子。跟着新处理方案的呈现，它们支撑对其他证明体系进行灵活更改。它们还支撑多种类型的虚拟机，包含 EVM 和 WASM。

在证明体系方面，ezkl customs halo2 circuits经过聚合证明（经过中介将难以验证的变成容易验证的）和递归（可以处理内存问题，但很难习惯halo2）。 Ezkl 还运用交融和笼统优化了整个进程（可以经过高级证明减少开销）。

另外值得留意的是，相关于其他通用的zkml项目，Accessor Labs专心于供给专为全链上游戏设计的zkml东西，或许触及AI NPC、游戏玩法主动更新、触及天然语言的游戏界面等。

第三部分：用例在哪里？

运用 ZK 技能处理 ML 的信任问题意味着它现在可以运用于更多“高危险”和“高度确认性”的用例，而不仅仅是跟上人们的谈话或区分猫的图片和狗的图片。 Web3 现已在探索许多这样的用例。这并非巧合，由于大多数 Web3 运用程序在区块链上运转或打算在区块链上运转，由于区块链的特定性质可以安全运转、难以篡改并具有确认性核算。一个可验证的行为杰出的人工智能应该是一个可以在去信任和去中心化的环境中进行活动的人工智能，对吧？

ZK+ML 有用的 Web3 用例

许多 Web3 运用程序为了安全和去中心化而献身用户体会，由于这显然是他们的首要使命，而且基础设施的约束也存在。 AI/ML 有或许丰富用户体会，这肯定会有所协助，但以前似乎不或许不妥协。现在，感谢 ZK，咱们可以轻松地看到 AI/ML 与 Web3 运用程序的结合，而不会在安全性和去中心化方面做出太多献身。

本质上，它将是一个以无信任方法完成 ML/AI 的 Web3 运用程序（在撰写本文时或许存在也或许不存在）。经过去信任的方法，咱们的意思是它是否在去信任的环境/渠道中运转，或许它的操作是可证明可验证的。请留意，并非一切 ML/AI 用例（即使在 Web3 中）都需求或首选以去信任的方法运转。咱们将剖析在各种 Web3 范畴中运用的 ML 功能的每个部分。然后，咱们会识别出需求ZKML的部分，一般是人们愿意花额定的钱来证明的高价值部分。

下面提到的大多数用例/运用程序仍处于实验研讨阶段。因而，它们离实践选用还很远。咱们稍后会评论原因。

Defi

Defi 是为数不多的合适区块链协议和 Web3 运用程序的产品市场之一。可以以无需答应的方法创造、存储和办理财富和本钱在人类历史上是史无前例的。咱们现已确认了许多 AI/ML 模型需求在未经答应的状况下运转以保证安全性和去中心化的用例。

危险评价：现代金融需求 AI/ML 模型进行各种危险评价，从避免诈骗和洗钱到发放无典当借款。保证这个 AI/ML 模型以可验证的方法运转意味着咱们可以避免它们被操作进入审查制度，这阻止了运用 Defi 产品的无答应性质。

财物办理：主动买卖战略关于 Tradfi 和 Defi 来说并不新鲜。现已测验运用 AI/ML 生成的买卖战略，但只要少数去中心化战略获得成功。现在 defi 范畴的典型运用包含 Modulus Labs 实验的 rocky bot。

The Rocky Bot ：Modulus Labs 在 StarkNet 上创立了一个买卖机器人，运用人工智能进行决议计划。

主动化 MM 和流动性供应：这本质上是在危险评价和财物办理方面进行的相似尽力的组合，仅仅在触及数量、时刻表和财物类型时以不同的方法进行。关于机器学习怎么用于股票市场做市的论文许多。其中一些适用于 Defi 产品或许仅仅时刻问题。

例如，Lyra Finance 正在与 Modulus Labs 协作，经过智能功能增强他们的 AMM，以进步本钱功率。

荣誉奖: Warp.cc 团队开发了一个教程项目，介绍怎么部署运转练习有素的神经网络以猜测比特币价格的智能合约。这归于咱们结构的“输入”和“模型”部分，由于输入由 RedStone Oracles 概要供给，而且模型作为 Arweave 上的 Warp 智能合约履行。这是榜首次迭代而且触及到 ZK，所以它归于咱们的荣誉奖，但在未来 Warp 团队考虑完成 ZK 部分

Gaming

游戏与机器学习有许多交集：

图中的灰色区域代表咱们对游戏部分的 ML 功能是否需求与相应的 ZKML 证明配对的初步评价。 Leela Chess Zero 是将 ZKML 运用于游戏的一个十分有趣的示例：

AI Agents

Leela Chess Zero (LC0)：由 Modulus Labs 打造的完全链上人工智能国际象棋棋手，与来自社区的一群人类棋手对弈。

LC0 和人类团体轮流下棋（象棋应该如此）。

LC0 的移动是运用简化的、电路友好的 LC0 模型核算的。

LC0 的行为生成了 Halo2 snark 证明，以保证没有人为策划干涉。只要简化的 LC0 模型可以做出决议。

这合适“模型”部分。该模型的履行具有 ZK 证明，以验证核算未被篡改。

数据剖析和猜测：这是 AI/ML 在 Web2 游戏国际中的常见用处。可是，咱们发现很少有理由将 ZK 施行到这个 ML 进程中。为了不直接参与该进程的太多价值，或许不值得支付尽力。可是，假如运用某些剖析和猜测来确认用户的奖赏，则或许会施行 ZK 以保证成果正确。

荣誉奖:

AI Arena 是一款以太坊原生游戏，全国际的玩家都可以在其中设计、练习和战斗由人工神经网络驱动的 NFT 人物。来自国际各地的才华横溢的研讨人员竞相创立最佳的机器学习 (ML) 模型以在游戏中进行战斗。 AI Arena 专心于前馈神经网络。一般，它们的核算开销低于卷积神经网络 (CNN) 或递归神经网络 (RNN)。不过，就现在而言，模型只要在经过练习后才会上传到渠道，因而值得一提。

GiroGiro.AI 正在构建一个 AI 东西包，使大众可以创立用于个人或商业用处的人工智能。用户可以依据直观和主动化的 AI 作业流渠道创立各种 AI 体系。只需输入少量数据并挑选算法（或用于改善的模型），用户就会在脑海中生成和利用 AI 模型。虽然该项目处于十分早期的阶段，但由于 GiroGiro 专心于 gamefi 和以虚拟国际为要点的产品，因而咱们十分等待看到它能带来什么，因而它获得了荣誉奖。

DID 和交际

在DID&social范畴，web3和ml的交集现在首要在proof of humanity和proof of credentials范畴；其他部分或许会发展，但需求更长的时刻。

人道的证明

Worldcoin 运用一种称为 Orb 的设备来确认某人是否是一个没有企图诈骗验证的真实存在的人。它经过各种相机传感器和剖析面部和虹膜特征的机器学习模型来完成这一点。一旦做出决议，Orb 就会拍摄一组人的虹膜照片，并运用多种机器学习模型和其他核算机视觉技能来创立虹膜代码，这是个人虹膜图画最重要特征的数字表明。详细报名进程如下：

Worldcoin 运用开源的 Semaphore 零常识证明体系将 IrisHashes 的唯一性转移到用户帐户的唯一性，而无需将它们链接起来。这保证了新注册的用户可以成功收取他/她的 WorldCoins。进程如下：

WorldCoin 运用 ZK 技能保证其 ML 模型的输出不会泄露用户的个人数据，由于它们不会相互关联。在这种状况下，它归于咱们信任结构的“输出”部分，由于它保证输出以所需方法传输和运用，在这种状况下是私密的。

行动证明

Astraly 是一个建立在 StarkNet 上的依据名誉的代币分发渠道，用于寻找和支撑最新最好的 StarkNet 项目。衡量名誉是一项具有挑战性的使命，由于它是一个笼统概念，无法用简单的指标轻松量化。在处理杂乱的指标时，一般状况下，更全面和多样化的输入会发生更好的成果。这便是为什么 Astraly 正在寻求 modulus labs 的协助，以运用 ML 模型来供给更准确的名誉评级。

个性化推荐和内容过滤

Twitter 最近为“为你”时刻线开源了他们的算法，但用户无法验证该算法是否正确运转，由于用于对推文进行排名的 ML 模型的权重是保密的。这导致了对偏见和审查制度的忧虑。

可是，Daniel Kang、Edward Gan、Ion Stoica 和 Yi Sun 供给了一种处理方案，运用 ezkl 供给依据证明 Twitter 算法在不泄露模型权重的状况下诚笃运转，从而协助平衡隐私和透明度。经过运用 ZKML 结构，Twitter 可以提交其排名模型的特定版别，并发布依据证明它为给定用户和推文生成了特定的终究输出排名。该处理方案运用户可以验证核算是否正确履行，而无需信任体系。虽然要使 ZKML 更加实用还有许多作业要做，但这是进步交际媒体透明度的活跃进程。因而，这归于咱们的 ML 信任结构的“模型”部分。

从用例视点重新审视 ML 信任结构

可以看出，ZKML 在 web3 中的潜在用例仍处于起步阶段，但不容忽视；未来跟着ZKML的运用范围不断扩大，或许会呈现对ZKML供给者的需求，构成下图的闭环：

ZKML 服务供给商首要重视 ML 信任结构的“模型”和“参数”部分。虽然咱们现在看到的大多数与“模型”相关而不是“参数”。请留意，“输入”和“输出”部分更多地由依据区块链的处理方案处理，用作数据源或数据意图地。单独的 ZK 或区块链或许无法完成完全可信，但它们联合起来或许会做到。

离大规模选用还有多远？

Modulus Labs 的论文经过测验 Worldcoin（具有严厉的精度和内存要求）和 AI Arena（具有本钱效益和时刻要求），为咱们供给了一些关于 ZKML 运用可行性的数据和见解：

假如 Worldcon 运用 ZKML，证明者的内存耗费将超过任何商用移动硬件。假如 AI Arena 的锦标赛运用 ZKML，则运用 ZKCNN 会将时刻和本钱增加到 100 倍（0.6 秒对原来的 0.008 秒）。所以遗憾的是，直接运用 ZKML 技能来证明时刻和证明内存运用都是不可行的。

证明巨细和验证时刻怎么？咱们可以参阅 Daniel Kang 、 Tatsunori Hashimoto 、 Ion Stoica 和 Yi Sun 的论文。如下图所示，他们的 DNN 推了处理方案可以在 ImageNet（模型类型：DCNN，16 层，340 万个参数）上完成高达 79% 的准确率，同时只需 10 秒和 5952 字节的验证时刻。此外，zkSNARKs 可以缩小到只需 0.7 秒即可以 59% 的准确率进行验证。这些成果表明 zkSNARKing ImageNet 规模模型在证明巨细和验证时刻方面的可行性。

现在首要的技能瓶颈在于时刻和内存耗费的证明。在 web3 案例中运用 ZKML 在技能上依然不可行。 ZKML 能否抓住 AI 的发展潜力？咱们可以对比几个经验数据：

ML模型的发展速度：2019年发布的GPT-1模型有1.5亿个参数，而2020年最新发布的GPT-3模型有1750亿个参数，参数数量在短短两年内增长了1166倍.

ZK体系的优化速度：ZK体系的功能增长根本遵循“摩尔定律”式的脚步。‌简直每年都会推出新的 ZK 体系，咱们估计证明者功能的火箭式增长将继续一段时刻。

比较前沿的ML对ZK的提升起伏，前景不是很达观。可是，跟着rollup功能、ZK硬件以及依据高度结构化神经网络操作的量身定制的ZK证明体系的不断改善，期望ZKML的开发可以满足web3的需求，并从供给一些旧式的机器学习功能开端榜首的。

虽然咱们或许很难运用区块链 + ZK 来验证 ChatGPT 供给给我的信息是否值得信任，但咱们或许可以将一些更小和更旧的 ML 模型放入 ZK 电路中。

第四部分：定论

“权力导致糜烂，肯定的权力导致肯定的糜烂”。凭仗 AI 和 ML 令人难以置信的力气，现在还没有万无一失的办法将其置于管理之下。政府一再证明可认为结果供给后期干涉或早期完全禁止。区块链 + ZK 供给了可以以可证明和可验证的方法征服野兽的少数处理方案之一。

咱们等待在 ZKML 范畴看到更多的产品立异，ZK 和区块链为 AI/ML 的运转供给安全可信的环境。咱们还期望全新的商业模式会从这些产品立异中发生，由于在无需答应的加密国际中，咱们不受这儿首选的 SaaS 商业化模式的约束。咱们等待支撑更多的建设者前来，在这个“狂野西部无政府状态”和“象牙塔精英”的迷人堆叠中构建他们激动人心的主意。

咱们还早，但咱们或许会在路上拯救国际。

此时快讯

【瑞士楚格州将比特币和以太币的纳税限额提高到150万瑞士法郎】金色财经报道，瑞士楚格州将比特币和以太币的纳税限额从之前的10万瑞士法郎提高到150万瑞士法郎。楚格财务总监在一份声明中表示，此举是楚格迈向数字化未来的重要一步，此外，楚格还计划在2023年下半年实现纳税人通过扫描税务机关签发的付款单上的二维码直接使用加密货币纳税。该州于2021年开始接受比特币和以太币用于纳税。