加密社区应该拥抱而非惧怕GPT-3

在过去的几天里，加密社区中关于OpenAI新的GPT-3语言生成器模型的评论层出不穷。一些评论表达了对GPT-3积极的好奇心，而另一些评论则有点极端，声称加密社区应该对它感到恐惧。

这种兴趣之热烈让人有些令人惊讶，因为GPT模型并不完全是新事物，它们在机器学习社区的头条新闻已经出现了一年多了。第一个GPT模型背后的研究于2018年6月发布，随后是2019年2月的GPT-2，最近的GPT-3是两个月前发布的。

我认为，GPT-3本身不太可能在加密生态系统中产生重大影响。然而，GPT-3背后的技术代表了过去几年深度学习的最大进步，因此，它可以成为加密资产分析中令人难以置信的相关技术。在本文中，我想花几分钟时间深入了解GPT-3背后的一些概念，并将其与加密世界联系起来。

什么是GPT-3？

GPT-3是一个大规模的自然语言理解（NLU）模型，它使用惊人的1750亿个参数来掌握几个语言任务。这一规模使得GPT-3成为世界上最大的NLU模型，超过了微软的Turing-LG及其前辈GPT-2。

GPT-3能够完成多项语言任务，如机器翻译、问题回答、语言分析，当然还有文本生成。GPT-3因为能够生成真假难辨的假文本而引起了媒体的关注。

这与加密技术有什么关系？想象一下，有能力定期生成假的新闻稿，从而影响小型加密资产的价格？听起来像是一个可怕的威胁，但这并不是GPT-3最重要的部分。

GPT-3是一个基于语言的模型，因此要使用文本数据集进行操作。从加密市场的角度来看，这种能力很酷，但也不是那么有趣。我们真正应该关注的是GPT3背后的技术。

GPT-3背后的魔法

GPT-3基于一种新的深度学习架构，即转换器transformer。转换器的概念最初是由谷歌大脑团队成员在2017年发表的论文 "Attention is all you need "中提出的。

转换器架构的主要创新是 "注意力Attention "的概念（论文的标题因此而来）。注意力通常用于一种被称为Seq2Seq的问题中，在这种问题中，一个模型处理一个项目序列（单词、字母、数字）并输出不同的序列。这类问题在语言智能场景中非常常见，比如文本生成、机器翻译、问题回答等。

每次看到Seq2Seq的场景，你应该会联想到所谓的编码器-解码器架构。编码器捕捉输入序列的上下文，并将其传递给解码器，解码器产生输出序列。注意机制通过识别输入中应该 "注意 "的关键方面来解决传统神经网络架构的局限性。

传统的深度学习架构需要在编码器和解码器之间进行持续的反馈，这使得它们的效率很低。

想一想从西班牙语到英语的机器翻译场景。通常情况下，解码器会将西班牙语文本输入翻译成一个被称为 "虚构语言 "的中间表示法，解码器将使用这个中间表示法将其翻译成英语。更传统的深度学习架构需要编码器和解码器之间不断地反馈，这使得它们的效率非常低。

从概念上讲，注意力机制会观察一个输入序列，并在每一步决定序列中还有哪些部分是重要的。例如，在机器翻译场景中，注意力机制会突出显示解码器 "应该注意 "的词来执行翻译。

为GPT-3等模型提供动力的转换器架构是一种传统的编码器-解码器架构，它插入了注意块以提高效率。该块的作用是观察整个输入和当前输出，并推断出依赖关系，这将有助于优化最终输出。

转换器架构产生的模型可以在大规模的数据集中进行训练，并且可以高效地进行并行化。不足为奇的是，在谷歌原创论文之后，人们竞相构建掌握不同语言任务的超大型模型。谷歌的BERT、Facebook的RoBERTa、微软的Turing-LG和OpenAI的GPT-3都是这些模型的较新例子。

GPT-2使用15亿个参数进行操作，曾令世界震惊。这一纪录被微软的Turing-LG打破，它使用了170亿个参数，但GPT-3却使用了1750亿个的恐怖参数。这一切都发生在一年之内。简单点说就是：在转换器方面，数字越大越好。

第一代的转换器架构一直专注于语言任务。但是，Facebook和OpenAI等公司最近发表了将变换器模型改编为图像分类的研究。你可能认为这只是一种生成假图像的尝试，但其影响远不止于此。

在缺乏大型标签数据集的情况下，假图像生成对于简化图像分类模型的训练是超级重要的。已经有人尝试将转换器改编为时间序列金融数据集，希望它们能够推进量化交易策略。

转换器和加密资产

现在我们知道了一些与转换器和GPT-3相关的背景，我们可以重新审视最初的问题：GPT-3对于加密资产来说真的很可怕吗？

当然，能够产生假消息的模型，让加密市场动荡不安的前景并不是什么开玩笑的事情。但我认为，在目前的形式下，GPT-3并不代表对加密领域的威胁。更有趣的是转换器架构在下一代加密智能解决方案中可能产生的影响，这里有几个真实的场景可以考虑。

交易策略：显然，如果转换器被证明适用于金融数据集，那么它们可以对加密资产的量化策略产生重大影响。一般来说，深度神经网络正在开辟量化交易的新领域。除了线性回归或决策树等基本的机器学习模型，量化基金现在正在研究复杂的深度学习策略。

作为原生数字，加密是量化策略的完美资产类别。循环神经网络（RNNs）和卷积神经网络（CNNs）等技术已经在量子领域得到了普及，似乎在加密领域也很好用。就像在语言分析中，转换器可能比CNNs和RNNs更有优势，特别是在数据集的几个部分中集中 "注意力 "的时候（例如，在2020年3月比特币崩盘期间），也可以用大规模的记录信息（例如区块链交易）来操作。

更令人感兴趣的是转换器架构transformer architecture在下一代加密智能解决方案CRYPTO INTELLIGENCE SOLUTIONS中可以产生的影响。

区块链分析：转换器可以适应于以比当前方法更有效的计算方式检测区块链中的行为模式。转换器的部分魔力在于它们能够将注意力 "集中 "在输入数据集的特定部分，并推断出潜在的输出。想象一下这样的场景：我们正在分析比特币挖矿交易或流向交易所的交易，并试图推断出订单簿活动的模式。转换器似乎特别适合进行这种任务。

去中心化的转换器：目前正在努力使转换器模型适应像奇点网络SingularityNet这样的去中心化AI架构。这种类型的用例可以将转换器的使用扩展到我们还没有想象到的场景。到目前为止，像GPT-3这样的转换器模型一直是大型企业人工智能实验室的特权，它们拥有数据和资源来构建和运行这种大规模的神经网络。去中心化人工智能提供了另一种选择，转换器的训练、执行和监控可以发生在基于激励机制运行的去中心化网络中。

就像其他神经网络架构已经能够在去中心化的基础设施中运行一样，我们认为很快就会看到像GPT-3这样的模型在像SingularityNet或Ocean Protocol这样的去中心化人工智能平台中运行。

GPT-3和转换器架构是深度学习历史上的重大突破。未来几年，我们很可能会看到转换器影响深度学习的每一个主要领域，而且这种影响很可能会扩展到金融市场。加密世界应该是这些突破的受益者。

总之，GPT-3令人印象深刻，但我们没有理由感到恐惧。恰恰相反，我们应该做的工作是调整这些重大的人工智能成果，让加密技术成为历史上最智能的资产类别。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

作者:Jesus Rodriguez

翻译:区块链Robin BTC:1Robin84SWtzSxnU1v8CE9rzQtcfUsGeN
微信:chanhai13;公众号:链学园
译文有编辑及删减,如有侵权,请联系译者删除
中文版权所有,转载需完整注明以上内容

—-

编译者/作者：区块链研究员

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。