加密不必惧怕GPT-3。 应该拥抱它

Jesus Rodriguez是IntoTheBlock（加密资产的市场情报平台）的首席执行官。 他曾在大型技术公司和对冲基金中担任领导职务。 他是哥伦比亚大学的积极投资者，演讲者，作家和客座讲师。

在过去的几天中，加密社区对OpenAI的新GPT-3语言生成器模型的评论激增。 一些评论表达了对GPT-3的有用好奇心，而另一些则有些极端，声称加密社区对此应该感到恐惧。

这种兴趣有点令人惊讶，因为GPT模型并不是完全新的，并且它们在机器学习社区中已经成为头条新闻了一年多。 第一个GPT模型的研究于2018年6月发布，随后是GPT-2于2019年2月发布，最近是两个月前的GPT-3。

另请参阅：什么是GPT-3？我们应该害怕吗？

我认为GPT-3本身不可能对加密生态系统产生重大影响。 但是，GPT-3背后的技术代表了过去几年中深度学习的最大进步，因此，与加密资产的分析极为相关。 在本文中，我想花几分钟时间深入探讨GPT-3背后的一些概念，并将其与加密世界进行关联。

什么是GPT-3？

GPT-3是一个巨大的自然语言理解（NLU）模型，使用令人惊讶的1,750亿个参数来完成多项语言任务。 GPT-3的尺寸使它成为世界上最大的NLU型号，超过了Microsoft的Turing-NLG及其前身GPT-2。

GPT-3能够执行多种语言任务，例如机器翻译，问题解答，语言分析以及文本生成。 GPT-3能够生成与真实文本无法区分的伪造文字，已引起了媒体的关注。

这与加密有何关系？ 想象一下是否有能力定期生成伪造的新闻稿，这些新闻稿会改变较小的加密资产的价格？ 听起来像一个可怕的威胁，但这不是GPT-3的最重要部分。

GPT-3是基于语言的模型，因此使用文本数据集进行操作。 从加密货币市场的角度来看，该功能很酷，但肯定没有那么有趣。 我们真正应该注意的是GPT3背后的技术。

GPT-3背后的魔力

GPT-3基于称为变压器的新型深度学习架构。 变压器的概念最初在2017年由Google Brain团队成员发表的论文《注意就是您所需要的》中概述。

变压器架构的主要创新是“注意”的概念（因此，本文的标题）。 注意通常用于一种称为Seq2Seq的问题中，其中模型处理一系列项目（单词，字母，数字）并输出不同的序列。 这种类型的问题在语言智能场景中非常常见，例如文本生成，机器翻译，问题解答等。

每次看到Seq2Seq场景时，都应该将其与所谓的编码器-解码器体系结构相关联。 编码器捕获输入序列的上下文，并将其传递给解码器，由解码器生成输出序列。 注意机制通过识别输入中应“注意”的关键方面，解决了传统神经网络体系结构的局限性。

传统的深度学习架构需要编码器和解码器之间不断的反馈，这使其效率非常低下。

考虑一下从西班牙语到英语的机器翻译方案。 通常，解码器会将西班牙语文本输入翻译成称为“虚构语言”的中间表示形式，解码器将使用该中间表示形式将其翻译成英语。 更传统的深度学习架构需要在编码器和解码器之间持续不断的反馈，这使其效率非常低下。

从概念上讲，注意力机制着眼于输入序列，并在每个步骤中确定序列中其他哪些重要部分。 例如，在机器翻译场景中，注意机制将突出显示解码器“应注意”以执行翻译的单词。

支持GPT-3等模型的变压器架构是一种传统的编码器-解码器架构，该架构插入了注意块以提高效率。 该模块的作用是查看整个输入和当前输出，并推断相关性，这将有助于优化最终输出的产生。

变压器架构产生的模型可以在庞大的数据集中进行训练，并且可以高效地并行化。 毫不奇怪，在最初的Google论文发布之后，人们就在竞相建立能够处理不同语言任务的超大型模型。 谷歌的BERT，Facebook的RoBERTa，微软的Turing-NLG和OpenAI GPT-3是这些模型的较新示例。

GPT-2通过使用15亿个参数进行操作，震惊了世界。 微软的Turing-NLG使用170亿个参数打破了该记录，仅GPT-3使用了可笑的1750亿个参数。 所有这些都发生在一年之内。 简单明了：谈到变压器，越大越好。

另请参阅：Ben Goertzel –所有人的人工智能：奖励数据创建者的超智能系统

第一代转换器体系结构专注于语言任务。 但是，像Facebook和OpenAI这样的公司已经发布了最近的研究，这些研究将变压器模型应用于图像分类。 您可能会认为这只是生成伪图像的尝试。 但是影响远不止于此。

在没有大型标记数据集的情况下，伪造图像生成对于简化图像分类模型的训练非常重要。 已经进行了尝试以使变压器适应金融时间序列数据集，希望它们可以改进定量交易策略。

变形金刚和加密资产

既然我们已经了解了与变压器和GPT-3相关的内容，那么我们可以回顾一下原始问题。 GPT-3对于加密资产真的很吓人吗？

当然，可以产生假新闻以推动加密市场发展的模型的前景可不是开玩笑。 但是我认为，按照目前的形式，GPT-3并不代表对加密空间的威胁。 更有趣的是，变压器架构可能对下一代加密智能解决方案产生影响。 以下是一些需要考虑的实际情况：

交易策略。显然，如果事实证明变压器适用于金融数据集，则它们可能会对加密资产的量化策略产生重大影响。 总体而言，深度神经网络在定量交易中开辟了新的领域。 从线性回归或决策树之类的基本机器学习模型来看，量化基金现在正在研究复杂的深度学习策略。

作为本地数字货币，加密货币是量化策略的理想资产类别。 递归神经网络（RNN）和卷积神经网络（CNN）等技术已在量化空间中普及，并且似乎在加密中运行良好。 就像在语言分析中一样，转换器可以在CNN和RNN上占据优势，尤其是在将“注意力”集中于数据集的多个部分时（例如，在2020年3月比特币崩溃期间），并且还可以处理大量记录（例如，区块链交易）。

更有趣的是，变压器体系结构可能对下一代加密智能解决方案产生影响。

区块链分析。可以采用比当前方法更有效的计算方式来使变压器适应检测区块链中的模式。 变压器的魔力之一是它们能够“专注”于输入数据集的特定部分并推断出潜在的输出。 想象一个场景，在该场景中，我们正在分析比特币挖矿交易或交易所的流量，??并尝试推断订单簿活动中的模式。 变形金刚似乎特别有能力攻击这一任务。

分散式变压器。目前正在努力使变压器模型适应分散的AI体系结构，例如SingularityNet。 这种用例可以将转换器的使用扩展到我们尚未想到的场景。 到目前为止，诸如GPT-3之类的变压器模型一直是大型企业AI实验室的特权，这些实验室具有构建和操作如此庞大的神经网络的数据和资源。 分散式AI提供了一种替代方案，其中可以在基于激励机制运行的分散式网络中进行变压器的培训，执行和监视。

就像其他神经网络体系结构能够在分散式基础架构中运行一样，想到不久我们将看到像GPT-3这样的模型运行在分散式AI平台（如SingularityNet或Ocean Protocol）中就可以了。

GPT-3和变压器架构代表了深度学习历史上的重大突破。 在接下来的几年中，我们很可能会看到变形金刚会影响深度学习的每个主要领域，并且影响力可能会扩展到金融市场。 加密应该是这些突破的受益者。

是的，GPT-3令人印象深刻，但没有理由感到恐惧。 恰恰相反，我们应该努力适应这些主要的AI成就，并使加密货币成为历史上最智能的资产类别。

—-

原文链接：https://www.coindesk.com/crypto-neednt-fear-gpt-3-it-should-embrace-it

原文作者：Jesus Rodriguez

编译者/作者：wanbizu AI

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。