当前位置: 玩币族首页 > 区块链资产 > [Coinbase] 数据 3.0 之旅

[Coinbase] 数据 3.0 之旅

2021-06-03 wanbizu AI 来源：区块链网络

作者：Michael Li，Coinbase 数据副??总裁

数据是一家公司的金矿。如果管理得当，它不仅可以提供让每个人都负起责任的重要工具，还可以提供清晰的洞察力和洞察力，从而在规模上做出更好的决策。

然而，大多数公司都停留在数据 1.0 中，这意味着他们将数据作为手动和反应式服务来利用。有些人已经开始转向 Data 2.0，它采用简单的自动化来提高团队生产力。加密数据的复杂性为数据开辟了新的机遇，即进入数据 3.0 的新前沿，您可以通过系统智能和自动化来扩展价值创造。这是我们的数据 3.0 之旅。

Coinbase 既不是金融公司也不是科技公司——它是一家加密公司。这种区别对我们如何处理数据具有重大影响。作为一家加密公司，我们使用三种主要类型的数据（而不是通常的一种或两种类型的数据），每一种都复杂多样：

区块链：去中心化和公开可用。产品：大而实时。财务：高精度并受许多财务/法律/合规性法规的约束。

我们的重点一直是如何通过让这些不同的数据协同工作来扩大价值创造，消除数据孤岛，在问题开始之前解决问题，并为 Coinbase 创造否则不会存在的机会。

在 LinkedIn 和 eBay 等科技公司以及包括 Capital One 在内的金融部门工作过，我亲眼目睹了从数据 1.0 到数据 3.0 的演变。在数据 1.0 中，数据被视为一种反应性功能，可在紧急情况下提供临时手动服务或救火。

在 Data 2.0 中，利用简单的工具和第三方解决方案来自动化部分手动和重复性任务，以提高团队生产力。尽管在大多数情况下，数据团队仍然依赖于增加更多的人力资源来带来更多的价值。最后，在数据 3.0 阶段，数据系统是使用开源和内部技术以协调一致的方式创建的，以从根本上扩展价值创造。

在通往数据 3.0 的必杀技之路上

Data 3.0 的最大好处是在所有数据流中创建的效率和一致性。它使公司能够建立一个全面的数据基础，为公司的长期成功而建立，同时在有限的资源下维持当前的需求。当公司规模小且变化迅速时，这可能并不明显，但随着公司规模的扩大和经历的高速增长，数据流的一致性（或缺乏数据流）可能成为一个大痛点，如果不及早建立愿景，就很难纠正路线.

即使是世界上最好的技术公司也可能养成坏习惯，让不同的工程团队构建定制的数据产品和服务来解决特定的痛点。这可能会在端到端数据系统的标准化工作流程中留下很大的空白，从而难以大规模构建和操作数据。更糟糕的是，这些一次性的努力可能会变得足够大，成为需要时间来整合和迁移的独立系统。这些通常保留为遗留系统，随着时间的推移，会给公司带来巨大的技术债务。

鉴于区块链技术和数据用例的不断发展，我们的数据 3.0 工作远未完成。也就是说，我为我们取得的进展感到非常自豪。以下是我们迄今为止的工作和系统的概述。

数据存储和处理

无论采用哪种特定技术的选择，您都需要针对三个主要组件制定明确的策略：存储分离、计算分离和“单一事实来源”的语义分离。将这些组件解耦并制定明确的技术策略，使我们能够避免随着公司的发展而出现性能和容量瓶颈。

数据平台及应用

虽然我们结合使用内部技术、开源工具和供应商解决方案来满足各种需求，但我们在为每个类别决定特定解决方案时做出明确的权衡，因此我们不会在未来造成重复或歧义。这适用于我们如何管理我们的事件系统、数据编排工作流、商业智能层和实验平台。它还导致高度解耦和可扩展的架构。

机器学习和平台

鉴于近年来人工智能的炒作，这可能是数据团队中最“闪亮”的部分，但它也是数据团队中最具跨职能的组成部分。我们真正的端到端机器学习平台 Nostradamus 支持 Coinbase 的所有机器学习模型，包括数据管道、培训、部署、服务和实验。由于机器学习平台在构建时考虑到了数据生态系统的所有其他部分，因此它不仅旨在使机器学习能够解决眼前的问题，而且还能随着业务的发展而扩展。

数据科学和数据产品

这两个领域可能是数据团队中对最终用户最友好的部分，因为它们基本上是提炼数据洞察力的表示层，旨在为我们的客户带来愉悦并创造价值。他们也是上述所有努力的最直接受益者。

最突出的团队任务是数据科学家应该让自己脱离机器，专注于使机器能够以可扩展的方式为数据提供服务并为消费者创造价值（而不是成为机器和数据消费者之间的中间人）。

这篇文章最初出现在 TechCrunch 中。