关于分布式存储这24个高频问题你需要知道

我是李玥，目前在京东任职架构师。在十多年的开发生涯中，我在传统 IT 行业做过企业级 ToB 系统；转战互联网后，带领团队体会过从 0 到 1 的创业艰辛，见证过互联网高速增长的高光时刻，也经历过京东大促的数年洗礼。

工作中我接触过很多不同类型的业务系统，它们规模各异，研发过程中的问题也五花八门，但却有一个神奇的规律：

凡是那些特别难解决、让你付出巨大代价，或损失惨重的技术问题，几乎都可以归为存储系统的问题。

其实，这个规律不难理解。不论你的系统业务是什么，最终都要落到对数据的管理上，只要最终的“数据”是正确的，剩下的都是小问题；数据错了、丢了，甚至处理不及时，都是损失惨重的大问题，所以，用于承载数据的存储系统就显得非常重要。

由此可见，存储是系统中最核心、最重要、最关键的组成部分，没有之一。

我们常用的存储系统很多，但无论是什么样的存储，比如 MySQL、Redis、Elasticsearch 等，它们都有几个共同的特点。

第一，难用。对应用程序来说，存储的作用，就是帮我们安全可靠地保存数据，在需要时快速读出。但很遗憾，几乎没有存储系统能满足这样简单的需求。拿 MySQL 举例，想要存取对象，就要把对象转换成 MySQL 表中的行，还得写 SQL 语句，是不是很难用？但你不得不用，并且还要用好。

第二，慢。近几年，新的数据库层出不穷，都标榜自己有多快，性能有多好。但事实上，把 MySQL 拉出来做个性能对比测试，都能吊打一遍。“一个人炫耀什么，说明内心缺少什么”，这个道理放到技术圈同样适用。不断有新的存储刷新性能记录，恰恰说明了存储系统性能不能让人满意。

第三，杂。存储不像其他成熟的技术领域，能一两种方案包打天下，比如 Java 开发，基本上就被 Spring 统治了。而 MySQL、Redis、Elasticsearch、HBase、Hive、MongoDB、RocksDB、CockroachDB 等等，这些存储谁也替代不了谁，每一种都有其擅长领域和适用场景，也有其突出短板。

除此之外，存储涉及很多理论概念，比如各种数据结构、哈希、树以及它们的时间复杂度等等，这些知识往往偏数学范畴，不易理解和记忆。而且，理论和实践之间也有很大的鸿沟，往往是“懂了一堆道理，却还是写不好代码”。

所以，我在极客时间上开设了第二个专栏《后端存储实战课》。在专栏中，我深入剖析了存储技术的核心原理，通过电商存储的 24 个高频问题解决方案，带你了解不同业务场景下的存储选型策略，以及分布式存储领域的前沿技术，让你真正拿下后端存储。

结算时，输入优惠口令「cunchu666」

再减 5 元，到手仅 ?63

仅限「前 200 人」有效

我是谁？

我是李玥，京东零售技术架构部架构师，极客时间《消息队列高手课》专栏作者。我从事互联网研发、架构 10 多年了，曾在浪潮集团、当当网等公司任职架构师相关工作。

2017 年，我加入京东，负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算、高可用分布式系统架构等技术领域，带领团队提升了京东商城相关系统数倍的性能和吞吐量，目前致力于推进京东基础架构技术的创新、对外赋能与开源。

你能获得什么？

在专栏中，我以电商不同发展阶段的问题场景为蓝本，按照系统的发展过程，将内容分为 3 部分：

一、创业篇

重点解决从 0 到 1 的问题，比如：如何低成本高质量地快速构建一个小规模的订单存储系统。

二、高速增长篇

关注在高速变化的过程中，系统会遇到的一些共通问题，及其具体的解决方案。比如，如何从单机的存储系统，逐步演进为分布式存储系统；如何在线平滑扩容我们的存储系统。

三、海量数据篇

在这部分，我们重点解决在高并发、海量数据的情况下，存储系统该如何设计。比如，如何存储海量埋点数据；如何在各种数据库之间，实时地迁移和同步海量数据，等等。

通过学习这门课，你不仅会收获案例中那些解决问题的方法，对电商系统架构、存储系统的认知，以及存储系统的设计能力，都会有所提升。更重要的是，你会深入理解存储系统最通用、本质的技术原理，无论在工作还是面试中，都能做到活学活用。

—-

编译者/作者：InfoQ

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。