为什么要用QKFile存储大量数据？

为什么要用QKFile存储大量数据？QKFile最吸引人的特点是什么？哪些地方是大家担心的？本篇文章就为大家一一做讲解

针对于这些有大量数据处理需求的用户来说，QKFile吸引他们的关键因素以及他们的忧虑是什么？

一、在大量(多达10TB)二进制文件通过非常耗时的模拟产生。因此恰当地保存这些文件非常重要(一旦丢失文件，意味着得重新模拟，耗时长达几个月)。把文件分享给同事也很重要，不幸的是，在实际操作中这很难实现。比如说，我在欧洲工作，就无法下载存储在斯坦福数据库几TB的模拟数据集，要花很长的时间才能办到。

二、就目前了解到的QKFile相关信息来说，重点是能通过QKFile分布式网络快速寻找到离你最近的节点（人），从而提高文件分享速度，不再是基于一个中央储存库。但同时也了解到这样就不能再复制了，网络中的每个节点只存储它“感兴趣”的内容。

三、大多数公司把大型工作负载存储在 EMC Isilon 或 Netapp，我的工作是存储销售这块，几乎所有的顾客都想把大量的工作档案存储在 AMS (亚马逊旗下云计算服务平台)或 Azure(微软云计算服务平台) – 这总是比较容易实现。因此，档案存储用例会是一个有趣的切入点，尤其是在数据生成量达到PB级的行业，比如媒体或研究领域。

四、我在一家网络用户行为研究公司工作，类似于谷歌分析(Google Analysis)。跟踪代码每天产生几TB的数据，我们把数据存储在 AWS S3，设置有效期限，把总量控制在几百TB内。我们正在寻求减少数据重复的方法，以节约成本。每天有数百万个时域(session)，一旦配置QKFile后，意味着整个网络上会有数百万个QKFile节点(短期的，几秒到几十分钟)。我相信这能释放QKFile的最大潜力。

五、当用户访问一个站点时，我们监看和记录网页产生的所有DOM更改，保存 session，便于之后用于分析。目前我们需要这些东西：

1. 版本控制(version control)。现在我们用的是一种差异算法来计算DOM更改，把原始数据和差异都存入文档。通过QKFile的树对象技术，我们能够减少很多重复内容，节约大量空间。

2. 可靠的push (或上传) 方法。我用 PubSub(发布/订阅模式)演示过，似乎还无法保证内容接收。因为标签可能随时关闭，我们需要在微秒之内将数据push到后台。

3.真正的千万量级网络节点，让网络更开放、更安全、速度更快

六、我的理解是，它允许我们在一个地点随机且可根据需求更改的广义系统中，可以把一切事物都看做节点、服务和工作者 — 比如，它可以让你模糊服务端和客户端之间的区别。取代了强制将服务端和客户端进行二分的方式，让你可以在一台接近数据的设备或一台距离很远的设备上进行分析，或者将数据复制到一个新的地点进行分析。某种程度上这样简化了你的代码基，因为你可以少编写一些能让客户端应用、工作者重复利用的库和服务，无论他们身在何处。

—-

编译者/作者：上若无旻

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。