为什么用QKFile存储大量数据

QKFile最吸引人的特点是什么？哪些地方是大家担心的？本篇文章就为大家一一做讲解针对于这些有大量数据处理需求的用户来说，QKFile吸引他们的关键因素以及他们的忧虑是什么？一、在大量(多达10TB)二进制文件通过非常耗时的模拟产生。因此恰当地保存这些文件非常重要(一旦丢失文件，意味着得重新模拟，耗时长达几个月)。把文件分享给同事也很重要，不幸的是，在实际操作中这很难实现。比如说，我在欧洲工作，就无法下载存储在斯坦福数据库几TB的模拟数据集，要花很长的时间才能办到。二、就目前了解到的QKFile相关信息来说，重点是能通过QKFile分布式网络快速寻找到离你最近的节点（人），从而提高文件分享速度，不再是基于一个中央储存库。但同时也了解到这样就不能再复制了，网络中的每个节点只存储它“感兴趣”的内容。三、大多数公司把大型工作负载存储在 EMC Isilon 或 Netapp，我的工作是存储销售这块，几乎所有的顾客都想把大量的工作档案存储在 AMS (亚马逊旗下云计算服务平台)或 Azure(微软云计算服务平台) – 这总是比较容易实现。因此，档案存储用例会是一个有趣的切入点，尤其是在数据生成量达到PB级的行业，比如媒体或研究领域。四、我在一家网络用户行为研究公司工作，类似于谷歌分析(Google Analysis)。跟踪代码每天产生几TB的数据，我们把数据存储在 AWS S3，设置有效期限，把总量控制在几百TB内。我们正在寻求减少数据重复的方法，以节约成本。每天有数百万个时域(session)，一旦配置QKFile后，意味着整个网络上会有数百万个QKFile节点(短期的，几秒到几十分钟)。我相信这能释放QKFile的最大潜力。五、当用户访问一个站点时，我们监看和记录网页产生的所有DOM更改，保存 session，便于之后用于分析。目前我们需要这些东西：1. 版本控制(version control)。现在我们用的是一种差异算法来计算DOM更改，把原始数据和差异都存入文档。通过QKFile的树对象技术，我们能够减少很多重复内容，节约大量空间。2. 可靠的push (或上传) 方法。我用 PubSub(发布/订阅模式)演示过，似乎还无法保证内容接收。因为标签可能随时关闭，我们需要在微秒之内将数据push到后台。3.真正的千万量级网络节点，让网络更开放、更安全、速度更快六、我的理解是，它允许我们在一个地点随机且可根据需求更改的广义系统中，可以把一切事物都看做节点、服务和工作者 — 比如，它可以让你模糊服务端和客户端之间的区别。取代了强制将服务端和客户端进行二分的方式，让你可以在一台接近数据的设备或一台距离很远的设备上进行分析，或者将数据复制到一个新的地点进行分析。某种程度上这样简化了你的代码基，因为你可以少编写一些能让客户端应用、工作者重复利用的库和服务，无论他们身在何处。

—-

编译者/作者：工藤胖虎

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。