深入研究Cassandra后重读Dynamo.pdfVIP

深入研究Cassandra 后 重读Dynamo Paper 2010 年7 月 Schubert Zhang 重新认真地研读了Dynamo Paper ，读的很慢，足足花了一个星期的时间。与上次读该Paper 不同，这次带着Cassandra 的实现来理解它。但最终得出了负面的结论：不认为Dynamo 的 架构是个好架构，在大规模的生产系统中，这个架构引入了太多复杂性和设计原则矛盾。或 者说Dynamo 的架构对于存储大规模的数据是不合适的。 Cassandra 社区目前还非常活跃，但通过一段时间对Cassandra 的研究、使用和理解，感 觉Dynamo 的架构约束在Cassandra 中也带来了不少问题，而为解决这些问题引入的复杂性 和维护性问题也开始突出。随着多个曾经选择Cassandra 的公司（Twitter、Flowdock 、Facebook 的rumor ，Digg 和Reddit 虽然仍在按计划倚重Cassandra，但估计难逃失败）宣布 “暂时” 离开Cassandra，我们也要重新基于我们自己的理解来审视这个架构。 记得同样出自Facebook 的Joydeep Sen Sarma (Hive 的作者之一) 曾经写过一篇blog : Dynamo: A flawed architecture 挑Dynamo 的毛病，以前没有仔细看，重新读一读发现他的评 论似乎有点吹毛求疵，啥问题也没讲清楚，没有太多参考价值。但我认为Dynamo 的架构缺 陷确实是存在的：用这种Consistency Hash 的环状拓扑来做存储系统，特别是大规模(每个节 点存储数百GB、数TB 甚至数十TB)存储系统，是不合适的。要想真的弄清楚问题，还是 要结合Cassandra 来仔细读一读Dynamo 的Paper 。 下面就个人理解，对一些问题进行粗略的讨论。 1. 采用consistent hashing 实现数据partitioning 带来的问题，Scalability 问题。 分布式存储系统必然要把数据partition/distribute 到不同的节点上存储，4.2 节和图2 描 述了基于consistent hashing 的partitioning algorithm ，那是一个类似Chord 的hash ranges 组成的ring 。但这种相对刚性的hash partitioning 方法，在节点加入、节点故障和balancing 等方面的处理是相当复杂的。 (1) 首先，设计原则中节点的动态对ring 中其他节点的影响最小的原则将被打破。 在4.2节中有这样的原则描述“The principle advantage of consistent hashing is that departure or arrival of a node only affects its immediate neighbors and other nodes remain unaffected. ”但为了 balancing和节点的能力异构的支持，打破了这个原则：“To address these issues, Dynamo uses a variant of consistent hashing (similar to the one used in [10, 20]): instead of mapping a node to a single point in the circle, each node gets assigned to multiple points in the ring. To this end, Dynamo uses the concept of “virtual nodes”. A virtual node looks like a single node in the system, but each node can be responsible for more than one virtual node. Effectively, when a new node is added to th