Network coding for distributed storage systems.docVIP

Abstract-Distributed存储系统提供可靠的访问通过冗余数据分别分布在不可靠的节点。应用场景包括数据中心、点对点在无线网络存储系统和存储。存储数据使用一个消除代码,碎片分布在节点,需要冗余小于相同级别的简单复制的可靠性。然而,由于片段必须定期替换为节点失败,一个关键的问题是如何生成编码碎片在一个分布式的方式传输数据在网络上。一个擦除编码系统,一个常见的做法来修复从单个节点失败是重建一个新节点整个编码数据对象生成一个编码块。我们表明,这个过程是最优的。我们介绍再生码的概念,它允许一个新的节点沟通从幸存的函数的存储数据节点。我们表明,再生码可以显著减少修复带宽。此外,我们表明,有一个基本存储和修复带宽之间的权衡我们使用流参数在理论上描述适当的构造图。通过调用建设性的结果在网络编码,我们介绍,可以重新生成代码实现任意点在这个最佳的折衷。 我的介绍 分布式存储系统的目的是来存储数据可靠地在长时间使用一个分布式收集单独的存储节点可能是不可靠的。应用程序涉及存储大型数据中心和对等存储系统,如OceanStore[3],总记得[4],和DHash + +[5],使用节点分布在互联网上文件存储。在无线传感器网络中,获得可靠的存储在不可靠的微粒可能是可取的健壮数据恢复[6],特别是在灾难性场景[7]。在所有这些场景中,确保可靠性要求引入的冗余。最简单形式的冗余是复制,它是采用许多实际存储系统。复制的概括,擦除编码提供更好的存储效率。例如,我们可以将一个这 图1。修复问题:假设(4、2)MDS消除代码使用生成4片段(x1,存储在节点。x4)的属性 可以使用任何2来重建原始数据y1,y2。当节点x4失败时,和一个新人x5需要从x1,生成一个擦除片段。x3,什么是最低数量的信息,需要沟通?文件大小米成k块(被称为片段) 大小M / k,编码成n编码片段(相同的大小)使用一个(n,k)最大距离可分(MDS)代码,并将它们存储在n个节点。然后,原文件可以从任何的k编码片段中恢复过来。redundancy-reliability性能是最优的权衡,因为k片段组成,每个片段大小M / k,提供的最低数据恢复的文件,大小。 几个设计[8]、[4]、[5]使用擦除码代替复制。在某些情况下,擦除编码可以实现相同数量级高可靠性的冗余因素相比,复制;看,如。[9]。然而,出现并发症:在分布式存储系统中, 冗余节点必须不断刷新失败或者离开系统,涉及大数据传输网络。这个问题是简单的最好的说明图1的例子:一个数据对象被划分在两个片段y1,y2(说,每个尺寸1 mb),这些编码为四个x1,碎片。x4的大小相同,任何的财产两个的四个可以用来恢复原始y1,y2。现在,假设存储节点x4 x5和一个新的节点失败,新来的,需要与现有的节点进行通信并创建一个新的编码数据包,这样任何两个x1,x2,x3,x5足以恢复。显然,如果新来的可以接收任何两个编码片段(比如从x1,x2), 整个数据对象的重建是可能的可以生成一个新的编码片段(例如制作一个新的独立的线性组合现有的)。然而,这需要沟通2 mb的网络生成一个擦除编码片段2图2。例子:一个修复(4、2)最小储备量重新生成代码。所有的包(箱)这个数字有大小0.5 mb和每个节点存储两个包。请注意,任何两个节点有四个方程,可用于恢复数据,a1、a2、b1、b2。奇偶校验数据包p1,p2,p3用于创建新来的两个包,需要修复带宽为1.5 mb。繁殖系数随机选择和显示的例子是结束了简单的整数(尽管任何足够大的磁场就足够了)。关键的一点是,节点不发送自己的信息,但生成小奇偶校验数据包的数据,并将其转发到新人,他们进一步混合,生成两个新的包。注意,线性组合系数被记录在数据包识别数据包组成。在x5大小1 mb。一般来说,如果一个对象sizeMis分裂在k初始片段,修复带宽这个策略是米位生成的片段大小M / k。相比之下,如果相反,使用复制一个新的可能只是复制品从任何其他现有节点复制,导致没有带宽开销。人们普遍相信这k系数的开销是一个不可避免的缺点,在修复带宽有编码的好处(见,例如,[10])。事实上,所有已知的编码结构需要访问原始数据对象生成编码片段。在本文中,我们表明,令人惊讶的是,存在擦除码,可以没有沟通整个修理数据对象。特别是,(2)的例子,我们表明,新来的1.5 mb修复失败和通信这是信息理论最低(见图2一个例子)。更为普遍的是,我们确定一个之间的权衡存储和修复带宽和显示代码存在这最优折衷曲线上每个点的实现。我们称之为再生码躺在这个最优折衷曲线代码。注意权衡地区计算纠正一个错误在[1]和ac的阈值计算了结果每一个可行的(),对。权衡两个极值点的曲线是特殊的利益,我们称他们为最小储备量再生(MSR)代码和最小带宽再生(MBR)代码。前者对