EMC Data Domain架构体系.docx

EMCData Domain架构体系本文将会介绍EMC Data Domain?数据坚不可摧架构（Data Invulnerability Architecture）。?SISL的定义:?EMC Data Domain?基于SISL，它的全称是Stream-Informed Segment Layout（SISL），它使得EMC Data Domain实现了内联的数据消重技术，使用fingerprint和RAM来定义磁盘上的segment，避免了为了检查磁盘上的segment而出现的繁重的磁盘读操作。1.为了检查fingerprint处理了98%的segment而不要求读磁盘。在数据被写入磁盘之前，98%的重复的segment在RAM中就被标识。2.使用更新更快的CPU和RAM来扩充Data Domain系统，随着CPU性能的提升，直接增加新数据处理吞吐率3.通过减少磁盘访问，减少磁盘损耗。??基础术语：??Segment（图中箭头1）：在DD系统里数据被切割成数据段。Fingerprint（图中箭头2）：每个segment都有一个fingerprint ID（segment ID）。Filter（图中箭头3）：对RAM中的fingerprint做判断。假如fingerprint ID是新的，则继续，假如fingerprint ID是重复的，参考，则删除。Compress（图中箭头4）：使用通用压缩技术对新的segment组做压缩。Write（图中箭头5）：把segment（包括fingerprint，metadata和log）写入container，再把container写入磁盘。??数据坚不可摧架构（Data Invulnerability Architecture）的定义：?Data Domain操作系统（DD OS）是为数据保护而建的。DIA架构是重要的EMC Data Domain技术，提供安全可靠的存储，它包括4种技术：端到端验证、故障避免和遏制、持续的故障监测和治愈、文件系统恢复。DIA提供数据完整性、可恢复性和磁盘保护，实现数据安全。下面重点介绍下这4种技术。??数据坚不可摧架构（Data Invulnerability Architecture）的端到端验证：???端到端验证技术检查所有的文件系统数据和元数据，它的基本流程是：1.备份软件产生写数据请求；2.分析数据重复性；3.保存新的数据segment；4.保存校验和（checksum）；5.在发生备份I/O之后，DD OS验证它可以从磁盘上通过DD文件系统读取这些数据；6.验证读取到的校验和与备份时写入磁盘的校验和一致。如果流程中发生错误，DD通过自我治愈和系统警告再次备份。由于存储系统上的任何部分都可能产生错误，端到端验证能容易地确保数据完整性。端到端验证意味着写入后再读取数据，并把它和发送给磁盘的数据作比较，证明数据可通过文件系统和磁盘进行访问。??数据坚不可摧架构（Data Invulnerability Architecture）的故障避免和遏制：??Data Domain系统具备一个特制的日志结构的文件系统，它的特质包括：1.新数据从不覆盖好的数据，DD系统从不把已经备份好的数据至于危险之中。传统的文件系统常常在数据发生变化时覆盖老的数据块，并继续使用老的数据块地址。DD文件系统只把数据写入新的数据块，分离了由于不正常的数据覆盖造成老数据块损坏的可能性。如图所示，data container log从不覆盖或者更新老的数据块。新数据都写入到新的container。2.几乎没有复杂的数据结构。在传统的文件系统中，有许多的数据结构（例如：空闲数据块位图和参考数）支持快速数据块更新。对于备份软件，系统开销主要是新数据的顺序写入。而Data Domain系统比较简单，它只需很少的数据结构，来记录data container log头部的信息。这种设计极大的降低了由于软件问题导致的数据损毁。3.DD系统包含不挥发的内存（NVRAM），NVRAM的写缓存中存放了所有未保存在磁盘上的数据，可实现安全快速的重启，确保断电过程中没有数据丢失。??数据坚不可摧架构（Data Invulnerability Architecture）的持续的故障监测和治愈：???持续的故障监测和治愈提供了一个额外的数据保护级别，它持续地监测故障并恢复，它的基本流程是：1.DD系统周期性的检查RAID条带和container log的完整性；2.DD系统使用RAID 6来实现冗余性的故障保护；3.每次读数据的时候，都会验证数据完整性；4.任何监测到的错误都会被治愈。??数据坚不可摧架构（Data Invulnerability Architecture）的文件系统恢复：??文件系统回复