云存储技术规范.docxVIP

云存储技术规范 ——上海电信互联网部2010年7月总则编写目的为了更好的推进网盘项目招标和工程规范实施，特此编写此技术规范，对系统的各个特性和性能要求提出具体要求，起到规范统一的作用。建设背景和目标随着互联网的急速发展和非结构化数据的爆炸性增长，公众对高效，快速，分布式存储提出了更高的要求。中国电信云存储方案基于这个需求被提出来。适用范围中国电信云存储项目起草单位中国电信股份有限公司上海分公司互联网部解释权中国电信股份有限公司上海分公司互联网部术语解释参考文献设计要求及使用条件总体设计要求要求系统部署合理，提供完善的网络硬盘服务，提供完善的开发接口，提供及时有效的售后服务。使用条件满足一般条件下的使用条件。技术要求及规范平台架构按照解耦和，多模块的观点，要求系统各个模块结构清晰，功能相对独立，便于维护和升级。架构图可以参考如下的模型（图３－１）：③①②（图３－１）图详解：①　存储业务作为磁盘空间，为中国电信内部自有业务提供存储支撑；②　存储业务为公众用户（主要是中国电信客户）提供丰富的个人存储产品和服务；③　云存储系统必须提供丰富的业务接口，以支持开发丰富的上层应用。组网结构按照分布式的组网需求，并充分使用中国电信ＣＮ２骨干网络，要求全国云存储采取分点组网，快速连接。整个组网结构，请参考如下图（图３－２）：（图３－２）功能性要求基础存储服务云存储管理平台提供基础的存储资源池，将多个物理设备上的存储资源虚拟为统一的存储资源池，供上层使用。存储管理设备管理：通过查询域内所有设备的磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而可以操控设备；同时及时了解运行有误的设备，有必要可以采取适当措施保证其正常运行。资源管理：用户可以方便的了解云存储系统的各个节点的服务情况，包括MDS的主备、 MDS\OSN的容量和性能（读IOPS、写IOPS、读流量、写流量）等信息，让用户实时了解域内资源信息，运行状态，从而可以操控这些资源；同时及时了解资源的异常，有必要可以采取适当措施保证其正常运行。策略管理云存储平台提供灵活的存储策略，包括文件的副本数量、异地存储、加密存储、压缩存储、同步或异步存储。可以对用户不同目录设置不同的存储策略。多租户管理云存储平台要求能支持对多租户的管理，可以为每个租户设定存储空间、存储带宽、存储策略、用户数。租户可以设置管理子租户和孙租户，形成目录树结构。统计报表云存储管理平台提供统计报表接口，能够完成用户存储容量、存储数据访问量等数据的统计多线程支持云存储管理平台提供的接口支持多线程及断点续传上传下载文件。跨数据中心部署云存储管理平台要求支持跨数据中心的部署和管理，并支持跨数据中心的用户访问调度、数据迁移、数据异地存储备份等功能。支持集中管理，云存储管理平台部署在全国中心机房，存储节点可以部署在全国各机房中，管理平台对分点机房的存储设备可以统一管理调度。数据写多份云存储平台要求能够针对不同应用或用户的可靠性和性能需求，灵活设置文件存储的副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据不丢失）和读写性能要求的前提下，尽量提高存储空间利用效率，降低存储成本。分级安全服务传输安全云存储系统采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统提供了身份验证与加密通讯方法，目前广泛用于万维网上安全敏感的通讯，例如交易支付方面。云存储提供的业务接口及管理接口都基于Https，从而保证数据的在传输层的安全。存储安全云存储系统在数据存储时，根据条带策略，将用户数据根据侧录进行分条，根据条带策略决定每个分条的大小，数据分条的存储物理位置等。数据的所有分条及布局信息是元数据的一部分内容，由元数据节点统一管理。即使任何一个磁盘、一个云存储节点被盗或被入侵。都无法得知具体的数据内容。入侵者无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。保证数据在存储过程中不被窃取。支持用户指定的目录和文件加密存储。用户和权限控制云存储系统对每份数据都提供丰富的访问控制策略策略，对数据的所有操作都会进行权限检查。访问控制策略包括：用户和权限。内容有哪些信誉好的足球投注网站支持按关键字有哪些信誉好的足球投注网站文件名和文件内容。离线下载关机后也可以雇佣服务器下载，支持HTTP多线程下载。维护管理设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存储服务应用接入接口云存储管理平台提供基于HTTP（SOAP/REST）的应用接入接口，包括对用户所有资源的操作接口、用户容器、