云存储技术交流.pptVIP

* 背景+需求+难点 * 集中式的配置分发 可视化的资源管理，包括节点、存储、内存、网络等各个方面的虚拟的物理的资源管理 灵活的资源分配策略定制 支持以事件为基础的故障挖掘机制 支持自动故障排除（比如通过策略寻找新的资源或者进行服务替换） 支持主动建康状态检查 支持各种级别的可视化系统监控，包括针对：云平台、数据中心、机柜或者某些逻辑的应用系统在内的资源使用率、负载进行有效监控 根据策略进行资源利用率检测并告警 支持可替换和可增加的运维服务接口、逻辑 基于策略的软件升级 支持计费统计接口 管理功能 集中监控 设备管理 管理功能集成整合 提供API供第三方集成开发 设备管理 典型云存储应用场景 用户信息库 网站高速缓存 海量日志存储 大型邮箱系统 智能知识管理系统、数字图书馆 多媒体资源管理、网络硬盘 云存储综合应用 云存储大型邮箱 结构化和非结构化存储综合应用 DataCell DB 作为User DB 用于存储Email Header和Message Body DataCell FS 用于存储Email Attachment 专用 通用 云存储邮箱系统架构 云存储邮箱——物理分布 云存储邮箱——逻辑集中 海量日志存储查询应用系统 通信管理局要求运营商需要将DNS解析系统请求信息的日志数据进行有效存储，以备实时的查询统计，以及后续的数据挖掘与分析所利用。 项目难点： 1. 海量日志数据采用传统数据库存储容量受到限制，性能成为瓶颈 2. 项目预算有限 系统需求： 整个DNS解析系统共约30余台server； 每台server每天产生的日志量约为25G，因此整个系统每天产生日志数据量约为800G； 整个DNS系统每天产生约80亿条日志记录； 需要保存6个月的日志记录（全量约150T）以供实时查询； 单条日志记录在产生10分钟后即可被查询； 每次查询的反应时间控制为10sec以内； 海量日志存储查询技术架构 高可靠性： DataCell DB在设计实现中利用了DHT算法，以系统设置两份拷贝为例，在数据上传过程中，环上面的每个节点和相邻的下一节点均会保存相同的数据，维持两份拷贝。在对系统数据进行读取与查询时，该两个节点都可提供相同的服务与数据支持，分担负载压力。彻底避免了单点失效和性能瓶颈。 系统动态扩容： 在系统存储空间不足时，可进行系统的在线扩容。将安装配置好DataCell DB的服务器节点，直接连入到DataCell DB集群中进行热部署和热扩容。在保证系统服务连续性的前提下，动态平滑扩容，简便快捷。 对于新加入系统的空置节点，系统会自动在适当的时间迁移一部分数据到新节点的存储空间，以保证整个系统节点的存储与负载均衡，消除热点瓶颈。 海量日志存储查询方案要点 完全不需要修改现有业务系统，实现无缝对接； 高效数据总线系统，系统日志异步传输和处理，最大程度降低对现有系统的影响； 分布式数据存储，支持无限数据存储，可动态扩容； 分布式并发访问，高吞吐量； 完全无中心节点设计，没有单点失效和性能瓶颈，确保高可用； 可控的数据多拷贝和导出备份机制，单机故障不会导致数据损失，数据更加可靠； 简便直观的系统监控管理工具，大大简化了系统部署流程，实时监控，确保系统的高效可靠运行； 对海量日志数据的高性能查询，满足业务需求 海量日志存储查询方案特点 Cache系统使用技术架构 大型多媒体网站 大型多媒体网站并发访问量过万，涉及内容发布、在线音视频、互动资料共享等多种复杂应用。 海量数据+大型并发环境下，数据层成为整个系统的瓶颈。 一期支持十万并发，要求未来能快速扩充 大型多媒体网站技术架构 功能测试和稳定性测试 在指定的时间内（连续72小时），测试系统的稳定性和数据正确性 性能测试 在不同的测试规模下产生的系统吞吐量并处理量 测试FS在不同的压力的情况下系统的负载和工作情况 扩展性测试 系统节点规模增加后系统吞吐量变化情况 云存储测试维度 并发操作写性能测试 100%读、100%写 读写混合1:1、2:8、8:2 文件大小 客户端数量变化 扩展性测试 存储节点规模5、10、25、100 … 云存储测试方法 谢 谢 * * * * 难点： 传统常用的数据库方案在大数据量场景下性能很难保障 项目预算限制 * Coordinator 协调 云存储技术交流 “云计算在国内电信运营商迅速兴起，天云科技作为云计算解决方案提供者，也作为云能力构建的专家使能者，希望能够与各位专家共同探讨云存储方面的应用。” For What? 天云科技投资人 天云科技是由宽带资本(CBC)投资，基于中国本土，研发中心在美国硅谷的新型系统集成公司。我们的定位是帮助中国企业