上海移动视频中心优化.pptVIP

发现应用程序IO模式 程序每次追加记录时前均需要扫描该文件看是否存在重复记录 客户的程序使用的大量数据文件为连续追加方式（每次追加100个字节内） 所有的数据文件均充满了碎片 文件系统预读效率低下 JFS2默认使用Block Size为4K的文件系统 VxFS默认使用Block Size为1K的文件系统 VxFS上大量的小IO导致应用程序性能低下 解决方法 调整VxFS的Block Size为8K 对 VxFS的文件系统进行动态碎片整理 应用程序IO模式调整 预分配，避免碎片 加大程序的IO Size ！！！开发商不愿意配合，所有对应用程序修改的建议均未能实施 结果 调整后在CFS上，客户的应用程序性能提高到了JFS2的2～3倍左右 在不在线重整文件系统的情况下，运行一端时间后CFS和JFS2取得了一样的性能 * * 19 * * * * * 优势: 卷级数据复制，与应用无关 基于TCP/IP网络协议，传输距离不受限制 同步、异步数据复制 多达32个Rlink，可分别配置，方式灵活 异步方式下，对应用性能没有影响 CFSHA的切换过程—文件系统 Failed Server 使用 CFS HA Active Server Client Active Server Passive Server 1. 发现故障 6. 启动应用 7. 客户端重连接 测试结果: 切换时间减少了近90% 核心业务阵列的切换加速 原理： 阵列的镜像 产品： Symantec Storage Foundation * 核心业务系统 生产卷 主生产盘阵 SAN 容灾阵列 镜像卷 镜像盘阵 1. 本地阵列故障，应用不切换 2. 本地阵列修复，数据增量同步，不影响业务 3 容灾阵列故障，业务无影响 4. 容灾阵列修复 增量同步，业务 无影响 原XX移动BOSS分库架构 应天路生产机房 虎踞路机房 无锡机房 SRDF/S SRDF/S SRDF/AR HP DMX2000 Superdome SRDF/S SRDF/S DMX1000P 异步复制 异步复制 异步复制 异步复制 营帐1 营帐2 营帐3 营帐4 营帐5 营帐6 营帐分库 现XX移动BOSS 系统架构改变 浦口高新机房 无锡机房(DR Site) CA /Asyn ( 300KM,DWDM ) CA CA CA XP24000 XP24000 HP SD CRM1 RAC CRM2 RAC CRM3 RAC CRM4 RAC CRM1 RAC CRM2 RAC CRM3 RAC CRM4 RAC Volume Mirror DMX4 使用symantec CFSHA的7大优势 1.减少视频业务停机时间--- foundation 在线空间在线回收和重利用 发现应用程序IO模式 程序每次追加记录时前均需要扫描该文件看是否存在重复记录 客户的程序使用的大量数据文件为连续追加方式（每次追加100个字节内） 所有的数据文件均充满了碎片 文件系统预读效率低下 解决方法 调整VxFS的Block Size为8K 对 VxFS的文件系统进行动态碎片整理 应用程序IO模式调整 预分配，避免碎片 加大程序的IO Size * 平均分配 业务系统的存储资源池 APP1 APP2 EMC FS/DB LUN VOL FS/DB 600GB VOL 240GB 500GB 容量在初期规划的时候不一定很准确，这样使用一段时间后， 就会出现分配出去的空间使用效率不均衡的问题 通过存储服务管理，可以实现不中断业务的在线调整，即在线容量的回收，在线空间的再分配等 这样就可以有效提高存储的利用率推迟购买计划，降低总拥有成本 2. 增强视频系统的数据可用性----Foundation的快照查询 异构阵列的快照 跨阵列的快照 指针式和全量式的快照 演练式的快照 Foundation的快照查询优势 * VCS 生产 容灾 Prod SG FD SG ? 数据同步 快照查询 主阵列 Snapshot 数据验证 数据查询 3. 在线跨主机平台数据迁移---PDC实现异构数据迁移 * 阵列 阵列 IBM 570X2/590X2 LINUX IBM 格式 IBM 格式 snapshot 在AIX主机产生快照 在LINUX挂载 快照卷的时候 PDC功能实现 LINUX 格式 4.优化视频数据的存储---DST存储的分级存放 根据数据的价值，将数据移到不同的存储层 依据年限、类型和/或使用情况 自动执行，以策略为中心 确保有效使用更经济的存储 支持的技术： 策略框架自动应用 数据移动对于用户、应用程序、工具、脚本来说是透明的 V1 V2 V1 V2 V3 V1 V2 半年话单 /详单 半年-12