创新成果材料－BOSS系统数据生命周期分层管理机制.docVIP

附件1：成果上报申请书 成果名称 BOSS系统数据生命周期分层管理机制 成果申报单位 成果承担部门 /分公司 项目负责人姓名 成果专业类别 业务支撑 成果研究 类别 其他 省内评审 结果 优秀 关键词索引（3～5个） 海量数据 分层管理 管理方式 文章摘要（200字左右）：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 任何数据都有存在的生命周期,对BOSS系统而言，时间越久的数据访问频率越低，随着移动业务高速发展，如果不进行生命周期管理，会出现大量冗余数据存在生产系统中，造成不被经常访问的数据占用了宝贵的资源，影响系统性能。同时数据库太大，对系统备份、恢复、维护、升级改造都是很大的难题。山东公司通过对BOSS数据建立生命周期分层管理机制，减缓了主生产库的增长规模，提高系统安全运行与故障恢复能力，降低了对存储设备的扩容压力，提高了资源利用率，降低了扩容成本。经初步测算，应用2年以来，共为山东公司节省了2000万左右的投资，并大大提高降低了系统的可维护能力，对系统做到了可控。 省内试运行效果（300字以上）：描述试运行方案、取得的效果、推广价值和建议等。 省内试运行方案： 通过对BOSS系统数据进行全面梳理，将数据划分为5个层次，不同层次的数据采用不同的管理方法和存储档次，建立了从高端存储、中低端存储、带库的从高到底的数据存放体系以及数据库表压缩、文件系统压缩存放和查询、数据均分处理防止热点、历史库、文件压缩等一系列管理手段和方法，达到了减缓主生产库的增长规模、提高系统安全运行与故障恢复能力、降低对存储设备的扩容压力、提高资源利用率和系统效率、降低扩容成本的既定目标。 取得的效果： 通过对通话清单和结算清单以及部分日志实施在线文件系统压缩查询技术，节省了95T的高端存储容量，并可以推广到其他数据的压缩。 通过将不需要生产系统联机访问的数据，但是需要在线访问，主要表现为需要访问但是访问频率非常低，仅供后台人员访问的数据存放到中低端存储建立历史库方式，大大降低生产系统容量，提高了系统性能和可维护性，实际经验表明，仅仅将生产库历史数据清理到历史库后，生产系统性能压力降低20％，营业和帐务核心数据库的容量降低30％，节省了75T的高端裸容量存储。 通过对需要生产系统联机访问，包含几个月前的详单、帐单等，如果不保存会影响生产的数据进行在线数据库内压缩，节省了25T的高端裸容量存储。 同时每个生产库的规模均维持在较低的水平，提高了可控制和可维护能力。 仅考虑计算节省的存储投资，即为95＋75＋25＝195T高端裸容量，按照每1T投资10.5万计算，共约节省2000万人民币。 推广价值： 本体系具备很高的推广价值，每个管理手段和方法均可独立推广使用，对每个省的BOSS系统军具有推广价值。 推广建议： 建议按照如下步骤进行推广： 1、重点对当前系统进行梳理评估，确定分层数据列表 2、制定使用计划和方案，确定采用的管理手段。 3、定制管理方式，自动或人工干预执行等 文章主体（3000字以上，可附在表格后）：见下页 综述 （一）进行数据生命周期管理的意义 1、任何数据都有存在的生命周期 从上图可以看出，时间越久的数据访问频率越低。 2、移动业务高速发展，如果不进行生命周期管理，会出现大量冗余数据存在生产系统中，造成不被经常访问的数据占用了宝贵的资源，影响系统性能。 3、数据库太大，对系统备份、恢复、维护、升级改造都是很大的难题。通过数据生命周期管理，可以减缓主生产库的增长规模，提高系统安全运行与故障恢复能力 4、可以降低对存储设备的扩容压力，提高资源利用率，降低扩容成本。 （二）数据生命周期管理的六阶段论 根据国际上一些软硬件厂商的研究理论，任何数据都要经历创建、保护、访问、迁移、归档回收6个阶段并形成闭环。 对BOSS系统来说，数据生命周期管理主要存在如下几个方面： 1、数据管理 内容涵盖数据设计、分类、分层存储、迁移移动、清理等。根据数据的重要性可以分为多层，在数据管理方面，对业务的考虑相对较少，重点就是数据的管理。 2、数据保护 内容包括数据归档保护、容灾保护等。在数据保护上需要按照业务重要性程度对数据进行分类保护。 目前山东公司已经实现双中心关键业务降级容灾。 二、数据管理 （一）BOSS系统现状 目前BOSS系统的数据量情况如下： 在用三户资料数据:3T 单月营业流水和日志: 800G 单月详单:6T 单月结算清单: 2.5T 单月服务开通工单: 500G 单月帐单:200G 单月固定费用清单:600G 每月各类排重数据：3T 在2003年BOSS系统数据库拆分2个区后, 目前单营业库已经达到5T,帐务库达到5T,增长非常迅速。 下图是山东公司历年来存储扩容的