【优质】故障管理与故障分析.pptVIP

中国科技网网络中心 运行部 2009年9月9日 故障管理与故障分析 中国科技网战略目标的转变 工作重点由运维转向服务 十二个地区分中心成立 沈阳、长春、兰州、西安、新疆、上海、南京、武汉、广州、成都、昆明、合肥 三级运维体制 网络中心、地区分中心、所级网管 网络中心与地区分中心、所级网管员一起共同承担运维工作 向所级网管申报 向地区分中心申报 向网络中心申报 北京网络中心 7x24小时申报电话Email noc@ 承诺一站式申报受理 地区分中心申报热线 沈阳长春上海广州南京武汉 * 中国科学院计算机网络信息中心 中国科技网 All rights reserved * 中国科学院计算机网络信息中心 中国科技网 All rights reserved 李宏 Tellihong@ 运维体制 故障申报 故障分级 故障管理 故障分析 典型故障 故障控制 运维体制 网络中心 地区分中心 分院研究所 分院研究所 京外独立所 京区研究所 运维体制 故障申报 成都昆明新疆西安兰州合肥故障申报 特大故障 一级故障 二级故障 三级故障 故障分级 特大故障 故障定义：特大故障是指全网瘫痪、核心网络部分瘫 痪、分中心节点网络瘫痪或50%以上用户 上网受影响的事件 响应时间：立即响应 处理要求：立即处理 故障上报：立即上报 故障分级 故障定义：骨干线路中断、国际线路中断、国内互联 互通线路中断、BGP中断或Ospf中断， 核心网、分中心线路不可用，核心网、分 中心设备不可用，20%用户上网受影响的 事件 响应时间：立即响应 处理要求：立即处理 故障升级：1小时未能解决，升级为特大故障 一级故障 故障分级 故障定义：所级出口设备故障，所级出口线路故障， 路由、病毒爆发等故障，影响全所上网 响应时间：立即响应 处理要求：立即处理 故障升级：1小时未解决，升级为一级故障 二级故障 故障分级 故障定义：线路丢包，个别网站不可达，以及其他非 中断性网络问题，网络基本可用 响应时间：立即响应 处理要求：立即处理 故障升级：4小时未解决，升级为二级故障 三级故障 故障分级 故障管理 中国科技网与IBM公司合作，引进先进的ITIL标准的管理理念，开发流程管理系统，针对故障、配置以及工作流程等进行有效管理 故障管理 故障定级、录入 短信通知 故障处理记录 故障自动升级 故障统计报表 故障排查数据库 故障分析 我们对中国科技网近期发生的故障进行了初步的统计分析 故障分析 1、以下故障仍然是故障的主要来源 线路故障 内网故障 安全问题 路由故障 2、重大故障的原因 运行商线路割接 机房停电 线路损坏 安全（病毒、ddos攻击） 3、机房环境故障成上升趋势 供电、空调故障 4、用户端发生的故障超过50% 故障分析 主动发现问题的能力大有改观，科技网仍将继续努力提高主动发现问题的能力 典型故障 骨干网故障 故障描述： 线路中断，路由器pos端口双down 处理过程： 1、需要单位网管员配合，首先检查两端设备 2、向电信运营商申报故障 3、打环测试，进行故障隔离定位 排障总结： 处理类似故障，非常需要用户端网管员配合 如果配合及时，会大大提高故障处理的效率 典型故障 所级出口设备故障 故障现象： 某独立所用户申报，所内用户上不了网 处理过程： 1、检查线路没有问题，远程登录路由器 2、发现所级出口路由器上有大量NAT配置，引起cpu资源耗尽 3、取消NAT配置，故障排除 排障总结： 这是典型的因用户在出口路由器上配置不当，引起故障 不建议用户在出口路由器上，做针对内网管理的配置 典型故障 内网设备板卡故障 故障现象： 监控发现，京区某用户网络中断 处理过程： 1、第一时间联系所级网管，确认是内网交换机板卡故障 2、网络中心立即派出2名工程师，去协助所级网管处理故障 3、更