门户支撑平台应急预案.docVIP

2012北联通统一门户支撑平台 端午节期间紧急预案 爱立信（中国）通信有限公司 2012.06.15 目录 1 背景情况 3 2 系统安全措施 3 2.1 系统结构 3 2.2 安全隐患分析 4 3 系统安全操作指南 4 3.1日常巡检 4 3.1.1 现场硬件检查 4 3.1.2 主机巡检 5 3.1.3 信令卡的状态 5 3.1.4 主机面板指示灯状态 6 3.1.5 主机背面电源及风扇状态 6 3.1.6 硬盘指示灯状态 6 3.1.7 存储检查 6 3.1.8 远程系统指令巡检 7 3.1.9 网络设备巡检 9 3.1.10 核心交换机/防火墙 9 3.1.11 故障管理 9 3.2 系统常见故障处理 9 3.2.1 角色分工 9 3.2.2 故障处理流程 10 3.2.3 平台系统故障处理办法 11 3.2.4 网络故障 16 3.4中秋节期间一线保障人员信息 17 3.5故障处理原则及结果归档 17 背景情况 一年一度的传统佳节端午节即将来临，切实做好节日期间全面的通信应急保障工作，加强日常巡检力度，为用户提供安全稳定畅通的通信服务。 系统安全措施 系统结构 统一门户支撑平台示意图如下： 安全隐患分析 从系统平台的角度分析，WAP互联网门户平台系统采用的是Linux的软件平台，不用担心电脑病毒/木马程序的破坏，只需要做好用户名和密码的管理，就可以保证系统安全。 从系统结构的角度分析，在系统内部，网络交换机/防火墙/服务器是主备配置，确保了在出现单点故障的情况下，系统仍然能够正常工作，业务不会受到影响。 系统安全操作指南 从系统安全角度做好湖北联通统一门户支撑平台安全保障工作，保障系统正常平稳的运行，为用户提供可靠的保证，主要工作如下： 3.1日常巡检 现场硬件检查 机房环境巡检 检查内容 检查标准 是否正常 机房空调功率是否足够并保持开机状态。 机房空调功率足够并保持开机状态。 机房温度是否保持在15℃～30℃。 机房温度保持在15℃～30℃。 机房湿度是否保持在40%～65%。 机房湿度保持在40%～65%。 机房是否洁净，大于5mm的灰尘浓度是否小于3×104/m3。 机房洁净，大于5mm的灰尘浓度小于3×104/m3。 机房空间是否足够，通风是否良好。 机房空间足够，通风良好。 是否至少采用两路独立电源为设备供电。 至少采用两路独立电源为设备供电。 设备是否接地。 设备接地。 电源列柜检查 检查内容 检查标准 是否正常 电源电压是否正常。220V 电源电压正常。 电源功率是否正常。 电源功率正常。 电源是否稳定。 电源稳定。 UPS（Uninterruptible Power Supply）是否正常。 UPS正常。 主机巡检 ST　LED灯是两块网络板心跳状态灯 ST Green Orange Red A FPGA初始化完成 电源3正常 B 所有DC/DCs电源OK 电源2正常 运行阶段（通常在此阶段） ST Green Orange Red A（UART基本活动状态） 非活动状态 活动状态 B（以太网心跳连接状态） 活动 警告 心跳已死 C（UART心跳连接状态） 活动 警告 心跳已死 信令卡的状态 检查内容 检查标准 是否正常 OSS状态灯 熄灭为正常 IS状态灯 绿灯为正常 Status状态灯 A绿灯表示正常，B红灯表示未工作。 主机面板指示灯状态 检查内容 检查标准 是否正常 主机加电状态灯 绿色为正常 告警灯 红色为有告警 主机背面电源及风扇状态 检查内容 检查标准 是否正常 电源状态灯 绿色为正常 风扇运转情况 一般以正常速度旋转都正常 硬盘指示灯状态 检查内容 检查标准 是否正常 每块硬盘的指示灯 绿色正常，红色需要马上告警 存储检查 存储面板指示灯状态 检查内容 检查标准 是否正常 面板上的状态指示灯 绿色为正常，橙色表示出现故障 存储所有磁盘运行指示灯状态 检查内容 检查标准 是否正常 硬盘指示灯 每块硬盘的指示灯都应为绿色，出现橙色需要立即报警 存储背面控制器指示灯状态 检查内容 检查标准 是否正常 控制器状态灯（数字1） 正常运行为绿色 远程系统指令巡检 主机巡检 检查内容 检查标准 是否正常 CPU，MEM状况 vmstat 1 10命令查看CPU，MEM的使用率 系统空间使用状况 df -k 命令查看系统空间使用率 应用程序进程检查 ps -ef 检查系统的程序进程是否存在 系统日志检查 检查内容 检查标准 是否正常 系统日志 通过日志查看有无异常，是否正常产生心跳日志：$MSDP