Linux死机问题定位.docx

文档名称文档密级  TIME \@ yyyy-M-d 2017-6-12华为机密，未经许可不得扩散第PAGE9页, 共 NUMPAGES \* Arabic \* MERGEFORMAT 9页 现象初步判断： 判定是否死机： 首先需要确定是否真正的死机了，而往往有些现象被现场误认为是死机了。是否死机的确定方法有如下： 对于直接死掉的，没有任何反应的情况下，看看键盘输入是否有效，putty是否能够登陆，BMC是否能够登录； 通过last reboot确认是否死机？死机的时间？ 通过在messages中对应的时间点看是否有imklog启动的日志？并在这个时间点前是否收到关机信号或者异常打印？ 通过在boot.msg中对应时间点有启动的相关记录，并同时查看在boot.omsg中是否有关机的相关日志打印？ 有哪些信誉好的足球投注网站：Shutting down关键字看是否存在关机 是否人为操作 出现系统重启现象，往往被认为是系统死机后然后重启的，这就通过重启现象了来认为系统死机过，但是这种系统重启是否是由于死机造成的，需要进行确定。 通过同现场人员进行沟通，确认是否为人为的重启？比如按电源、拔电源等人为动作？ 通过history中查询在系统重启时的时间点附近有reboot或halt、shutdown、init？ 通过在BMC日志中确认是否有通过BMC的操作进行系统的重启操作？ 对于直接拔电源致使系统重启的操作，在messges和boot.omsg中是没有相关的信息记录的，表现为系统日志和业务运行日志在同一时间全部消失。 对于按电源、命令进行重启操作，在messages中能够看到系统收到关机或者重启的信息，同时在boot.omsg中会有关机时的关闭系统服务的关机过程信息。 对于在BMC上直接进行关机或者重启操作，信息记录就比较复杂了。而对于此种情况，在messages中和boot.omsg中是看不到相关的信息记录，同直接拔电源一样的。 处理步骤： 1、日志尽快获取： 在现场反馈出现死机问题后，第一时间反馈相关日志，并尽量多尽量准确全面，等待的时间越长日志可能就已覆盖，或清除，或环境重搭，致使定位工作受到阻碍。 死机问题发生的时间点 如果发生死机问题时测试或维护人员在场，需反馈死机问题发生的精确时间。 死机具体现象描述 死机问题的发生通常伴随着系统和业务方面的异常现象，系统异常包括服务器重启、系统挂死（如BMC黑屏）、系统迟缓（如命令无法执行或响应时间过长）、网络中断（如Ping检测失败）、登陆失败（如无法远程登陆或卡死在登陆界面）、文件系统异常（如文件只读或系统命令失效）等等；操作失败、超时、执行无返回等。 项目结果服务器重启[OK/NOK]系统挂死（BMC或KVM黑屏）[OK/NOK]系统延缓（如命令无法执行或响应时间过长）[OK/NOK]网络中断（如Ping检测失败）[OK/NOK]登陆失败（如无法远程登陆或卡死在登陆界面）[OK/NOK]文件系统异常（如文件只读或系统命令失效）[OK/NOK]业务异常则包括主备HA[OK/NOK]操作失败[OK/NOK]命令执行超时[OK/NOK] 此外，同样现象的死机问题是否多次出现、出现频率也需要反馈。 死机时段具体操作 主要指死机时段内对整个系统（包括硬件和软件）进行的各种操作，包括但不限于对服务器上下电、更换硬件、拔插网线、更改交换机配置、监控及日志查询。 此外还包括死机之前对问题服务器的各种操作，如执行脚本或系统命令、拷贝/删除/修改文件、启动/停止系统服务、挂载本地或远端目录等。 2.组网、硬件和BMC信息反馈 组网、硬件信息有助于定位人员从宏观把握整个系统以及借鉴之前的经验，而内置在服务器中BMC系统收集的信息有时更能为死机问题定位提供直接的依据。 组网信息 组网信息主要包括网络规模（服务器、交换机数目）、硬件类型（防火墙、服务器、交换机型号）、网络配置（IP地址规划、交换机配置）、物理连线图等。 硬件信息 硬件信息主要包括发生死机的服务器类型（RH2285、E6000、T6000或其它服务器）、CPU型号与数目、内存大小、本地硬盘容量与数目、BIOS配置等，此外建议信息收集人员尽可能反馈组网内其它服务器、其它设备的硬件信息，便于定位人员横向对比。 服务器各种硬件信息查询如下： CPU型号与数目 对于管理、存储节点，使用“cat /proc/cpuinfo”命令获得；对于计算节点使用“cat /proc/cpuinfo”仅能获得domain0中的CPU信息，可以通过“xm dmesg”命令查看所有的CPU信息。 内存大小 对于管理、存储节点，使用“cat /proc/meminfo”命令获得；对于计算节点使