《Linux网络日志分析与流量监控》.pdf

第 1 章 网络日志获取与分析 1 第一篇 日志分析基础 第 1 章 网络日志获取与分析 企业信息系统中会包含多种设备，如路由器、防火墙、IDS/IPS 、交换机、服务器和 SQL 数据库等。各种复杂的应用系统和网络设备每天都产生大量的日志，如果不加以处理， 查找如此海量的数据，对管理员来说如同一场噩梦。本章将介绍如何获取并分析各类系统的 日志。学习好本章内容，将为后续章节的案例分析打下良好的基础。 1.1 网络环境日志分类 1.1 网络环境日志分类 本书把网络环境中各种复杂的日志分为三类：操作系统日志（UNIX/Linux ，Windows 等）、网络设备日志（路由交换设备、安全设备）、应用系统日志（Web 等各种网络应用）。 本节仅对各种系统日志做一个分类，其细节在 1.2 节～1.14 节中讲解。 1.1.1 UNIX/Linux 系统日志 UNIX/Linux 的系统日志能细分为三个日志子系统： （1）登录时间日志子系统：登录时间日志通常会与多个程序的执行产生关联，一般情况 下，将对应的记录写到/var/log/wtm 和/var/run/utmp 中。为了使系统管理员能够有效地跟踪谁 在何时登录过系统，一旦触发 login 等程序，就会对 wtmp 和 utmp 文件进行相应的更新。本 书中很多网络取证案例都会涉及这两个登录文件。 （2 ）进程统计日志子系统：主要由系统的内核来实现完成记录操作。如果一个进程终 止，系统就能够自动记录该进程，并在进程统计的日志文件中添加相应的记录。该类日志能 够记录系统中各个基本的服务，可以有效地记录与提供相应命令在某一系统中使用的详细统 计情况。 （3 ）错误日志子系统：其主要由系统进程 syslogd （新版Linux 发行版采用 rsyslogd 服 务）实现操作。它由各个应用系统（例如 Http 、Ftp 、Samba 等）的守护进程、系统内核来 自动利用 syslog 向/var/log/messages 文件中进行记录添加，用来向用户报告不同级别的事件 （第3 章将详细讲解这部分内容）。 UNIX/Linux 系统的主要日志文件格式表述如下： （1）基于 syslogd 的日志文件。该类型主要采用 Syslog 协议和 POSIX 标准进行定义，其 日志文件的内容通常以 ASCII 文本形式存在，一般由以下几部分组成：日期、时间、主机 名、IP 地址和优先级等。syslog 优先级可以分为 0、1、2 、3、4 、5、6 和 7 级共 8 个级别， 每个级别对应不同的核心程序所产生的日志。 2 UNIX/Linux 网络日志分析与流量监控 （2 ）应用程序产生的日志文件。这种类型的日志文件通常是ASCII 码的文本文件格式。 到目前为止，大多数 UNIX/Linux 系统中，运行的程序会自动将对应的日志文件向 syslogd 进 行统一发送，并由 syslogd 最终进行统一的处理。该类型的日志文件能够参考 syslogd 进行处 理。大部分应用层的日志默认会存储在/var/log/messages 目录下，如图 1-1 所示。在这个目 录下，我们会看到很多熟悉的名字，比如/var/log/httpd/access_log 是由 Apache 服务产生的日 志文件；再比如/var/log/samba 是由 Samba 服务产生的日志文件；这种存储方式在日志量不 大时，通过过滤等方法就可以找出感兴趣的关键字。但如果服务日志需要归档处理就不可行 了。下面几节中将给出解决方法。 图 1-1 /var/log/messages 默认存放的日志 （3 ）操作记录日志文件：此类型的文件主要包括两类。 1）对各个终端的登录人员进行记录的日志信息 lastlog 。该信息采取二进制的方式进行 存储（无法使用 vi 等编辑器直接打开），记录内容主要有：用户名、终端号、登入 IP、登入 使用时间等。 2 ）系统中的邮件服务器在运行的时候需要进行记录的日志 maillog ，它的文件格式