web服务器日志配置和分析详解讲述.docxVIP

Web服务器日志配置和分析详解 从某种程度上将”日志就是金钱”，因为通过日志能够分析出一个网站具有高流量，则广告商愿意为其支付费用。对于所有的公司或ICP来说，除了要保证网站稳定正常的运行以外，一个重要的问题就是网站访问量的统计和分析报表，这对于了解和监控网站的运行状态，提高各个网站的服务能力和服务水平是必不可少的。而这些要求都可以通过对Web服务器日志文件的统计和分析来实现。 1. web日志分析原理 web服务器日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对日志进行统计、分析和综合，就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布等，更好地加强系统的维护和管理。Web服务模式主要有三个步骤： 服务请求，包含用户端的众多基本信息，如IP地址、浏览器类型、目标URL等。 服务响应，Web服务器接收到请求后，按照用户要求运行相应的功能，并将信息返回给用户。如果出现错误，将返回错误代码。 追加日志，服务器将对用户访问过程中的相关信息以追加的方式保存到日志文件中。如图1 ： 2. Apache日志的配置 2.1. 日志类型 1.3 版本Apache 的标准中规定了4类日志：错误日志、访问日志、传输日志、Cookie日志 其中：传输日志和Cookie日志被Apache 2.0认为已经过时。所以本文仅讨论错误日志和访问日志。同时错误日志和访问日志被Apache 2.0默认设置。 错误日志包含：获知失效链接、获知 CGI 错误、获知用户认证错误 访问日志包含：  访问服务器的远程机器的地址：可以得知浏览者来自何方  浏览者访问的资源：可以得知网站中的哪些部分最受欢迎  浏览者的浏览时间：可以从浏览时间(如工作时间或休闲时间)对网站内容进行调整  浏览者使用的浏览器：可以根据大多数浏览者使用的浏览器对站点进行优化 访问日志分类： 为了便于分析 Apache 的访问日志，Apache 的默认配置文件中，按记录的信息不同(用不同格式昵称说明不同的信息)将访问日志分为4类： 1) 普通日志格式(common log format,CLF)common  大多数日志分析软件都支持这种格式 2) 参考日志格式(referer log format)referrer  记录客户访问站点的用户身份 3) 代理日志格式(agent log format)agent  记录请求的用户代理 4) 综合日志格式(combined log format)combined  结合以上三种日志信息　 2.2. 配置访问日志命令 CustomLog 命令用来对服务器的请求进行日志记录。格式为： 格式1：CustomLog 访问日志文件名 记录格式说明串|格式昵称 格式2：CustomLog |管道程序名 访问日志文件名 记录格式说明串|格式昵称 说明： 访问日志文件名：除非文件位置用”/“开头，否则所制定的文件位置是相对于 ServerRoot 目录的相对路径 格式昵称：使用 LogFormat 命令将一个记录格式说明串赋以一个名称 记录格式说明串：用字符串和格式说明符(以%开头)指定日志记录的内容 管道程序名：管道符”|”后面紧跟着一个程序的路径，这个程序把日志从标准输入设备中读入并处理。 LogFormat 命令用于定义访问日志的记录格式。格式为： LogFormat 记录格式说明串 格式昵称 从apache2.conf 中可知，在Apache 中定义了下面的 4 种类型的访问日志： LogFormat %h %l %u %t \%r\ %s %b \%{Referer}i\ \%{User-Agent}i\ combined   LogFormat %h %l %u %t \%r\ %s %b common   LogFormat %{Referer}i - %U referer   LogFormat %{User-agent}i agent 由于综合日志格式简单地结合了3种日志信息，所以在配置访问日志时，要么使用一个综合文件进行记录，要么使用分离的多个(1-3)文件记录。通常使用一个综合日志格式文件进行记录，配置为： CustomLog /var/log/apache2/access.log combined 若使用3个文件分别进行记录，配置为： CustomLog /var/log/apache2/access.log common  CustomLog /var/log/apache2/referer.log referer  CustomLog /var/log/apache2/agent.log agent 下面的命令组： LogFormat %h %l %u %t \%r\ %s %b common