转载：http://blog.chinaunix.net/xmlrpc.PHP?r=blog/article&uid=17291169&id=4898582
随着业务的增长，web服务器的增加，网站规模扩张，作为系统管理员需要分析网站的访问情况，在应用层方面，我们可以嵌入js来统计网站的pv 独立ip，回头率，访问区域热点图等，常见的有piwiki ，cnzz站长数据统计，在系统管理层方面常见的Nginx 日志分析工具有很多，goAccess，awstats.. 这里主要介绍如何在centos 6.5 上面安装ELK，以及logstash的grok，mutate,进入正题
192.168.1.49 # redis 服务器，角色broker
192.168.1.139 # logstash 角色indexer 服务器，集成elasticsearch，kibana，必须有安装web服务
192.168.1.65 # Nginx服务器，角色生产服务器，logstash需要收集它的日志
安装logstash-1.4.2
点击(此处)折叠或打开
#yum-y install java-1.7.0-openjdk
@H_301_53@#wget https:/@H_301_53@download.@H_301_53@elasticsearchorg/@H_301_53@logstash/logstash/logstash-@H_301_53@1@H_301_53@4@H_301_53@2@H_301_53@tar@H_301_53@gz
@H_301_53@#tar xzvf logstash@H_301_53@gz@H_301_53@C /app/ && mvlogstash-1.4.2 logstash
@H_301_53@#mkdir -p /app/logstash/conf
测试安装
#/logstash-e'input { stdin { } } output { stdout {} }'
输入“hello,world”,如果出现类似下图，说明logstash正常工作
下一步，安装elasticsearch-1.4.2
#wget https/download.elasticsearch/elasticsearch/elasticsearch/elasticsearch.4.2.tar.gz
#tar xzvf elasticsearch-1.4.2.tar.gz-C /app/
#cd /app/elasticsearch-1.4.2/config
修改elasticsearch配置文件elasticsearch.yml，并且修改以下记录
discovery.zen.ping.multicast.enabled:false #关闭广播，如果局域网有机器开9300 端口，服务会启动不了
@H_301_53@network@H_301_53@host@H_301_53@192@H_301_53@168@H_301_53@139 #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）
@H_301_53@http@H_301_53@cors@H_301_53@allow@H_301_53@origin:"/.*/"
@H_301_53@enabled@H_301_53@true #这2项都是解决跟kibana集成的问题，错误体现是 你的elasticsearch 版本过低，其实不是
启动elasticsearch@H_462_301@/elasticsearch # 配置阶段建议直接启动，日志会输出到stdout，-d 选项表示以daemon的方式启动，如果没有出现error ，表示服务正常启动
测试logstash 跟elasticsearch数据交互
点击(此处)折叠或打开
#bin/logstash@H_301_53@'input { stdin { } } output { elasticsearch { host => 192.168.1.139@H_301_53@} }'
@H_301_53@#@H_301_53@curl 'http://192.168.1.139@H_301_53@:9200/_search?pretty' # 如果有输出且没有出现错误@H_301_53@表示服务器交互成功
点击(此处)折叠或打开
@H_301_53@#cd /app/logstash/vendor
#vim kibana/config.js #elasticsearch: "http://"+window.location.hostname+":9200",修改成"http://192.168.1.139:9200"
@H_301_53@#cp -Rv kibana /path/to/wwwroot
安装redis-server（192.168.1.49）
点击(此处)折叠或打开
#tar xzvf redis-2.6.16.gz-C /app
@H_301_53@#make target=linux26
@H_301_53@#./src/redis-serverredis.conf # daemonize yes 使用默认的配置文件
点击(此处)折叠或打开
input {
redis {
host => '192.168.1.49' # 我方便测试没有指定password，最好指定password
data_type => 'list'
port => "6379"
key => 'logstash:redis' #自定义
type => 'redis-input' #自定义
}
}
output {
elasticsearch {
host => "192.168.1.139"
codec => "json"
protocol => "http" #版本1.0+ 必须指定协议http
}
}
点击(此处)折叠或打开
安装logstash 日志入口节点（192.168.1.65），logstash 安装方式和139上面雷同，主要是配置文件Nginx_access.conf
点击(此处)折叠或打开
input {
@H_301_53@file {
@H_301_53@}
@H_301_53@}
@H_301_53@output {
@H_301_53@redis {
'192.168.1.49'
@H_301_53@data_type'list'
@H_301_53@key'logstash:redis'
@H_301_53@}
redis服务器上面如图
OK，没有问题，下一步如何用logstash 分析Nginx 访问日志
==============================================================
logstash 的工作流程分为3个核心部分，input filter output，input 事件定义数据来源，filter 定义如何处理数据流，output顾名思义输出到哪儿，常见的工作是如何格式化输出日志
大部分都是用filter的grok，mutate，grok 按官方的解释是格式化日志输出方便以后查询，是按照预先定义的pattern 解析日志,mutate 用的最多是修改日志，格式化“filed”，
如图是未经格式化的Nginx日志
经过格式化后日志
设定Nginx 访问grok
点击(此处)折叠或打开
@H_301_53@#cd /app/logstash/patterns
@H_301_53@NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NginxACCESS %{IPORHOST:remote_addr} - - \[%{HTTPDATE:time_local}\] "%{WORD:method} %{URIPATH:path}(?:%{URIPARAM:param})? HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}
#NginxACCESS %{IPORHOST:remote_addr} - - \[%{HTTPDATE:time_local}\] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}
关于pattern的debug 可以用官网推荐的线上debug工具https://grokdebug.herokuapp.com/,附图
修改logstash Nginx_access配置文件,内容如下
#input { stdin { } } #方便测试
@H_301_53@filter {
@H_301_53@grok {
@H_301_53@match@H_301_53@{"message""%{NginxACCESS}"@H_301_53@#mutate {
@H_301_53@#gsub["param""\?"""]
@H_301_53@#split"request""?"]
@H_301_53@#add_field"params""%{request[1]}"] #split 数组取值
@H_301_53@# date {
@H_301_53@# match"time_local""dd/MMM/yyyy:HH:mm:ss Z"@H_301_53@# }
@H_301_53@}
@H_301_53@}
附上kibana 展示图一张
