Logstash简介

支持多种数据获取机制，通过TCP/UDP协议、文件、syslog、windows、EventLogs及STDIN等；获取到数据口，支持对数据进行过滤、修改等操作
JRuby语言研发，工作在JVM中
   agent/server
Logstash安装
yum install logstash-5.2.2.rpm
配置logstash的环境变量：
vim /etc/profile.d/logstash.sh加入：
export PATH=$PATH:/opt/logstash/bin
logstash的配置文件目录：
/etc/logstash/conf.d/下的以.conf结尾的文件
简单的输入输出语法配置：
vim /etc/logstash/conf.d/sample.conf
input {
        stdin {}
}

output {
        stdout {
                codec => rubydebug
        }
}
语法检测：
logstash -f /etc/logstash/conf.d/sample.conf --configtes
启动logstash：
logstash -f /etc/logstash/conf.d/sample.conf

Logstash配置框架：
   input{
       ...
   }
   filter{
       ...
   }
   output{
       ...
   }
四种类型的插件：
   input，filter，codec，output
数据类型：
   Array:[item1,item2,...]
   Boolean:true,false
   Bytes:
   Codec:编码
   Hash:key => value
   Number:
   Password:
   Path:文件系统路径
   String：字符串

字段引用：[]

条件判断：
   ==,!=,<,<=,>,>=
   =~,!~
   in,not in
   and,or
   ()

Logstash的工作流程：input | filter | output，如无需对数据进行额外的处理，filter可以省略
高度插件化：input,codec,filter,output
input插件：
   File：从指定的文件中读取事件流；其工作特性类似于tail -f，第一次读取的时候是从文件的第一行开始的；
           使用FileWatch(Linux内核功能)来监视文件是否发生变化(Ruby Gem库支持以监听多个文件)
           每个文件上一次读取的位置保存在.sincedb数据库中
           .sincedb:记录了每个被监听的文件的inode，major，number，minor number，pos；

Logstash的时间戳问题：
请参考该贴：http://blog.csdn.net/shan1369678/article/details/51375537

Logstash的插件：
   input {
       file {
       path => ["/usr/local/tomcat/logs/catalina.out"]
       type => "tomcat"
       start_position => "beginning"
       }
   }

   output {
       stadout {
       codec => rubydebug
       }
   }

redis插件：
   从redis读取数据，支持redis channel和list两种方式；
   redis查看数据是否写入的方法：LLEN logstash-tomcat
   查看写入数据的内容：LINDEX logstash-tomcat 1

elasticsearch插件kopf的安装
下载地址：https://github.com/lmenezes/elasticsearch-kopf/releases
下载版本：v2.1.2
安装：
/usr/share/elasticsearch/bin/plugin install file:///opt/elasticsearch-kopf-2.1.2.zip
注意这里要修改elastisearch的监听地址，因为默认是监听在127.0.0.1上的
然后即可通过浏览器访问elasticsearch集群：http://IP:9200/_plugin/kopf

kibana4.6.2安装：
yum install -y kibana-4.6.2-x86_64.rpm
配置文件位置：/opt/kibana/config/kibana.yml
启动kibana：systemctl start kibana


filter插件：
   用于在将event通过output发出之前对其实现某些处理功能；
   grok，用于分析并结构化文本数据；目前是logstash中将非结构化日志数据转化为结构化的可查询数据的不二选择。
   syslog，apache，nginx
   模式定义位置：/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns
   语法格式：
   %{SYNTAX:SEMANTIC}
       SYNTAX:预定义模式名称；
       SEMANTIC:匹配到的文本的自定义标识符；

output插件：
   stdout {}
   elasticsearch {
       ...
   }