ELK日志采集系统搭建

介绍

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具：

Packetbeat（搜集网络流量数据） Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据） Filebeat（搜集文件数据） Winlogbeat（搜集 Windows 事件日志数据）

配置要求

系统： Ubuntu 16.04

硬件： 4G以上内存

软件： JAVA版本1.8以上，NODEJS v8.3.0（用于安装head）

软件列表版本(v5.5.1)

Elasticsearch
Kibana
Logstash
filebeats

安装步骤

安装JAVA 1.8

安装NODEJS 8.3.0

安装Elasticsearch

sudo mkdir /opt/elk
sudo mv elasticsearch-5.5.1.tar.gz /opt/elk
sudo tar -xvf elasticsearch-5.5.1.tar.gz
sudo cp elasticsearch-5.5.1/config/elasticsearch.yml elasticsearch-5.5.1/config/elasticsearch.yml.bk
sudo vi elasticsearch-5.5.1/config/elasticsearch.yml

# elasticsearch.yml
cluster.name: my-application
node.name: node-1
path.data: /data/elk/es/data
path.logs: /data/elk/es/data
network.host: 192.168.0.1
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

# 启动
./opt/elk/elasticsearch-5.5.1/bin/elasticsearch

# 测试
http://192.168.0.1:9200

安装elasticsearch-head插件

cd /opt/elk
sudo git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
cnpm install
cnpm install -g grunt

# 启动
grunt server

# 测试
http://192.168.0.1:9100

安装kibana

sudo cp kibana-5.5.1-linux-x86_64.tar.gz /opt/elk
sudo tar -xvf /opt/elk/kibana-5.5.1-linux-x86_64.tar.gz
sudo cp /opt/elk/kibana-5.5.1-linux-x86_64/config/kibana.yml /opt/elk/kibana-5.5.1-linux-x86_64/config/kibana.yml.bk
sudo vi /opt/elk/kibana-5.5.1-linux-x86_64/config/kibana.yml

# kibana.yml
server.port: 5601
server.host: "192.168.0.1"
elasticsearch.url: "http://192.168.0.1:9200"

# 启动
./opt/elk/kibana-5.5.1-linux-x86_64/bin/kibana serve

# 测试
http://192.168.0.1:5601

安装logstash

sudo cp logstash-5.5.1.tar.gz /opt/elk
sudo tar -xvf /opt/elk/logstash-5.5.1.tar.gz
sudo mkdir /opt/elk/logstash-5.5.1/conf.d
sudo vi /opt/logstash-5.5.1/conf.d/test.yml

# test.yml
input {
  beats {
    port => "5044"
  }
}

filter {
    grok {
        match => {
            "message" => "^(?m)%{GREEDYDATA:logdate} %{DATA:module} Thread-%{INT:thread_num} %{WORD:function} %{DATA:position} %{WORD:log_level} %{GREEDYDATA:log_message}$"
        }
    }
    date {
        match => ["logdate", "yyyy-MM-dd HH:mm:ss"]
        target => "@timestamp"
        add_tag => ["t_match"]
    }
}

output {

  elasticsearch {
    hosts => "192.168.0.1:9200"
    index => "logstash-%{+YYYY.MM.dd}"
  }
  stdout {
    codec => rubydebug
  }
}

# 启动
./opt/elk/logstash-5.5.1/bin/logstash -c /opt/elk/logstash-5.5.1/bin/logstash/test.yml

安装filebeats

sudo cp filebeat-5.5.1-linux-x86_64.tar.gz /opt/elk
sudo tar -xvf /opt/elk/filebeat-5.5.1-linux-x86_64.tar.gz
sudo vi /opt/elk/filebeat-5.5.1-linux-x86_64/test.yml

# test.yml
filebeat:
  prospectors:
  -
      paths:
        - /data/logs/test.log
      input_type: log
      document_type: TEST

      multiline.pattern: "^2017"
      multiline.negate: true
      multiline.match: after

output:
   logstash:
    hosts: ["192.168.0.1:5044"]

# 启动
./opt/elk/filebeat-5.5.1-linux-x86_64/filebeats -e -c /opt/elk/filebeat-5.5.1-linux-x86_64/test.yml