收集數(shù)據(jù)：LogstashAgent
建立索引：ElasticSearchCluster
數(shù)據(jù)可視乎：KilbanaServer
| 主機(jī) | 操作系統(tǒng) | 主機(jī)名/IP地址 | 主要軟件 |
|---|---|---|---|
| 服務(wù)器 | CentOS7-x86 | node1/192.168.45.128 | Elasticsearch、kibana |
| 服務(wù)器 | CentOS7-x86 | node2/192.168.45.129 | Elasticsearch |
| 服務(wù)器 | CentOS7-x86 | apache/192.168.45.133 | Logstatsh |
1.關(guān)閉防火墻及安全功能
重慶分公司
重慶分公司
systemctl stop firewalld.service
setenforce 02.修改主機(jī)名配置文件
vim /etc/hosts
192.168.142.152 node1
192.168.142.153 node23.遠(yuǎn)程掛載資源包
mount.cifs //192.168.142.1/elk /mnt4.安裝軟件包
cd /mnt
rpm -ivh elasticsearch-5.5.0.rpm5.加載系統(tǒng)服務(wù)
systemctl daemon-reload6.開機(jī)自啟動(dòng)服務(wù)
systemctl enable elasticsearch.service7.備份配置文件
cd /etc/elasticsearch/
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak8.修改elasticsearch主配置文件
vim /etc/elasticsearch/elasticsearch.yml
#第17行,取消注釋并修改集群名稱
cluster.name: my-elk-cluster
#第23行,取消注釋修改節(jié)點(diǎn)名字
node.name: node1
#第33行,取消注釋修改數(shù)據(jù)存放路徑
path.data: /data/elk_data
#第37行,取消注釋修改日志存放路徑
path.logs: /var/log/elasticsearch/
#第43行,取消注釋并修改,取消在不啟動(dòng)時(shí)鎖定內(nèi)存
bootstrap.memory_lock: false
#第55行,取消注釋并修改地址,放入所有的地址(0.0.0.0代表所有地址)
network.host: 0.0.0.0
#第59行,取消注釋,放開服務(wù)端口
http.port: 9200
#第68行,取消注釋修改節(jié)點(diǎn)名稱
discovery.zen.ping.unicast.hosts: ["node1", "node2"]9.創(chuàng)建數(shù)據(jù)庫(kù)存放路徑
mkdir -p /data/elk_data10.授權(quán)數(shù)據(jù)庫(kù)存放路徑
chown elasticsearch:elasticsearch /data/elk_data/11.開啟elasticsearch服務(wù)
systemctl start elasticsearch.service12.查看端口服務(wù)狀態(tài)
netstat -ntap | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 96970/java13.安裝編譯環(huán)境
yum install gcc gcc-c++ make -y14.解壓node節(jié)點(diǎn)軟件包
cd /mnt
tar zxvf node-v8.2.1.tar.gz -C /opt15.配置node
cd /opt/node-v8.2.1/
./configure16.編譯安裝
make && make install1.解壓phantomjs軟件包
cd /mnt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src2.切換目錄查看phantomjs命令
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64//bin
ls
phantomjs3.復(fù)制目錄到系統(tǒng)目錄
cp phantomjs /usr/local/bin/1.解壓elasticsearch-head軟件包
cd /mnt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src2.安裝elasticsearch-head數(shù)據(jù)可視化工具
cd /usr/local/src/elasticsearch-head/
npm install
3.修改elasticsearch主配置文件
vim /etc/elasticsearch/elasticsearch.yml
#末行添加以下內(nèi)容
http.cors.enabled: true
http.cors.allow-origin: "*"4.開啟elasticsearch服務(wù)
systemctl restart elasticsearch.service5.啟動(dòng)后臺(tái)運(yùn)行
npm run start &6.查看服務(wù)端口狀態(tài)
netstat -ntap | grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 50105/grunt
[root@node1 elasticsearch-head]# netstat -ntap | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 96970/java
回到概覽即可看到創(chuàng)建好的索引!
#安裝Apache服務(wù)
yum install -y httpd
#遠(yuǎn)程掛載資源包
mount.cifs //192.168.142.1/elk /mnt
#切換到掛載點(diǎn)
cd /mnt
#安裝logstash
rpm -ivh logstash-5.5.1.rpm
#開機(jī)自啟動(dòng)logstash服務(wù)
systemctl enable logstash.service
#啟動(dòng)logstash服務(wù)
systemctl start logstash.service
#建立命令軟鏈接到系統(tǒng)
ln -s /usr/share/logstash/bin/logstash /usr/local/bin
#切換日志目錄
cd /var/log
#授予他人讀取權(quán)限
chmod o+r messages
#查看權(quán)限
ll
#切入logstash配置目錄
cd /etc/logstash/conf.d/
#編輯文件
vim system.conf
#寫入以下內(nèi)容,用以收集系統(tǒng)日志
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
#地址指向node1節(jié)點(diǎn)
hosts => ["192.168.142.152:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
#重啟服務(wù)
systemctl restart logstash.service
#切入掛載點(diǎn)
cd /mnt
#安裝kibana
rpm -ivh kibana-5.5.1-x86_64.rpm
#切入kibana目錄
cd /etc/kibana/
#備份kibana.yml文件
cp kibana.yml kibana.yml.bak
#修改kibana.yml文件
vim kibana.yml
#取消第2行的注釋,放開5601端口
server.port: 5601
#取消第7行的注釋并修改地址,放入所有的地址(0.0.0.0代表所有地址)
server.host: "0.0.0.0"
#取消第21行的注釋并指向node1節(jié)點(diǎn)的url
elasticsearch.url: "http://192.168.142.152:9200"
#取消第30行注釋,放開kibana首頁(yè)
kibana.index: ".kibana"
#啟動(dòng)kibana服務(wù)
systemctl start kibana.service
#編輯Apache日志配置文件
vim apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.142.152:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.142.152:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
#重啟服務(wù),稍等片刻!
logstash -f apache_log.conf
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
