
Centralizovano upravljanje logovima pomoću ELK Stack-a
ELK Stack (Elasticsearch, Logstash, Kibana) omogućava prikupljanje, pretragu i vizualizaciju logova sa više servera na jednom mestu. Vodič obrađuje arhitekturu, Docker Compose, Logstash i Kibanu.
Elif Demir
Arhitekta cloud rešenja
Pregledanje logova sa više servera i aplikacija jedan po jedan putem SSH-a je neefikasno i podložno greškama. Pomoću ELK Stack-a (Elasticsearch, Logstash, Kibana) sve logove možete prikupljati, pretraživati i vizualizovati na jednom mestu. Ovaj vodič obrađuje ELK arhitekturu, postavljanje pomoću Docker Compose-a, konfiguraciju Logstash pipeline-a i izradu Kibana dashboard-a.
Arhitektura ELK Stack-a
ELK Stack se sastoji od tri osnovne komponente. Filebeat se dodaje kao lagani agent koji čita log datoteke i šalje ih Logstash-u ili direktno Elasticsearch-u.
| Komponenta | Uloga | Port |
|---|---|---|
| Elasticsearch | Skladištenje logova, indeksiranje i mehanizam za pretragu | 9200 / 9300 |
| Logstash | Prikupljanje, transformacija i usmeravanje logova | 5044 / 5000 |
| Kibana | Vizualizacija logova i dashboard-ovi | 5601 |
| Filebeat | Lagani agent za slanje logova (instalira se na serverima) | - |
Postavljanje ELK-a pomoću Docker Compose-a
ELK Stack možete brzo pokrenuti pomoću Docker Compose-a. Sledeća konfiguracija pokreće Elasticsearch, Logstash i Kibanu jednom komandom.
version: "3.8"
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:8.12.0
environment:
- discovery.type=single-node
- xpack.security.enabled=false
- "ES_JAVA_OPTS=-Xms1g -Xmx1g"
ports:
- "9200:9200"
volumes:
- es_data:/usr/share/elasticsearch/data
networks:
- elk
logstash:
image: docker.elastic.co/logstash/logstash:8.12.0
ports:
- "5044:5044"
- "5000:5000"
volumes:
- ./logstash/pipeline:/usr/share/logstash/pipeline
depends_on:
- elasticsearch
networks:
- elk
kibana:
image: docker.elastic.co/kibana/kibana:8.12.0
ports:
- "5601:5601"
environment:
- ELASTICSEARCH_HOSTS=http://elasticsearch:9200
depends_on:
- elasticsearch
networks:
- elk
volumes:
es_data:
networks:
elk:
driver: bridge
⚠️ Upozorenje: Elasticsearch troši značajnu količinu memorije. U produkciji dodelite najmanje 4 GB RAM-a. Veličinu JVM heap-a podesite na polovinu ukupnog RAM-a pomoću ES_JAVA_OPTS, ali ne prelazite 32 GB.
Konfiguracija Logstash pipeline-a
Logstash pipeline se sastoji od tri faze: input (izvor podataka), filter (transformacija) i output (odredište). Sledeća konfiguracija obrađuje logove iz Filebeat-a i upisuje ih u Elasticsearch.
input {
beats {
port => 5044
}
tcp {
port => 5000
codec => json
}
}
filter {
# Parse Nginx access logs
if [fields][log_type] == "nginx-access" {
grok {
match => {
"message" => "%{IPORHOST:client_ip} - %{DATA:user} \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{DATA:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}"
}
}
date {
match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
}
geoip {
source => "client_ip"
}
}
# Remove unnecessary fields
mutate {
remove_field => ["host", "@version"]
}
}
output {
elasticsearch {
hosts => ["http://elasticsearch:9200"]
index => "logs-%{[fields][log_type]}-%{+YYYY.MM.dd}"
}
}
Slanje logova pomoću Filebeat-a
Filebeat je lagani agent koji čita log datoteke na serverima i šalje ih Logstash-u ili direktno Elasticsearch-u. Treba da bude instaliran na svakom aplikativnom serveru.
filebeat.inputs:
- type: filestream
id: nginx-access
paths:
- /var/log/nginx/access.log
fields:
log_type: nginx-access
- type: filestream
id: app-logs
paths:
- /var/log/app/*.log
fields:
log_type: application
parsers:
- ndjson:
target: ""
output.logstash:
hosts: ["logstash-server:5044"]
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
Upravljanje životnim ciklusom indeksa (ILM)
Logovi neprestano rastu i troše prostor na disku. Pomoću ILM funkcije Elasticsearch-a možete automatski upravljati životnim ciklusom indeksa: fazama hot, warm, cold i delete.
PUT _ilm/policy/logs-policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_size": "50gb",
"max_age": "1d"
}
}
},
"warm": {
"min_age": "7d",
"actions": {
"shrink": { "number_of_shards": 1 },
"forcemerge": { "max_num_segments": 1 }
}
},
"delete": {
"min_age": "30d",
"actions": {
"delete": {}
}
}
}
}
}
💡 Savet: Pomoću ILM-a premestite logove starije od 7 dana na warm čvorove kako biste smanjili troškove SSD-a. Automatski brišite logove starije od 30 dana ili ih arhivirajte u cold skladište. Periode čuvanja prilagodite zahtevima usklađenosti.
Za nadzor servera pogledajte naš vodič o Prometheus + Grafana. Za bezbednost servera pogledajte naš vodič sa kontrolnom listom za učvršćivanje servera. Za kontejnerska okruženja pogledajte naš vodič o Docker Multi-Stage Build-u. Zvanična Elasticsearch dokumentacija i Logstash dokumentacija predstavljaju dragocene dodatne izvore.
Često postavljana pitanja
Koji su minimalni serverski zahtevi za ELK Stack?
Za razvoj je dovoljno 4 GB RAM-a i 2 vCPU-a. U produkciji se za Elasticsearch preporučuju najmanje 8 GB RAM-a, 4 vCPU-a i SSD skladište. Za velike količine logova postavite Elasticsearch klaster (3+ čvora).
Mogu li da koristim Filebeat direktno umesto Logstash-a?
Da, Filebeat može slati logove direktno u Elasticsearch. Međutim, ako su vam potrebne složene transformacije logova (grok, geoip, mutate), potreban vam je Logstash. Za jednostavne JSON logove dovoljan je Filebeat + Elasticsearch.
Koje su alternative ELK Stack-u?
Loki + Grafana (lakši, zasnovan na oznakama), Graylog (jednostavno postavljanje), Fluentd/Fluent Bit (CNCF projekat) i OpenSearch (fork Elasticsearch-a) popularne su alternative. Loki se posebno preferira u Kubernetes okruženjima.
Kako da zaštitim Elasticsearch?
Ne izlažite Elasticsearch javnoj mreži — dozvolite pristup samo iz interne mreže. Uključite autentifikaciju i TLS enkripciju pomoću X-Pack Security. Zaštitite pristup Kibani iza reverse proxy-ja sa HTTPS-om.
Zaključak
Postavite centralizovano upravljanje logovima pomoću ELK Stack-a kako biste sve logove servera i aplikacija pratili sa jednog mesta. Prikupljanje logova podesite pomoću Filebeat-a, transformaciju pomoću Logstash-a, skladištenje pomoću Elasticsearch-a, a vizualizaciju pomoću Kibane. Optimizujte korišćenje diska pomoću ILM politika.
Serveri visokih performansi za ELK Stack
Pokrenite svoju centralizovanu infrastrukturu za logovanje sa poverenjem na Hosted Cloud serverima.
Pogledajte cloud server pakete →Elif Demir
Arhitekta cloud rešenja
Specijalizovana za projekte migracije preduzeća u cloud i dizajn hibridne infrastrukture, sa 8 godina iskustva u AWS, Azure i privatnim cloud okruženjima.
Komentari uskoro