Centralizovano upravljanje logovima pomoću ELK Stack-a

Centralizovano upravljanje logovima pomoću ELK Stack-a

ELK Stack (Elasticsearch, Logstash, Kibana) omogućava prikupljanje, pretragu i vizualizaciju logova sa više servera na jednom mestu. Vodič obrađuje arhitekturu, Docker Compose, Logstash i Kibanu.

E

Elif Demir

Arhitekta cloud rešenja

21. mart 2026.14 min čitanja0

Pregledanje logova sa više servera i aplikacija jedan po jedan putem SSH-a je neefikasno i podložno greškama. Pomoću ELK Stack-a (Elasticsearch, Logstash, Kibana) sve logove možete prikupljati, pretraživati i vizualizovati na jednom mestu. Ovaj vodič obrađuje ELK arhitekturu, postavljanje pomoću Docker Compose-a, konfiguraciju Logstash pipeline-a i izradu Kibana dashboard-a.

Arhitektura ELK Stack-a

ELK Stack se sastoji od tri osnovne komponente. Filebeat se dodaje kao lagani agent koji čita log datoteke i šalje ih Logstash-u ili direktno Elasticsearch-u.

Komponenta Uloga Port
Elasticsearch Skladištenje logova, indeksiranje i mehanizam za pretragu 9200 / 9300
Logstash Prikupljanje, transformacija i usmeravanje logova 5044 / 5000
Kibana Vizualizacija logova i dashboard-ovi 5601
Filebeat Lagani agent za slanje logova (instalira se na serverima) -

Postavljanje ELK-a pomoću Docker Compose-a

ELK Stack možete brzo pokrenuti pomoću Docker Compose-a. Sledeća konfiguracija pokreće Elasticsearch, Logstash i Kibanu jednom komandom.

docker-compose.yml
version: "3.8"
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.12.0
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
    ports:
      - "9200:9200"
    volumes:
      - es_data:/usr/share/elasticsearch/data
    networks:
      - elk

  logstash:
    image: docker.elastic.co/logstash/logstash:8.12.0
    ports:
      - "5044:5044"
      - "5000:5000"
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
    depends_on:
      - elasticsearch
    networks:
      - elk

  kibana:
    image: docker.elastic.co/kibana/kibana:8.12.0
    ports:
      - "5601:5601"
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    depends_on:
      - elasticsearch
    networks:
      - elk

volumes:
  es_data:

networks:
  elk:
    driver: bridge

⚠️ Upozorenje: Elasticsearch troši značajnu količinu memorije. U produkciji dodelite najmanje 4 GB RAM-a. Veličinu JVM heap-a podesite na polovinu ukupnog RAM-a pomoću ES_JAVA_OPTS, ali ne prelazite 32 GB.

Konfiguracija Logstash pipeline-a

Logstash pipeline se sastoji od tri faze: input (izvor podataka), filter (transformacija) i output (odredište). Sledeća konfiguracija obrađuje logove iz Filebeat-a i upisuje ih u Elasticsearch.

logstash/pipeline/logstash.conf
input {
  beats {
    port => 5044
  }
  tcp {
    port => 5000
    codec => json
  }
}

filter {
  # Parse Nginx access logs
  if [fields][log_type] == "nginx-access" {
    grok {
      match => {
        "message" => "%{IPORHOST:client_ip} - %{DATA:user} \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{DATA:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}"
      }
    }
    date {
      match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
    }
    geoip {
      source => "client_ip"
    }
  }

  # Remove unnecessary fields
  mutate {
    remove_field => ["host", "@version"]
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "logs-%{[fields][log_type]}-%{+YYYY.MM.dd}"
  }
}

Slanje logova pomoću Filebeat-a

Filebeat je lagani agent koji čita log datoteke na serverima i šalje ih Logstash-u ili direktno Elasticsearch-u. Treba da bude instaliran na svakom aplikativnom serveru.

filebeat.yml
filebeat.inputs:
  - type: filestream
    id: nginx-access
    paths:
      - /var/log/nginx/access.log
    fields:
      log_type: nginx-access

  - type: filestream
    id: app-logs
    paths:
      - /var/log/app/*.log
    fields:
      log_type: application
    parsers:
      - ndjson:
          target: ""

output.logstash:
  hosts: ["logstash-server:5044"]

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

Upravljanje životnim ciklusom indeksa (ILM)

Logovi neprestano rastu i troše prostor na disku. Pomoću ILM funkcije Elasticsearch-a možete automatski upravljati životnim ciklusom indeksa: fazama hot, warm, cold i delete.

ILM Policy (Kibana Dev Tools)
PUT _ilm/policy/logs-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50gb",
            "max_age": "1d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "shrink": { "number_of_shards": 1 },
          "forcemerge": { "max_num_segments": 1 }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

💡 Savet: Pomoću ILM-a premestite logove starije od 7 dana na warm čvorove kako biste smanjili troškove SSD-a. Automatski brišite logove starije od 30 dana ili ih arhivirajte u cold skladište. Periode čuvanja prilagodite zahtevima usklađenosti.

Za nadzor servera pogledajte naš vodič o Prometheus + Grafana. Za bezbednost servera pogledajte naš vodič sa kontrolnom listom za učvršćivanje servera. Za kontejnerska okruženja pogledajte naš vodič o Docker Multi-Stage Build-u. Zvanična Elasticsearch dokumentacija i Logstash dokumentacija predstavljaju dragocene dodatne izvore.

Često postavljana pitanja

Koji su minimalni serverski zahtevi za ELK Stack?

Za razvoj je dovoljno 4 GB RAM-a i 2 vCPU-a. U produkciji se za Elasticsearch preporučuju najmanje 8 GB RAM-a, 4 vCPU-a i SSD skladište. Za velike količine logova postavite Elasticsearch klaster (3+ čvora).

Mogu li da koristim Filebeat direktno umesto Logstash-a?

Da, Filebeat može slati logove direktno u Elasticsearch. Međutim, ako su vam potrebne složene transformacije logova (grok, geoip, mutate), potreban vam je Logstash. Za jednostavne JSON logove dovoljan je Filebeat + Elasticsearch.

Koje su alternative ELK Stack-u?

Loki + Grafana (lakši, zasnovan na oznakama), Graylog (jednostavno postavljanje), Fluentd/Fluent Bit (CNCF projekat) i OpenSearch (fork Elasticsearch-a) popularne su alternative. Loki se posebno preferira u Kubernetes okruženjima.

Kako da zaštitim Elasticsearch?

Ne izlažite Elasticsearch javnoj mreži — dozvolite pristup samo iz interne mreže. Uključite autentifikaciju i TLS enkripciju pomoću X-Pack Security. Zaštitite pristup Kibani iza reverse proxy-ja sa HTTPS-om.

Zaključak

Postavite centralizovano upravljanje logovima pomoću ELK Stack-a kako biste sve logove servera i aplikacija pratili sa jednog mesta. Prikupljanje logova podesite pomoću Filebeat-a, transformaciju pomoću Logstash-a, skladištenje pomoću Elasticsearch-a, a vizualizaciju pomoću Kibane. Optimizujte korišćenje diska pomoću ILM politika.

Serveri visokih performansi za ELK Stack

Pokrenite svoju centralizovanu infrastrukturu za logovanje sa poverenjem na Hosted Cloud serverima.

Pogledajte cloud server pakete →

Podelite

E

Elif Demir

Arhitekta cloud rešenja

Specijalizovana za projekte migracije preduzeća u cloud i dizajn hibridne infrastrukture, sa 8 godina iskustva u AWS, Azure i privatnim cloud okruženjima.

Komentari uskoro