
Distribuirano praćenje pomoću OpenTelemetry-ja: otklanjanje problema u mikroservisima
Distribuirano praćenje pomoću OpenTelemetry-ja prati svaki zahtev kroz mikroservise preko trace ID-jeva i određuje kašnjenje do milisekunde. Vodič obuhvata arhitekturu i integraciju SDK-a.
Can Kaya
Specijalista za bezbednost
U mikroservisnoj arhitekturi jedan korisnički zahtev prolazi kroz više servisa, a kašnjenje ili otkaz u bilo kojoj tački utiče na ceo lanac. Pronalaženje servisa koji stvara usko grlo tradicionalnom analizom logova može trajati satima. Uz distribuirano praćenje (tracing) pomoću OpenTelemetry-ja možete pratiti put svakog zahteva kroz servise od početka do kraja preko trace ID-jeva i odrediti kašnjenje do milisekunde. Ovaj vodič obuhvata sve, od OpenTelemetry arhitekture do integracije SDK-a, od podešavanja Jaeger-a do najboljih praksi za produkciju.
Šta je distribuirano praćenje i zašto vam je potrebno?
Distribuirano praćenje je metoda observability-ja koja prati zahtev kroz sve servise u distribuiranom sistemu. Dok kod monolitnih aplikacija problem otkriva jedan stack trace, u mikroservisima zahtev putuje od API Gateway-a kroz servis za autentifikaciju, servis za porudžbine, servis za plaćanje i servis za obaveštenja.
Svaki servis proizvodi sopstvene logove, ali je povezivanje tih logova teško. Distribuirano praćenje to rešava pomoću trace ID-jeva i span-ova:
| Pojam | Opis | Primer |
|---|---|---|
| Trace | Put zahteva od početka do kraja | GET /api/orders/123 kroz sve servise |
| Span | Pojedinačna jedinica posla unutar trace-a | order-service: upit ka bazi (45ms) |
| Trace ID | Jedinstveni identifikator koji povezuje sve span-ove | 4bf92f3577b34da6a3ce929d0e0e4736 |
| Propagacija konteksta | Prenos informacija o trace-u između servisa | HTTP zaglavlje traceparent |
OpenTelemetry arhitektura
OpenTelemetry (OTel) je observability framework nezavisan od proizvođača, koji razvija CNCF. Podržava tri vrste signala: trace-ove, metrike i logove. Ranije odvojeni projekti OpenTracing i OpenCensus spojeni su 2019. godine u OpenTelemetry.
💡 Zašto OpenTelemetry? Šaljite podatke na bilo koji backend - Jaeger, Zipkin, Datadog, Grafana Tempo ili AWS X-Ray - bez vezivanja za jednog proizvođača. SDK-ovi su dostupni za 11+ jezika, a automatska instrumentacija omogućava da započnete praćenje bez izmena koda.
Osnovne komponente
-
SDK (Software Development Kit) Biblioteka koja se dodaje vašoj aplikaciji. Kreira span-ove, upravlja propagacijom konteksta i šalje telemetrijske podatke exporter-u.
-
OTel Collector Samostalni servis koji prima i obrađuje telemetrijske podatke i izvozi ih ka backendovima. Sastoji se od receiver, processor i exporter pipeline-ova.
-
Backend (Jaeger, Tempo, Zipkin) Sistem koji čuva i vizuelizuje podatke o trace-ovima. Jaeger je open-source opcija spremna za produkciju.
-
Automatska instrumentacija Biblioteke koje automatski prate HTTP, gRPC, pozive baze podataka i redova poruka. Izmene koda nisu potrebne.
Podešavanje Jaeger-a i OTel Collector-a pomoću Docker Compose-a
Jaeger je backend za distribuirano praćenje koji je razvio Uber i CNCF projekat koji je dostigao status graduated. U kombinaciji sa OTel Collector-om prikuplja i vizuelizuje podatke o trace-ovima iz vaših aplikacija.
version: "3.8"
services:
jaeger:
image: jaegertracing/all-in-one:1.54
ports:
- "16686:16686" # Jaeger UI
- "4317:4317" # OTLP gRPC
- "4318:4318" # OTLP HTTP
environment:
- COLLECTOR_OTLP_ENABLED=true
networks:
- tracing
otel-collector:
image: otel/opentelemetry-collector-contrib:0.96.0
command: ["--config=/etc/otel-collector-config.yaml"]
volumes:
- ./otel-collector-config.yaml:/etc/otel-collector-config.yaml
ports:
- "4317:4317" # OTLP gRPC receiver
- "4318:4318" # OTLP HTTP receiver
- "8889:8889" # Prometheus metrics
depends_on:
- jaeger
networks:
- tracing
networks:
tracing:
driver: bridge
Konfiguracioni fajl OTel Collector-a definiše receiver, processor i exporter pipeline:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
processors:
batch:
timeout: 5s
send_batch_size: 1024
memory_limiter:
check_interval: 1s
limit_mib: 512
spike_limit_mib: 128
tail_sampling:
decision_wait: 10s
policies:
- name: errors-policy
type: status_code
status_code: { status_codes: [ERROR] }
- name: slow-traces
type: latency
latency: { threshold_ms: 2000 }
- name: percentage-sample
type: probabilistic
probabilistic: { sampling_percentage: 10 }
exporters:
otlp/jaeger:
endpoint: jaeger:4317
tls:
insecure: true
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, tail_sampling, batch]
exporters: [otlp/jaeger]
⚠️ Važno: U produkciji koristite tail_sampling processor da biste zadržali samo trace-ove sa greškama, spore trace-ove ili određeni procenat trace-ova. Čuvanje svih trace-ova brzo povećava troškove skladištenja. Gornja konfiguracija zadržava 100% zahteva sa greškom, zahteve sporije od 2 sekunde i 10% ostalih.
Podešavanje OpenTelemetry-ja u Node.js aplikacijama
OpenTelemetry SDK za Node.js podržava automatsku instrumentaciju. Express, Fastify, HTTP, gRPC, PostgreSQL, Redis i mnoge druge biblioteke prate se automatski.
npm install @opentelemetry/sdk-node \
@opentelemetry/auto-instrumentations-node \
@opentelemetry/exporter-trace-otlp-grpc \
@opentelemetry/resources \
@opentelemetry/semantic-conventions
Učitajte konfiguraciju za praćenje na samom početku aplikacije (pre ostalih importa):
import { NodeSDK } from '@opentelemetry/sdk-node';
import { getNodeAutoInstrumentations } from '@opentelemetry/auto-instrumentations-node';
import { OTLPTraceExporter } from '@opentelemetry/exporter-trace-otlp-grpc';
import { Resource } from '@opentelemetry/resources';
import { ATTR_SERVICE_NAME, ATTR_SERVICE_VERSION }
from '@opentelemetry/semantic-conventions';
const sdk = new NodeSDK({
resource: new Resource({
[ATTR_SERVICE_NAME]: 'order-service',
[ATTR_SERVICE_VERSION]: '1.2.0',
'deployment.environment': process.env.NODE_ENV || 'development',
}),
traceExporter: new OTLPTraceExporter({
url: process.env.OTEL_EXPORTER_OTLP_ENDPOINT || 'http://localhost:4317',
}),
instrumentations: [
getNodeAutoInstrumentations({
'@opentelemetry/instrumentation-fs': { enabled: false },
}),
],
});
sdk.start();
console.log('OpenTelemetry tracing initialized');
process.on('SIGTERM', () => {
sdk.shutdown().then(() => process.exit(0));
});
Pri pokretanju aplikacije prvo učitajte fajl za praćenje:
# TypeScript
node --require ./tracing.js dist/main.js
# Or with environment variables
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4317 \
node --require ./tracing.js dist/main.js
Podešavanje OpenTelemetry-ja u Python aplikacijama
Python SDK nudi automatsku instrumentaciju za popularne biblioteke, uključujući Flask, Django, FastAPI, SQLAlchemy, Redis i requests.
pip install opentelemetry-distro opentelemetry-exporter-otlp
opentelemetry-bootstrap -a install
# Launch with zero-code instrumentation
OTEL_SERVICE_NAME=payment-service \
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4317 \
opentelemetry-instrument python app.py
Kreiranje ručnih span-ova i obogaćivanje podacima
Automatska instrumentacija automatski prati HTTP pozive i pozive ka bazi podataka, ali za praćenje operacija poslovne logike (validacija plaćanja, provera zaliha, izračunavanje cena) morate kreirati ručne span-ove.
import { trace, SpanStatusCode } from '@opentelemetry/api';
const tracer = trace.getTracer('order-service');
async function processOrder(orderId: string) {
return tracer.startActiveSpan('processOrder', async (span) => {
try {
// Add business logic info to span
span.setAttribute('order.id', orderId);
span.setAttribute('order.source', 'web');
// Child span: inventory check
const stock = await tracer.startActiveSpan(
'checkInventory',
async (childSpan) => {
const result = await inventoryService.check(orderId);
childSpan.setAttribute('inventory.available', result.available);
childSpan.end();
return result;
}
);
// Child span: payment processing
await tracer.startActiveSpan(
'processPayment',
async (paymentSpan) => {
paymentSpan.setAttribute('payment.method', 'credit_card');
await paymentService.charge(orderId);
paymentSpan.end();
}
);
span.setStatus({ code: SpanStatusCode.OK });
} catch (error) {
span.setStatus({
code: SpanStatusCode.ERROR,
message: error.message,
});
span.recordException(error);
throw error;
} finally {
span.end();
}
});
}
💡 Najbolja praksa: Nikada ne dodajte osetljive podatke (brojeve kreditnih kartica, lozinke, lične podatke) u atribute span-a. Dodajte samo informacije o poslovnoj logici koje pomažu pri otklanjanju problema (ID porudžbine, tip korisnika, način plaćanja).
Propagacija konteksta: povezivanje trace-ova između servisa
Da bi distribuirano praćenje radilo, kontekst trace-a mora se prenositi između servisa. Standard W3C Trace Context to postiže preko HTTP zaglavlja traceparent.
# Format: version-traceId-parentSpanId-traceFlags
traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
# 00 = version (W3C spec v1)
# 4bf92f... = 128-bit trace ID
# 00f067... = 64-bit parent span ID
# 01 = trace flags (01 = sampled)
OpenTelemetry SDK-ovi automatski dodaju i čitaju ovo zaglavlje u HTTP zahtevima. Propagacija je podržana i preko gRPC metapodataka, Kafka zaglavlja i AMQP svojstava. Radi besprekorno između servisa pisanih na različitim jezicima: kada Node.js servis poziva Python servis, kontekst trace-a se automatski prenosi.
Postavljanje OTel Collector-a u Kubernetes-u
U Kubernetes-u možete postaviti OTel Collector kao DaemonSet ili Sidecar. DaemonSet pristup pokreće jedan collector po čvoru i prikuplja telemetriju iz svih podova na tom čvoru.
| Model postavljanja | Prednost | Nedostatak |
|---|---|---|
| DaemonSet | Efikasno korišćenje resursa, centralizovano upravljanje | Jedna konfiguracija po čvoru |
| Sidecar | Prilagođavanje po servisu | Veća potrošnja resursa |
| Gateway (Deployment) | Centralizovano uzorkovanje i rutiranje | Rizik od jedne tačke otkaza |
Preporučena produkciona arhitektura: DaemonSet collector-i prikupljaju podatke sa čvorova, Gateway collector obavlja centralizovano uzorkovanje i rutiranje, a zatim prosleđuje podatke Jaeger-u ili Tempo-u.
Najbolje prakse za produkciju
Strategija uzorkovanja
Praćenje svakog zahteva u sistemima sa velikim saobraćajem neodrživo je i sa stanovišta performansi i sa stanovišta skladištenja. Izbor prave strategije uzorkovanja je ključan:
-
Uzorkovanje na početku (head-based) Odluka se donosi na početku zahteva. Jednostavno je i ima malo opterećenje, ali može propustiti zahteve sa greškom. Pogodno za razvojna okruženja.
-
Uzorkovanje na kraju (tail-based, preporučeno) Odluka se donosi nakon završetka trace-a. Zadržava se 100% zahteva sa greškom i sporih zahteva, dok se uzorkuje određeni procenat uspešnih zahteva. Podešava se u OTel Collector-u.
-
Ograničavanje brzine (rate limiting) Ograničite maksimalan broj trace-ova u sekundi. Održava potrošnju memorije collector-a pod kontrolom tokom skokova saobraćaja.
Smanjenje uticaja na performanse
Uticaj OpenTelemetry SDK-a na performanse aplikacije obično iznosi 1-3%, ali pogrešna konfiguracija može da ga poveća. Ključne napomene:
Koristite batch exporter (podrazumevano). Šaljite span-ove u grupama, a ne pojedinačno. Isključite fs instrumentaciju: operacije nad fajl sistemom generišu previše span-ova i obično nisu potrebne. Držite broj atributa razumnim; 10-15 atributa po span-u je dovoljno. Izbegavajte dodavanje dugačkih tekstualnih vrednosti (telo zahteva, SQL upiti) kao atributa.
Za centralizovano upravljanje logovima pogledajte naš vodič za ELK Stack. Za metrike servera pogledajte naš vodič za Prometheus + Grafana. Za orkestraciju kontejnera pogledajte naš uvod u Kubernetes. Zvanična OpenTelemetry dokumentacija i Jaeger dokumentacija korisni su dodatni izvori.
Često postavljana pitanja
Koja je razlika između OpenTelemetry-ja i Jaeger-a?
OpenTelemetry je framework za prikupljanje i prenos telemetrijskih podataka (SDK + Collector). Jaeger je backend koji čuva i vizuelizuje te podatke. OTel proizvodi podatke, a Jaeger ih koristi. Umesto Jaeger-a možete koristiti Grafana Tempo, Zipkin ili Datadog.
Koliko distribuirano praćenje utiče na performanse aplikacije?
Pravilno konfigurisan OpenTelemetry SDK obično dodaje 1-3% opterećenja. Taj uticaj se smanjuje batch exporter-ima, odgovarajućim stopama uzorkovanja i isključivanjem nepotrebnih instrumentacija. Na kritičnim putanjama uzorkovanje na početku (head-based) može dodatno smanjiti opterećenje.
Da li je distribuirano praćenje neophodno za monolitne aplikacije?
Korist od distribuiranog praćenja u jednoj monolitnoj aplikaciji je ograničena. Međutim, ako vaš monolit komunicira sa bazama podataka, kešom (Redis) i spoljnim API-jima, praćenje može biti korisno za nadzor trajanja i grešaka tih poziva. Rana integracija donosi prednost ako planirate prelazak na mikroservise.
Koliko dugo treba čuvati podatke o trace-ovima?
Uglavnom je dovoljno 7-14 dana. Trace-ove sa greškama možete čuvati duže (30 dana). Automatsko brisanje podesite pomoću politika zadržavanja u Jaeger-u. Ako imate zahteve usklađenosti (PCI-DSS, SOC 2), trajanje odredite prema odgovarajućem standardu.
Zaključak
Podesite distribuirano praćenje pomoću OpenTelemetry-ja kako biste od početka do kraja otkrili tačke kašnjenja i greške u svojoj mikroservisnoj arhitekturi. Izgradite telemetrijski pipeline nezavisan od proizvođača uz OTel Collector, kontrolišite troškove skladištenja uzorkovanjem na kraju (tail-based) i vizuelizujte trace-ove preko Jaeger UI-ja.
Infrastruktura visokih performansi za vaše mikroservise
Pouzdano pokrenite infrastrukturu za distribuirano praćenje na Hosted Cloud serverima.
Istražite pakete cloud servera →Can Kaya
Specijalista za bezbednost
Stručnjak za bezbednost sa CISSP sertifikatom, autor sadržaja o sajber bezbednosti, DDoS zaštiti i ojačavanju servera.
Komentari uskoro