AI i hosting: zahtevi infrastrukture za AI aplikacije

Pravilno dimenzionišite hosting za AI aplikacije: GPU memorija, CPU, RAM i NVMe, motori za serviranje, skaliranje i kontrola troškova za trening, fino podešavanje i inferenciju.

M

Merve Arslan

Stručnjak za WordPress i hosting

16. oktobar 2026.8 min čitanja0

Većina AI projekata počinje na laptopu ili u upravljanom notebook okruženju i tamo izgleda jeftino. Iznenađenja stižu kada isti projekat treba da opslužuje prave korisnike: model koji je u demou stao u memoriju ne staje pored drugog istovremenog zahteva, kašnjenje raste, a mesečni račun ne liči na procenu. Hostovanje AI aplikacije nije isti posao kao hostovanje sajta. Usko grlo se pomera sa CPU-a i diska na GPU memoriju, propusnost memorije i brzinu učitavanja težina modela. U ovom vodiču objašnjavamo šta treba dimenzionisati, kojim redosledom i kako da ne platite hardver koji ne možete da zaposlite.

Počnite od opterećenja: trening, fino podešavanje ili inferencija

Infrastruktura koja vam treba mnogo više zavisi od toga šta radite sa modelom nego od toga koji model birate. Postoje tri različita opterećenja i svako na drugačiji način opterećuje hardver.

  • Trening od nule zahteva mnogo GPU-ova, brze veze među njima i veliko, brzo skladište za skupove podataka i kontrolne tačke. Malo timova van istraživačkih laboratorija i velikih kompanija to radi.
  • Fino podešavanje (fine-tuning) prilagođava postojeći model vašim podacima. Uz metode efikasne po broju parametara, kao što su LoRA i QLoRA, jedan GPU sa 24 do 48 GB memorije može da obradi modele od 7B do 13B parametara.
  • Inferencija je pokretanje gotovog modela za korisnike. To je ono što preduzeća najčešće zaista hostuju, i to je dugotrajna usluga sa očekivanjima u pogledu kašnjenja, a ne grupni posao.

Budite iskreni oko toga šta gradite. Timu koji samo poziva API hostovanog modela za čet-bota GPU možda uopšte nije potreban, dok je timu koji služi fino podešen model otvorenih težina sa privatnim podacima potreban. Odluka između pozivanja API-ja i sopstvenog hostovanja obično se svodi na osetljivost podataka, predvidljiv obim i potrebu za kontrolom nad kašnjenjem.

💡 Savet: Pre nego što iznajmite bilo koji GPU, izmerite stvarnu potražnju: broj zahteva u minuti u vršnom času, prosečnu dužinu upita i odgovora i kašnjenje koje će vaši korisnici tolerisati. Ta tri broja određuju sve odluke o dimenzionisanju u nastavku.

Prvo ograničenje je GPU memorija

Za inferenciju je prvo pitanje da li model staje u GPU memoriju (VRAM). Same težine zauzimaju otprilike broj parametara pomnožen brojem bajtova po parametru. Model od 7B u 16-bitnoj preciznosti traži oko 14 GB, model od 13B oko 26 GB, a model od 70B oko 140 GB. Kvantizacija to snažno menja: u 4-bitnoj preciznosti isti model od 70B pada na oko 35 do 40 GB, uz određenu cenu u kvalitetu koju treba da proverite na sopstvenim zadacima.

Težine su samo deo budžeta. Memorija je potrebna i za KV keš, koji raste sa dužinom konteksta i brojem istovremenih zahteva, kao i za aktivacije i režijske troškove framework-a. Česta greška je dimenzionisanje prema težinama i otkrivanje pod opterećenjem da za keš više nema mesta.

Veličina modelaTežine u 16 bitaTežine u 4 bitaTipična polazna tačka
7B~14 GB~4 GBJedan GPU od 24 GB
13B~26 GB~8 GBJedan GPU od 48 GB ili 24 GB kvantizovano
34B~68 GB~20 GBJedan GPU od 80 GB ili 48 GB kvantizovano
70B~140 GB~38 GBDva GPU-a od 80 GB ili jedan od 48 do 80 GB kvantizovano

Ove vrednosti su približne i ne uključuju KV keš. Posmatrajte ih kao donju granicu i ostavite rezervu od 20 do 30 odsto. Ako model ne staje na jednu karticu, tenzorski paralelizam ga deli na više GPU-ova, ali tada veza između GPU-ova postaje važna: kartice u istom serveru povezane preko NVLink-a ponašaju se bitno drugačije od kartica koje komuniciraju samo preko PCIe.

Naš vodič šta je GPU server detaljnije obrađuje porodice hardvera, a Hosted Cloud GPU serveri prirodan su izbor kada vašem modelu treba namenska memorija akceleratora.

CPU, sistemski RAM i skladište takođe su važni

Lako je potrošiti ceo budžet na GPU i izgladneti sve oko njega. Slab CPU ne može da tokenizuje zahteve, obavi pretprocesiranje i postprocesiranje ili dovoljno brzo da napaja akcelerator, pa GPU stoji neiskorišćen dok ga vi plaćate.

  • CPU: Za inferenciju planirajte najmanje 4 do 8 vCPU-a po GPU-u, a više ako radite teško pretprocesiranje, kao što je promena veličine slika, dekodiranje zvuka ili parsiranje dokumenata.
  • Sistemski RAM: Dobro pravilo je bar onoliko sistemskog RAM-a koliko iznosi ukupan VRAM, jer se fajlovi modela učitavaju kroz memoriju i, kod prebacivanja na CPU (offloading), prelivaju u nju. Skladišta embeddinga i vektorski indeksi takođe žive u RAM-u.
  • Skladište: Za težine modela koristite NVMe. Učitavanje modela od 70B sa sporog diska može potrajati više minuta, što svaki restart i svako automatsko skaliranje pretvara u prekid rada. Skupove podataka i kontrolne tačke držite na odvojenim volumenima da ne konkurišu saobraćaju usluge.
  • Mreža: Ako modele pri pokretanju preuzimate iz registra ili objektnog skladišta, protok direktno utiče na vreme hladnog starta.

Za generisanje potpomognuto pretragom (RAG) dodajte vektorsku bazu. PostgreSQL sa ekstenzijom pgvector dovoljan je za mnoge aplikacije, a Redis dobro služi za keširanje embeddinga i čestih odgovora. Namenski vektorski motori imaju smisla kada kolekcija dostigne više miliona vektora.

Izbor steka za serviranje

Način na koji pokrećete model važan je koliko i hardver. Naivna skripta koja obrađuje jedan zahtev u isto vreme troši većinu GPU-a. Savremeni inferencijski serveri koriste kontinuirano grupisanje (continuous batching), koje spaja zahteve pristigle u različito vreme u isti prolaz unapred, i paginiranu pažnju (paged attention), koja efikasno upravlja KV keš memorijom.

  • vLLM je popularan open-source motor za serviranje velikih jezičkih modela visokom propusnošću, sa API-jem kompatibilnim sa OpenAI-jem.
  • Hugging Face Text Generation Inference (TGI) nudi sličan skup funkcija i jaku podršku za uobičajene porodice modela.
  • llama.cpp i Ollama odlični su za kvantizovane modele na skromnom hardveru i za razvoj, uz nižu vršnu propusnost pri velikoj istovremenosti.
  • NVIDIA Triton Inference Server odgovara mešovitim opterećenjima koja kombinuju više tipova modela, uključujući i modele koji nisu LLM.

Minimalan produkcioni početak sa Dockerom, uz pretpostavku da je instaliran NVIDIA Container Toolkit, izgleda ovako:

docker run -d --gpus all --name llm \
  -p 127.0.0.1:8000:8000 \
  -v /data/models:/root/.cache/huggingface \
  --ipc=host --restart unless-stopped \
  vllm/vllm-openai:latest \
  --model your-org/your-model \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90

Port vežite za localhost i ispred njega postavite reverse proxy, kao što je opisano u vodiču za Nginx reverse proxy. Nikada ne izlažite inferencijsku tačku bez autentikacije na internet: to je otvoren poziv svakome ko želi besplatnu procesorsku snagu.

Skaliranje i kašnjenje

AI saobraćaj je naglo promenljiv, a svaki zahtev je skup, pa skaliranje traži više pažnje nego kod uobičajene veb aplikacije. Važne su dve metrike: vreme do prvog tokena, koje određuje koliko je čet responzivan, i broj tokena u sekundi, koji određuje koliko brzo stiže ceo odgovor.

Horizontalno skaliranje znači pokretanje više replika iza balansera opterećenja. GPU replike se sporo pokreću jer se težine moraju učitati, pa skalirajte prema dubini reda ili broju istovremenih zahteva umesto prema CPU-u, i za saobraćaj okrenut korisnicima držite topli minimum umesto skaliranja na nulu. Ako radite na Kubernetesu, vodič za HPA automatsko skaliranje objašnjava prilagođene metrike, a uvod u Kubernetes osnovne pojmove.

Praktični načini da smanjite kašnjenje i trošak bez kupovine dodatnog hardvera:

  • Keširajte identične ili slične upite i njihove odgovore.
  • Za lake zahteve koristite manji model, a samo teške usmeravajte na veliki.
  • Kvantizujte tamo gde testovi kvaliteta to dozvoljavaju.
  • Strimujte tokene klijentu da korisnici odmah vide izlaz.
  • Ograničite dužinu konteksta i izlaza po zahtevu da zaštitite KV keš.

Kontrola troškova i bezbednost

GPU koji je iznajmljen non-stop, a zauzet četiri sata dnevno, najčešći je izvor rasipanja. Uporedite namenski kapacitet, koji je predvidiv i jeftin po satu pri visokoj iskorišćenosti, sa kapacitetom na zahtev, koji odgovara promenljivim ili eksperimentalnim opterećenjima. Naše poređenje bare metal i cloud servera direktno se odnosi na ovu odluku, a vodič za dimenzionisanje bare metal servera pomaže oko računice.

Bezbednost zaslužuje istu pažnju kao performanse. Upiti često sadrže lične ili poverljive podatke, pa primenite istu disciplinu kao kod baze podataka:

  1. Izolujte inferencijsku uslugu u privatnoj mreži, na primer u VPC-u, i izložite samo aplikativni sloj.
  2. Autentikujte svaki poziv, ograničite broj zahteva po korisniku i beležite korišćenje bez čuvanja osetljivih upita osim ako morate.
  3. Fajlove modela i API ključeve držite u menadžeru tajni, a ne u image-ima ili repozitorijumima.
  4. Proverite licencu svakog modela koji puštate u rad: otvorene težine ne znače uvek besplatnu komercijalnu upotrebu.
  5. Pratite iskorišćenost GPU-a, memoriju i temperaturu da biste probleme primetili pre korisnika.

Brza kontrolna lista pre puštanja u rad

  • Model staje u VRAM sa rezervom od 20 do 30 odsto za KV keš.
  • Težine su na NVMe-u, a restart traje nekoliko minuta, a ne desetine minuta.
  • Motor za serviranje koristi kontinuirano grupisanje i izlaže metrike.
  • Reverse proxy upravlja TLS-om, autentikacijom i ograničenjima broja zahteva.
  • Testirali ste opterećenje sa realnim dužinama upita i istovremenošću, a ne jednim zahtevom.
  • Postoje upozorenja za dubinu reda, stopu grešaka i GPU memoriju.
  • Bekapi obuhvataju fino podešene težine, upite, vektorske indekse i konfiguraciju.

Često postavljana pitanja

Da li mi je potreban GPU da bih hostovao AI aplikaciju?

Ne uvek. Mali kvantizovani modeli i modeli za embedding mogu prihvatljivo da rade na savremenom CPU-u, a aplikacijama koje pozivaju spoljni API modela akcelerator nije potreban. GPU postaje neophodan kada servirate veće modele, tražite nisko kašnjenje pri istovremenosti ili fino podešavate modele.

Koliko GPU memorije treba za model od 7B ili 13B?

Otprilike 14 GB za 7B i 26 GB za 13B u 16-bitnoj preciznosti, plus dodatno za KV keš. Uz 4-bitnu kvantizaciju staju u oko 4 i 8 GB, pa je jedna kartica od 24 GB udobna polazna tačka za oba.

Da li je bolje sopstveno hostovanje ili API modela?

API koristite kada je obim mali ili nepredvidiv, a osetljivost podataka umerena. Hostujte sami kada imate stalan saobraćaj, stroge zahteve o lokaciji podataka ili privatnosti, ili vam treba fino podešen model. Mnogi timovi počnu sa API-jem, a kasnije prebace pojedina opterećenja u sopstvenu infrastrukturu.

Mogu li AI opterećenja da pokrećem na običnom VPS-u?

Da za lagane poslove, kao što su embedding, mali kvantizovani modeli i orkestracioni kod, ali standardni cloud server nema GPU. Za veće modele koristite GPU server, a aplikativni sloj držite na jeftinijoj instanci.

Kako da smanjim trošak AI hostinga?

Prvo podignite iskorišćenost: grupišite zahteve, keširajte odgovore, lake upite usmeravajte na manje modele i kvantizujte. Zatim prilagodite model nabavke opterećenju: namenski kapacitet za stalan saobraćaj, kapacitet na zahtev za eksperimente.

Zaključak

Dobro hostovanje AI-ja svodi se na kratku listu odluka donetih ispravnim redosledom: definišite opterećenje, smestite model u GPU memoriju sa rezervom, napajajte GPU dovoljnim CPU-om, RAM-om i NVMe-om, serviranje prepustite motoru koji grupiše zahteve i skalirajte prema dubini reda, a ne prema CPU-u. Kada je to postavljeno, trošak po zahtevu postaje predvidiv. Ako sada dimenzionišete projekat, počnite pregledom Hosted Cloud GPU servera i planirajte test opterećenja pre nego što se opredelite za konfiguraciju.

Podelite

M

Merve Arslan

Stručnjak za WordPress i hosting

Autorka vodiča o optimizaciji performansi WordPress-a, izboru hostinga i infrastrukturi za e-trgovinu.

Komentari uskoro