← blog · 19 Kasım 2026

LLM Çıkarım Sunucusunda Kapasite Planlama: KV Önbelleği, Sürekli Toplu İşleme, İlk Jeton Süresi ve Görünmez Kuyruk

Model ağırlıkları belleğe sığdı diye servis yük altında ayakta kalmaz. Eşzamanlılığı KV önbelleği belirler; doğru ölçü ortalama yanıt süresi değil, ilk jeton süresi ile jetonlar arası süredir. Hesap, ayar, yük testi ve tuzaklar.

Bir dil modelini kendi GPU'nuzda sunmaya karar verdiğinizde ilk soru genelde "bu kart kaç kullanıcı kaldırır" olur ve cevabı çoğu zaman yanlış yerde aranır. Model ağırlıkları belleğe sığdı diye servisin yük altında da çalışacağını sanmak en yaygın hatadır. Çıkarım sunucusunun kapasitesini belirleyen şey ağırlıklar değil, eşzamanlı isteklerin her biri için tutulan KV önbelleği ve sunucunun bu istekleri nasıl toplu işlediğidir. Bu yazı kapasiteyi hesaplamanın, doğru gecikme ölçülerini seçmenin ve yük altında servisi ayakta tutmanın yolunu anlatıyor.

Belleği ne dolduruyor

Bir transformer modeli her yeni jetonu üretirken önceki bütün jetonların anahtar ve değer vektörlerine bakar. Bunları her adımda yeniden hesaplamamak için KV önbelleğinde tutar. Bu önbellek istek başınadır ve bağlam uzadıkça doğrusal büyür.

Jeton başına KV önbelleği boyutu kabaca şöyle hesaplanır:

2 x katman_sayisi x kv_kafa_sayisi x kafa_boyutu x eleman_bayti

Baştaki 2 anahtar ile değerden gelir. Örnek olarak 32 katmanlı, 8 KV kafalı (gruplanmış sorgu dikkati kullanan), kafa boyutu 128 olan bir modeli 16 bit hassasiyetle sunduğunuzu düşünün: 2 x 32 x 8 x 128 x 2 bayt, jeton başına 128 KiB eder. 8 bin jetonluk bir bağlam tek başına 1 GiB tutar. 24 GB'lık bir kartta 16 GB'ı ağırlıklara ayırdıysanız, kalan alanın bir kısmı da etkinleştirmelere ve çalışma belleğine gider; geriye kalan birkaç gigabayt, aynı anda tam bağlamla yalnızca birkaç isteği taşıyabilir.

Bu hesap iki şeyi hemen gösterir. Birincisi, eşzamanlı kullanıcı sayısını belirleyen asıl değişken bağlam uzunluğudur. İkincisi, "model 128 bin jeton destekliyor" bilgisinin sunucu ayarında olduğu gibi kullanılması, kapasiteyi tek bir isteğe indirebilir.

Statik toplu işleme ile sürekli toplu işleme

Eski yaklaşımda sunucu belirli sayıda isteği bir grup olarak alır, hepsi bitene kadar yeni istek almaz. Çıktı uzunlukları çok farklı olduğu için grubun kısa istekleri biter, GPU en uzun isteği beklerken boş döner.

Sürekli toplu işleme (continuous batching) bu sorunu her üretim adımında grubu yeniden kurarak çözer: biten istek çıkar, bekleyen istek hemen girer. vLLM, TGI ve SGLang gibi güncel sunucular bunu varsayılan olarak yapar ve KV önbelleğini sayfalara bölerek (vLLM'deki adıyla PagedAttention) bellek parçalanmasını azaltır. Kendi sunucunuzu yazmıyorsanız bu bir tercih değil, zorunluluktur. Basit bir HTTP sarmalayıcıyla modeli tek tek istekle çalıştırmak, aynı donanımda birkaç kat daha az iş çıkarır.

Bu yüzden karşılaştırmayı "hangi sunucu" üzerinden değil "hangi ayarlar" üzerinden yapmak gerekir. Aşağıdaki örnek vLLM'nin komut satırı seçenekleridir; diğer sunucularda aynı kavramların karşılığı vardır.

vllm serve <model-adi> \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 64 \
  --enable-prefix-caching

--max-model-len sunucunun kabul edeceği en uzun bağlamı belirler ve KV önbelleği planlamasının temelidir. Uygulamanızın gerçekten ihtiyaç duyduğu uzunluğa çekin. --gpu-memory-utilization sunucunun kartın ne kadarını kendine ayıracağını söyler; aynı kartta başka bir süreç çalışıyorsa düşürmeniz gerekir. --max-num-seqs aynı anda işlenecek dizi sayısının üst sınırıdır. --enable-prefix-caching ortak bir sistem istemiyle başlayan isteklerin bu ön ekin KV önbelleğini paylaşmasını sağlar.

Doğru gecikme ölçüleri

Bir LLM servisinde "ortalama yanıt süresi" neredeyse hiçbir şey söylemez. Yanıt süresi çıktı uzunluğuyla orantılıdır ve 20 jetonluk bir cevapla 2000 jetonluk bir cevabın ortalaması anlamsızdır. Bunun yerine iki ayrı ölçü izlenir:

  • İlk jetona kadar geçen süre (TTFT): istek geldiği andan ilk jeton gönderilene kadar geçen süre. Kuyrukta bekleme ve girdinin işlenmesi (prefill) bu süreye girer. Sohbet arayüzünde kullanıcının "takıldı mı" hissini bu belirler.
  • Jetonlar arası süre (ITL ya da TPOT): akış başladıktan sonra iki jeton arasındaki süre. Okuma hızını belirler ve grup büyüdükçe artar.

Kapasite planlamasının özü bu ikisi arasındaki dengedir. Eşzamanlı istek sayısını artırdıkça toplam üretilen jeton sayısı (throughput) yükselir, ama her bir isteğin jetonlar arası süresi de uzar. Bir noktadan sonra KV önbelleği dolar, yeni istekler kuyruğa girer ve TTFT birden fırlar. Hedefinizi "saniyede şu kadar jeton" diye değil, "p95 TTFT şu sürenin, p95 jetonlar arası süre şu sürenin altında kalırken saniyede en fazla kaç istek" diye koyun.

Kapasiteyi ölçmek

Hesap size bir başlangıç noktası verir, cevabı yük testi verir. Doğru bir test için:

  1. Gerçek trafiğe benzeyen bir girdi ve çıktı uzunluğu dağılımı kullanın. Hep 100 jetonluk girdi, 100 jetonluk çıktı gönderen bir test, uzun belge özetleyen gerçek kullanıcıyı temsil etmez.
  2. İstek oranını adım adım artırın ve her adımda TTFT ile jetonlar arası sürenin p50 ve p95 değerlerini kaydedin.
  3. Sunucunun kendi metriklerini aynı anda izleyin. vLLM ve TGI Prometheus biçiminde metrik yayımlar; bekleyen istek sayısı, çalışan istek sayısı ve KV önbelleği doluluk oranı en önemli üçüdür.
  4. TTFT'nin hedefi aştığı ilk oranı not edin, güvenlik payı bırakmak için kapasitenizi bunun altında tanımlayın.

vLLM'nin deposunda bu iş için hazır bir sunum karşılaştırma betiği bulunur; kendi aracınızı kullanacaksanız da k6 gibi genel bir yük aracıyla akışlı yanıtın ilk baytını ve toplam süresini ayrı ayrı ölçmeniz yeterlidir.

Tuzaklar

Kuyruk görünmez büyür. Sürekli toplu işleme yapan sunucular istekleri reddetmez, sıraya alır. Yük kapasiteyi aştığında hata oranı sıfır kalır ama TTFT dakikalara çıkar, istemciler zaman aşımına uğrayıp yeniden dener ve yük daha da artar. Bekleyen istek sayısına alarm koyun ve önünüzdeki geçitte eşzamanlılık sınırı uygulayın; sınır aşılınca hızla 429 dönmek, kullanıcıyı iki dakika bekletmekten iyidir.

Uzun girdiler herkesi yavaşlatır. Büyük bir belgenin prefill aşaması, aynı gruptaki diğer isteklerin jeton üretimini bekletir. Parçalı prefill (vLLM'de --enable-chunked-prefill, güncel sürümlerde çoğu durumda varsayılan açık) uzun girdiyi parçalara bölerek bu etkiyi azaltır, ama tamamen yok etmez. Çok farklı iş yüklerini (kısa sohbet ve uzun belge işleme) ayrı örneklere ayırmak çoğu zaman daha temiz çözümdür.

Yeniden hesaplama ve önleme. KV önbelleği dolduğunda sunucu bazı istekleri geri çekip daha sonra baştan hesaplayabilir. Bu durum günlüklerde uyarı olarak görünür ve aynı işin iki kez yapılması demektir. Sık görüyorsanız --max-num-seqs değerini düşürün ya da bağlam sınırını kısaltın.

Nicemleme bedava değil. Ağırlıkları 4 bit'e indirmek KV önbelleğine yer açar, KV önbelleğini 8 bit'e indirmek eşzamanlılığı neredeyse ikiye katlar. İkisi de kaliteyi etkileyebilir ve etkisi göreve göre değişir. Kendi değerlendirme kümeniz olmadan bu kararı vermeyin.

Soğuk başlangıç. Büyük bir modelin yüklenmesi ve ısınması dakikalar sürebilir. Otomatik ölçeklendirmeyi CPU kullanımına bağlamak işe yaramaz; GPU zaten hep meşgul görünür. Ölçeklendirme sinyali olarak bekleyen istek sayısını kullanın ve yeni örneğin hazır olmasının uzun süreceğini hesaba katın.

Ne zaman kendi sunucunuzu kurmamalısınız

Trafiğiniz düzensiz ve düşükse, GPU'nun çoğu zaman boş beklemesinin maliyeti barındırılan bir API'nin jeton fiyatını rahatça aşar. Kendi çıkarım sunucunuz; veri dışarı çıkamıyorsa, sürekli ve öngörülebilir bir yükünüz varsa ya da ince ayarlı bir modeli sunmanız gerekiyorsa anlamlıdır. Bu durumlardan biri yoksa önce barındırılan bir servisle başlayın, trafik deseniniz netleştiğinde yukarıdaki hesapla karşılaştırın.