Bir XDA-Developers yazarı, Docker sunucusunu yerel LLM’lerin yığınına bağlamak için bir hafta sonu harcadı ve şimdi kendisini yöneten bir iş istasyonuyla ayrıldı. Parçanın sessizce yaptığı ders önemli olan: Docker yerel AI için doğru çalışma birimidir. Bir model sunucu görüntüsü çekin, bir UI çekin, bunları compose dosyasıyla yapıştırın ve bütün şey makineler ve yeniden başlatmalar arasında çoğaltılabilir. Sonraki CUDA güncellemesinden sonra artık Python virtualenv arkeolojisi yok.
Kendi kendine barındırılan LLM iş akışları için bu desene uyan en iyi uygulamaları test ettik. Bu listedeki her seçim resmi bir görüntü ile birlikte gelir, adlandırılmış bir hacim aracılığıyla durumu korur ve Postgres, Redis ve ters proxy yanında hiç sürpriz olmadan bir compose dosyasına uyar. Sıkıcı şeyleri değerlendirdik: taze bir docker compose up ne kadar hızlı çalışan bir sohbete ulaşır, GPU geçişi ne kadar iyi çalışır, görüntü rootless Docker ve Podman ile iyi oynar mı ve bir model kilitlendiğinde her kap ne kadar sızıntı yapar.
Kendi kendine barındırılan LLM yığınında nelere bakmalı
Birkaç özellik, compose dosyanızda kalıcı bir yer alan kaplıkları bir hafta sonra sökülen kaplardan ayırır:
- OpenAI-API uyumluluğu. Fiili tel formatı. Bir kap bunu konuşursa, var olan her istemci (editör uzantısı, aracı çerçevesi, not defteri) kod değişiklikleri olmadan çalışır.
- Resmi Docker görüntüsü. Bakımcı tarafından oluşturulan görüntüler CVE açıklamalarında yeniden oluşturulur ve upstream sürümlerine karşı etiketlenir. Topluluk çatalları geride kalır ve kayar.
- GPU geçişi. Linux’ta NVIDIA Container Toolkit, desteklenen yerlerde ROCm, ana bilgisayar çıkarımı aracılığıyla Apple Silicon. En güçlü görüntüler tam
--gpus allçağrısını belgeler ve makul varsayılanlarla birlikte gelir. - Kalıcı hacim kuralları. Modeller büyüktür. Öngörülebilir bir bağlama noktası (
/root/.ollama,/app/backend/data)docker-compose.ymldosyanızı kısa ve yedeklemelerinizi basit tutar. - OpenTelemetry ve yapılandırılmış günlüğe kaydetme. Üretimde çalışan herhangi bir şey kutudan izler ve JSON günlükleri gerektirir, sadece stdout sohbeti değil.
- Çok kullanıcılı kimlik doğrulama. Bir ev lab, ikinci bir kişi girmek istediği anda tek kullanıcı modundan çıkar. SSO, OIDC veya en azından gerçek parola karma önemlidir.
Hızlı karşılaştırma
| Uygulama | Katman | Ücretsiz plan | Ücretli seviye | Docker görüntüsü |
|---|---|---|---|---|
| Ollama | Model sunucusu | Evet (açık kaynak) | Yok | ollama/ollama |
| Open WebUI | Sohbet UI | Evet (açık kaynak) | Yok | ghcr.io/open-webui/open-webui |
| LocalAI | Model sunucusu (çoklu mod) | Evet (açık kaynak) | Yok | localai/localai |
| LiteLLM | Ağ geçidi / proxy | Evet (açık kaynak) | Kurumsal | ghcr.io/berriai/litellm |
| vLLM | Üretim çıkarımı | Evet (açık kaynak) | Yok | vllm/vllm-openai |
| Text Generation WebUI | Usta UI | Evet (açık kaynak) | Yok | atinoda/text-generation-webui |
| AnythingLLM | Tam yığın çalışma alanı | Evet (açık kaynak) | Barındırılan plan | mintplexlabs/anythingllm |
2026'da Docker ile Kendi kendine barındırılan LLM için 7 En İyi Uygulama
1. Ollama — ev lab için en iyi model sunucusu
Ollama kategorinin “Docker for LLM”ye en yakın olmasıdır. Resmi görüntü küçüktür, daemon localhost:11434 üzerinde OpenAI uyumlu bir API sunar ve bir model eklemek için gereken tek şey docker exec ollama ollama pull llama3.2 olarak karşılık gelir. Kütüphane, yaygın aileler arasında 4500+ etiketli derlemeyi makul varsayılanlarla kapsar ve GPU hikayesi NVIDIA ve AMD ana bilgisayarları için iyi belgelenmiştir.
Eksik kaldığı yer: Ollama bir çalışma zamanıdır, bir sohbet uygulaması değildir. Görüntü UI ile birlikte gelmez, bu nedenle onu Open WebUI veya başka bir ön uç ile eşleştirirsiniz. Modelfile biçimi güçlüdür ancak özel bir sistem istemi istediğinizde bir yapı adımı sunar.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: yok
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: ollama.com
Alt satır: Herhangi bir kendi kendine barındırılan yığının model sunucusu katmanı olarak Ollama seçin. Başka bir şey bir compose dosyasına bu kadar kolay sığmaz.
2. Open WebUI — Ollama’nın önüne koymak için en iyi sohbet UI
Open WebUI Ollama topluluğunun standartlaştırdığı ön uç. Konteyner, çok kullanıcılı hesaplar, konuşma başına model değiştirme, yüklenen belgeler üzerinde RAG, MCP araç desteği ve resim oluşturma, web araması ve kod yorumlaması ekleyen bir uzantı sistemi ile cilalı ChatGPT tarzı bir arayüz ile birlikte gelir. Resmi görüntü HTTPS ve OIDC ile ters proxy arkasında kutudan çıkar.
Eksik kaldığı yer: Ayrı bir arka uç varsayar, bu nedenle hiçbir zaman tek başına çalışmaz. Ayarlar yüzeyi geniş, bu da sadece bir sohbet kutusunu isteyen acemi yöneticileri bunaltabilir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: yok
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: openwebui.com
Alt satır: Ev veya küçük takım kurulumu için sohbet-UX katmanı olarak Open WebUI seçin. Kategorideki en temiz tarayıcı tabanlı arayüzdür.
3. LocalAI — OpenAI için en iyi çoklu mod drop-in
LocalAI OpenAI API’sinin yerini tutabilen uygulamadır ve tek bir endpoint aracılığıyla metni, görüntüyü, sesi ve gömülmeleri işler. Tek bir konteyner, ayrı hizmetleri oynatmadan Llama sohbet tamamlaması, Whisper transkripsiyonu, Stable Diffusion görüntüsü ve cümle gömme çağrısı sunabilir. Model paketleri tek satırla yüklenir ve proje CUDA ve ROCm için GPU görüntüleri ile birlikte gelir.
Eksik kaldığı yer: Genişlik işlemesi maliyeti. Tek bir modeli çekiçleyen bir iş yükü genellikle özel bir sunucuda daha hızlı çalışır (metin için vLLM, görüntü için ayrı diffusion konteyneri). Yapılandırma YAML’de ağırdır, bu da yeni başlayanları üzüntü verir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: yok
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: localai.io
Alt satır: Tek bir konteynerin tek bir OpenAI uyumlu URL’nin arkasında birden çok modsu sunması gerektiğinde LocalAI seçin.
4. LiteLLM — karışık yığın için en iyi ağ geçidi
LiteLLM 100+ sağlayıcıyı (OpenAI, Anthropic, Vertex, Bedrock, Ollama, vLLM, LocalAI) tek bir OpenAI uyumlu API’ye eşleyen hafif bir proxy’dir. Bunu yerel arka uçlarınızın ve uzak API anahtarlarınızın önüne koyun, her istemciyi proxy’ye yönlendirin ve bir yerde birleştirilmiş günlük kaydı, bütçeleri, kullanıcı başına anahtarları, hız sınırlarını ve yönlendirme kurallarını alırsınız. Konteyner küçüktür ve yönetici UI yetkindir.
Eksik kaldığı yer: Ücretsiz görüntü çoğu ev labının ihtiyaç duyduğu her şeyi içerir, ancak SSO, denetim günlükleri ve bazı gelişmiş yönlendirme Enterprise katmanının arkasındadır. Birden fazla model ekledikten sonra config.yaml aracılığıyla yapılandırma hızlı büyür.
Fiyatlandırma:
- Ücretsiz: açık kaynak kendi kendine barındırma
- Ücretli: SSO, denetim günlüğü ve destek içeren Kurumsal plan
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: litellm.ai
Alt satır: Yığını ikiden fazla arka uca sahip olduğu anda LiteLLM seçin. Ağ geçidi deseni, sistemin geri kalanını sane tutan şeydir.
5. vLLM — üretim yükü için en iyi çıkarım motoru
vLLM trafiğin gerçek hale geldiğinde çoğu takımın aradığı yüksek işleme hızı çıkarım sunucusudur. PagedAttention ve sürekli toplu işleme, aynı donanımda naive sunucuların çok ötesine saniye başına belirteç gönderir ve OpenAI uyumlu API, mevcut istemcilerin değişiklik olmadan çalışması anlamına gelir. Resmi vllm/vllm-openai görüntüsü çekmeniz gereken şeydir ve proje çalışan tam NVIDIA sürücüsü ve CUDA kombinasyonlarını belgeler.
Eksik kaldığı yer: Görüntü büyüktür. Sunucu makul VRAM’e sahip NVIDIA GPU’sunu beklediği için dizüstü bilgisayarlar veya sadece CPU konakları için uygun değildir. Yapılandırma “hafta sonu oyuncağı” yerine “üretim mühendisi” eğilimindedir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: yok
Platformlar: Linux konteyner; NVIDIA Container Toolkit ile Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: vllm.ai
Alt satır: Eşzamanlılık ve işleme hızı beş dakika kurulum süresinden daha fazla önem taşıdığında vLLM’yi model sunucusu olarak seçin.
6. Text Generation WebUI — ustalar için en iyi oyun alanı
Text Generation WebUI (insanların çoğunun hâlâ oobabooga dediği proje) hepsi kapsayan seçenektir. Konteyner birden çok arka ucu (Transformers, llama.cpp, ExLlamaV2), güneşin altındaki her örneği, karakter kartları, LoRA eğitim kancaları ve RAG ve sesini ekleyen bir uzantı sistemi paketler. Örnek ayarlaması, karşıtlığa dayalı kod çözme veya belirsiz quant biçimleri hakkında endişe duyan araştırmacılar buraya inmez.
Eksik kaldığı yer: Resmi görüntü diğerlerinden daha büyüktür, ilk önyükleme bağımlılık dansı daha uzun sürer ve UI yüzeyi yoğundur. Dugmeler için geldiyseniz hiçbiri önemli değildir, ama sadece bir sohbet kutusu istiyorsanız önemlidir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: yok
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: github.com/oobabooga/text-generation-webui
Alt satır: Her çevirmeçe açık olmasını istediğinizde ve onlarla oynamak için akşamı Text Generation WebUI seçin.
7. AnythingLLM — en iyi tek konteyner çalışma alanı aracı
AnythingLLM nadir full-stack seçimidir: bir görüntü, bir hacim ve sonuç RAG, aracılar, çalışma alanı kapsamlı izinler ve Ollama, LocalAI, vLLM, OpenAI ve Anthropic’i hedefleyen bir kendi LLM’nizi getirin model seçicisine sahip çok kullanıcılı bir çalışma alanı. Konteyner vektör veritabanını, belge alımı boru hattını, sohbet UI’sini ve aracı çalışma zamanını tek bir işlemde işler. Dört hizmet birleştirmeden “belgelerimizle dahili ChatGPT” isteyen takım için bu en kısa yoldur.
Eksik kaldığı yer: Tamamen dahili yaklaşım, esnekliği basitlik için takas eder. Ağır RAG iş yükleri adanmış bir vektör veritabanından yararlanır ve çok büyük kullanıcı sayıları paketlenmiş yığını aşacaktır. Konteyneri kendileri çalıştırmamayı tercih eden takımlar için barındırılan bir plan mevcuttur.
Fiyatlandırma:
- Ücretsiz: açık kaynak kendi kendine barındırma
- Ücretli: yönetilen güncellemeler ve depolama ile barındırılan plan
Platformlar: Linux konteyner; Docker aracılığıyla Windows, macOS ve Linux ana bilgisayarlar üzerinde çalışır.
İndir: anythingllm.com
Alt satır: Bir takımın belgelerimizle özel ChatGPT ihtiyacı olduğunda ve “bir konteyner” işletimsel bütçe olduğunda AnythingLLM seçin.
Doğruyu seçme
Kendi kendine bir ev lab işletir ve en basit yığını istiyorsanız, bir ters proxy arkasında Ollama artı Open WebUI çalıştırın. İki konteyner, bir ağ, belgeler içeren tam sohbet.
Takımınızda ikiden fazla arka uç veya gerçekten uygulamak istediğiniz bir bütçe varsa, LiteLLM’yi her şeyin önüne koyun ve istemcileri proxy’ye yönlendirin.
İş yükü üretim düzeyinde ise (gerçek eşzamanlılık, gerçek gecikme hedefleri), vLLM arka plan desteği ile metni sunar ve Ollama veya LocalAI’nin geliştirici makineleri işlemesine izin verin.
Yığın tek bir endpoint’te metin (transkripsiyon, resim üretimi, gömülme) daha fazlasına ihtiyaç duyuyorsa, LocalAI yüzey alanını küçük tutar.
Hedef “belgelerimizle takım-dahili ChatGPT” ise ve işletimsel bütçe bir konteyner ise, AnythingLLM A ve B arasındaki en kısa çizgidir.
Dugmeler için geldiyseniz ve örnek deneme akşamı, Text Generation WebUI sizin için yapılmıştır.
SSS
Docker ile LLM’yi kendi kendine barındırmak için GPU’ya ihtiyacım var mı?
7B ve 14B modellerde rahat çıkarım için evet. Sadece CPU konteynerler daha küçük quantlar ve rahat kullanım için çalışır. NVIDIA ana bilgisayarları en pürüzsüz yoldur; AMD ROCm desteği gerçektir ancak daha dar; Apple Silicon genellikle konteynerin içinde olmak yerine ana bilgisayarda (Ollama veya LM Studio aracılığıyla) modeli çalıştırır.
Çalışan bir kendi kendine barındırılan LLM için minimum compose dosyası nedir?
İki hizmet: /root/.ollama çapında bağlanmış adlandırılmış bir hacim ve 11434’te yayınlanan bir porta sahip bir Ollama konteyneri ve OLLAMA_BASE_URL Ollama hizmetine ayarlanmış bir Open WebUI konteyneri. Bütün şey yaklaşık 25 satır YAML’da uyar.
Diğer tüm şeylerin önüne hangi konteyneri koymam gerekir?
LiteLLM gibi bir ağ geçidi, HTTPS işleyen bir ters proxy (Caddy, Traefik veya nginx) arkasında. İstemciler proxy’ye bir temel URL ve bir anahtarla vurur. LiteLLM model adına göre Ollama, vLLM veya herhangi bir uzak sağlayıcıya yönlendirir.
Kendi kendine barındırılan bir LLM’yi birden fazla kişiyle paylaşabilir miyim?
Evet. Hem Open WebUI hem de AnythingLLM, rol tabanlı erişim kontrolü ve çalışma alanı başına izinlerle çok kullanıcılı hesapları destekler. Programlı erişim için kullanıcı başına API anahtarlarını da istiyorsanız LiteLLM ile birini eşleştirin.
Konteyner yeniden başlatmaları arasında modelleri ve sohbet geçmişini nasıl kalıcı hale getiririm?
Adlandırılan hacimleri belgelenen yollara monte edin: Ollama modelleri için /root/.ollama, Open WebUI durumu için /app/backend/data, AnythingLLM için /app/server/storage. Bu hacimleri başka veri dizini gibi yedekleyin; model dosyaları bir büyüklük sırasına göre en büyük parçadır.
Docker ile LLM’yi kendi kendine barındırmak API kullanmaktan gerçekten daha ucuz mu?
Birime bağlıdır. Kullanılmış bir RTX 3090 artı elektrik, takımınız günde birkaç yüz binlerce jetonu geçtikten sonra barındırılan API fiyatlandırmasını yener. Bunun altında, barındırılan API’ler genellikle itfa edilmiş donanımdan daha ucuzdur. Kendi kendine barındırma, maliyete kazanmadan önce gizlilik ve öngörülebilirlik kazanır.
