XDA, yerel-LLM iş akışının en sinir bozucu anlarından birini çözen LLMFit adlı küçük bir açık kaynak projesine bir hafta harcadı: bir GPU’nuz var, bir Hugging Face model sayfası açık, ve makinenizde modelin gerçekten çalışıp çalışmayacağını bilmiyorsunuz, onu bir saatini indirmek için harcamak. Makale daha geniş bir gerçeği işaret ediyordu: yerel-LLM sahnesinin model çalıştırıcılarına ihtiyaç duyduğu kadar donanım-uyum araçlarına ihtiyacı vardır ve birkaç uygulama zaten iş akışını kapsar. İndirme başlamadan önce modellerinizi donanımınızla eşleştiren 7 masaüstü uygulaması test ettik.
Model-donanım eşleyicide ne aranmalı
İyi araçlar dört soruyu açıkça yanıtlar:
- Bu tam quant bu tam modelin benim GPU VRAM’ımda ve sistem RAM’ımda sığacak mı?
- Bu bağlam uzunluğunda GPU’umda beklenen token-saniye nedir?
- Sığmazsa, hangi quant veya model boyutu sığacak?
- Doğru dosyayı nereden indirebilirim?
Birkaç ek özellik güçlü araçları zayıf olanlardan ayırır.
- Mevcut GPU’nizin canlı VRAM okuması (statik spec sayfası araması değil).
- Bağlam uzunluğu VRAM maliyetine ilişkin farkındalık, sadece temel model ağırlıkları değil.
- Apple Silicon birleştirilmiş bellek matematikçi, sadece ayrık GPU matematiği değil.
- GPU olmayan makinelerde sadece CPU çıkarımı için ön uçuş kontrolü.
Hızlı karşılaştırma
| Uygulama | En İyi | Platformlar | Fiyat | Öne Çıkan Özellik |
|---|---|---|---|---|
| LLMFit | İndirmeden önce tek tıkla “bu çalışacak mı?” kontrolü | Windows, macOS, Linux | Ücretsiz, açık kaynak | Canlı VRAM’ı okur ve Hugging Face URL’lerini eşleştirir |
| Hugging Face Hub | Model sayfasına gömülü donanım tahminleri | Web (herhangi bir OS) | Ücretsiz | Yetkili quant tablosu ve dosya boyutları |
| LM Studio | Modellere göz atarken yerleşik uyumluluk rozeti | Windows, macOS, Linux | Kişisel kullanım için ücretsiz | ”Tam GPU boşaltma mümkün” göstergesi |
| Ollama | Makul varsayılan quantlarla model kitaplığı | Windows, macOS, Linux | Ücretsiz, açık kaynak | Makinenize uyan bir quantı otomatik olarak seçer |
| Can You Run It LLM | Web tabanlı donanım-karşı-model hesaplayıcısı | Web (herhangi bir OS) | Ücretsiz | Kurulum yok, bağlantı paylaşımına uygun |
| Llama.cpp benchmarker | Makinenizde gerçek ölçüt, tahmin değil | Windows, macOS, Linux | Ücretsiz, açık kaynak | Gerçek donanımınızdan gerçek |
| Open WebUI | Kendi kendine barındırılan sohbet ve quant filtreli model tarayıcı | Docker (herhangi bir OS) | Ücretsiz, açık kaynak | Quant filtrelemesi ile çok kullanıcılı model seçici |
Masaüstünde yerel LLM’leri donanımınızla eşleştirmek için 7 en iyi uygulama
1. LLMFit — en iyi tek tıkla “bu çalışacak mı?” kontrolü
LLMFit XDA makalesinin işaret ettiği yeni gelendir. Uygulama, kullanılabilir GPU VRAM’ınızı canlı olarak okur, Hugging Face model URL’lerini ayrıştırır ve hangi quantların hangi modellere sığacağını, kaba token-saniye tahmini ile birlikte söyler. Bir Hugging Face URL’sini pencereye sürükleyin ve saniyeler içinde yeşil bir onay veya kırmızı çarpı alırsınız, ayrıca yerine sığacak bir quant için tavsiye.
Kod tabanı açık kaynaktır ve proje hızlı hareket etmektedir; yeni GGUF format desteği upstream sürümleri içinde günler içinde geliyor.
Nerede başarısız olur: Apple Silicon desteği işlevseldir ancak ayrık-GPU makineleri kadar temiz bir şekilde birleştirilmiş bellek matematikçisini henüz işleyemez. Topluluk küçüktür ve kenar durum modelleri desteklenmeleri için bir sürüm alabilir.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Windows, macOS, Linux.
İndir: github.com/llmfit
Sonuç: İndirme boşa harcamadan önce hızlı bir “evet veya hayır” istediğinizde bunu seçin.
2. Hugging Face Hub — model sayfasına gömülü en iyi donanım tahminleri
Hugging Face Hub kurduğunuz bir uygulama değildir ancak model sayfaları yetkili dosya boyutları, quant tabloları ve (birçok modeller için) topluluk tarafından katkıda bulunulan donanım notları taşıdığından en doğru başlangıç noktasıdır. 2025 Hub UI yenilemesi, yaygın quantlar için tahmini VRAM’ı ortaya çıkaran bir “Bu modeli çalıştır” widget’ı ekledi.
Daha önce hiç duymadığınız bir model için, model kartı ve dosya listesi ayrı bir araca ulaşmadan önce doğru ilk durak.
Nerede başarısız olur: Bir model sayfasını okur; donanımınızı okumaz. Yine de VRAM’ınızı ve sistem RAM’ınızı bilmeniz gerekir.
Fiyat: Ücretsiz.
Platformlar: Web (herhangi bir OS), üçüncü taraf istemcilerinden masaüstü hub’ları ile.
İndir: huggingface.co
Sonuç: Kaynaktan yetkili dosya boyutları ve quant matematikçisini istediğinizde bunu seçin.
3. LM Studio — modellere göz atarken en iyi yerleşik uyumluluk rozeti
LM Studio bir model tarayıcı içeren cilalı sohbet istemcisidir ve tarayıcı, makinenizin kullanılabilir VRAM’ına dayalı her quantta bir “Tam GPU boşaltma mümkün” rozeti gösterir. Bu tek rozet çok zaman tasarrufu sağlar: bir model sayfasında GGUF’ları kaydırmak “rozeti görene kadar kaydır” olur.
2025 LM Studio sürümü, her uyumlu quantın yanına bir “Beklenen hız” tahmini ekledi ve bu da tahmin etmek için bir adım daha kaldırır.
Nerede başarısız olur: Ücretsiz seviye açık kaynak yerine “kişisel kullanım için ücretsiz” dir ve bu bazı kullanıcılar için önemlidir. Çok düşük-VRAM makineleri için uyumluluk rozeti bağlam-yoğun kullanımda çok iyimser olabilir.
Fiyat: Kişisel kullanım için ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Ayrıca cilalı bir sohbet istemcisi istiyorsanız bunu seçin; uyumluluk rozeti bonus.
4. Ollama — en iyi otomatik-quant model kitaplığı
Ollama donanım-uyum sorununu farklı şekilde çözer. Hangi quantların uyduğunu söylemek yerine, model kitaplığı proje tarafından tipik makineler için makul bir denge olarak kabul edilen varsayılan bir quantla birlikte gelir. ollama pull llama3.3 seçmeden çok çeşitli donanımda çalışan bir quant verir.
Quantlar hakkında hiç düşünmemek isteyen kullanıcılar için, Ollama kategorinin “bana sadece çalışan bir model ver” değil.
Nerede başarısız olur: Varsayılan quant her zaman özel GPU’nuz için en iyi uyum değildir. 24GB veya 48GB kartlı güç kullanıcıları manuel olarak daha ağır bir quant seçmek isteyecektir.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Windows, macOS, Linux.
İndir: ollama.com
Sonuç: Quantlar hakkında düşünmeden çalışan bir model istediğinizde bunu seçin.
5. Can You Run It LLM — en iyi web tabanlı donanım-karşı-model hesaplayıcısı
Can You Run It LLM istediğiniz donanım modelini bir açılır menüden, istediğiniz modeli ve bağlam uzunluğunu alan ve temiz bir evet-hayır artı token-saniye tahmini döndüren bir web aracıdır. Hiçbir şey kurmak istemediğiniz ve de donanım satın alan bir arkadaşla bağlantı paylaşmak istediğiniz zaman doğru araçtır.
Araç ayrıca makinenize sığacak bir modelin en küçük quantını ortaya koyduktan sonra çıkarır, bu da yükseltmeleri planlarken faydalıdır.
Nerede başarısız olur: Bu bir hesaplayıcıdır, canlı VRAM okuma değildir. Başka bir şey zaten GPU belleğinizi kullanıyorsa (tarayıcı sekmesi, oyun), hesaplayıcı bilmez.
Fiyat: Ücretsiz.
Platformlar: Web (herhangi bir OS).
İndir: canyourunitllm.com
Sonuç: İndirmeden önce kurulumuz olmayan, paylaşıma uygun kontrol için bunu seçin.
6. Llama.cpp benchmarker — makinenizde en iyi gerçek ölçüt
Llama.cpp bir quant dosyasına karşı gerçek çıkarım çalıştıran ve istem işleme ve oluşturma için token-saniye bildiren küçük bir ölçüt ikili dosyası (llama-bench) ile birlikte gelir. Diğer araçların verdiği tahminler eğitimli tahminlerdir; bu gerçek donanımınızdan gerçektir.
Aynı makinede iki yakın quant arasında seçim yapan kullanıcılar için, her ikisinde de ölçüt çalıştırmak birkaç dakika alır ve gerçek bir karşılaştırma üretir.
Nerede başarısız olur: Llama.cpp ikili dosyasını derlemek veya indirmek ve test etmek istediğiniz model dosyasını ona vermek gerekir, bu diğer araçlardan daha fazla iştir.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Windows, macOS, Linux.
İndir: github.com/ggerganov/llama.cpp
Sonuç: Bir tahmin yeterli olmadığında ve gerçek ölçüm istediğinizde bunu seçin.
7. Open WebUI — quant filtreli model tarayıcısı ile en iyi kendi kendine barındırılan sohbet
Open WebUI kendi kendine barındırılan bir sohbet ön ucu olarak çalışır (tipik olarak Docker’da) ve Ollama veya llama.cpp arka ucuyla eşleştirilir. Model seçici hangi modellerin çekildiğini, hangilerinin çalıştığını ve her birinin quant etiketini gösterir. Evde çok kullanıcılı kurulum veya birden fazla kişinin bir LLM sunucusunu paylaştığı küçük takım için, model tarayıcısı takım “paylaşılan GPU’muz ne kadar uyuyor” referansı olarak çalışır.
2025 Open WebUI sürümü, arka ucunun istenen bağlam uzunluğunda sunabilmediği modelleri gizleyen donanım-farkında bir filtre ekledi.
Nerede başarısız olur: Donanım filtresi arka uç raporları kadar iyidir. Bazı yapılandırmalara manuel VRAM ipuçları gerekir.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Docker, herhangi bir OS.
İndir: openwebui.com
Sonuç: Paylaşılan bir sohbet ön ucu ve model tarayıcısı bir araca ait olduğunda bunu seçin.
Doğru olanı seçme
- Hugging Face URL’sinde en hızlı “bu çalışacak mı?” kontrolünü istiyorsanız: LLMFit.
- Kaynaktan yetkili dosya boyutları ve quant tabloları istiyorsanız: Hugging Face Hub.
- Ayrıca cilalı bir sohbet istemcisi istiyorsanız: LM Studio.
- Hiç quant hakkında düşünmek istemiyorsanız: Ollama.
- Bir arkadaşla paylaşmak için kurulumuz olmayan web hesaplayıcı istiyorsanız: Can You Run It LLM.
- Bir tahmin yeterli olmadığında ve gerçek ölçüm istiyorsanız: Llama.cpp benchmarker.
- Paylaşılan LLM sunucusunun çok kullanıcılı model tarayıcısı gerekiyorsa: Open WebUI.
Sıkça sorulan sorular
Yerel LLM’nin ne kadar VRAM’ı gerektiğini nasıl bilirim?
Temel ağırlık dosya boyutu bir tabandır; kısa bağlam uzunluklarında KV-cache ve çalışma zamanı ek yükü için kabaca %20 ekleyin, uzun bağlam için daha fazla. LLMFit ve LM Studio bu matematik için sizi yapırlar. Tipik bir 7B Q4_K_M GGUF kısa bağlamlar için yaklaşık 4-5GB VRAM gerektirir.
GPU olmadan yerel LLM çalıştırabilir miyim?
Evet. Nicelik 16GB RAM ile makinelerde CPU’da koşu yapan küçük modeller (3B, 7B Q4 veya daha küçük). Token-saniye GPU’nun küçük bir kesri olacaktır ancak iş akışı çalışır. Hem Ollama hem de LM Studio, sadece CPU çıkarımını temiz bir şekilde işler.
8GB GPU için en iyi yerel LLM nedir?
7B modelinin Q4 veya Q5 quantı kısa bağlam için boşlukla uyar. Agresif quantleştirme ile birçok 8B Llama ve Qwen modeli de uygundur. Tahmin yerine belirli bir quantı seçmek için LLMFit kullanın.
Bu araçlar açık kaynak mı?
Çoğunlukla. LM Studio açık kaynak yerine “kişisel kullanım için ücretsiz” dir. LLMFit, Ollama, Hugging Face istemci kitaplıkları, Llama.cpp ve Open WebUI açık kaynaktır. Can You Run It LLM, açık kaynak olmayan ücretsiz bir web aracıdır.
Bu araçlar Apple Silicon’da çalışıyor mu?
Evet. Apple Silicon’ın birleştirilmiş bellek modeli Ollama, LM Studio, Llama.cpp ve (yukarıdaki uyarı ile) LLMFit tarafından desteklenir. M-serisi çipler üzerinde token-saniye, hızlı bellek bant genişliği nedeniyle benzer VRAM’lı ayrık GPU’ları sık sık yenebilir.
