Mixture-of-experts modelleri her token başına parameterlerinin yalnızca bir kısmını çalıştırır, bu nedenle Tencent Hy3 295B veya DeepSeek V3 671B artık yaklaşık 70B yoğun ile sınırlı olan tüketici RAM bütçelerine sığmaktadır. Tencent, 6 Temmuz 2026’da Apache 2.0 altında 21B aktif parametresi ve 256K bağlam penceresiyle Hy3’ü yayınladı. DeepSeek V3 güncellemelerini göndermeyi sürdürüyor, Mixtral 8x22B maliyet olarak rekabetçi kalıyor ve Qwen3 MoE’nin 30B’den 235B’ye kadar varyantları var. Darboğaz GPU VRAM’den yerel çalıştırıcınızın seyrek uzman yönlendirmesini gerçekten anlayıp anlamadığına taşındı ve her çalıştırıcı bunu yapmıyor.
Windows, macOS ve Linux’ta masaüstünde açık MoE LLM modellerini çalıştırmak için 8 en iyi uygulamayı test ettik. Her biri GGUF ve safetensors uyumluluğu, uzman yönlendirme kontrolleri, soğuk uzmanlar için CPU boşaltma davranışı ve projenin hy_v3, qwen3moe ve deepseek2 gibi yeni mimariler için desteği ne kadar hızlı sunduğu açısından değerlendirildi. Bazıları tek dosyalı yürütülebilir dosyalardır. Diğerleri Docker’ı bildiğinizi varsayar. Tümü kişisel kullanım için ücretsizdir ve çoğu ticari kullanım için de ücretsizdir.
Yetenekli bir MoE LLM yerel çalıştırıcısında ne aranacak
Birkaç kriter, yeni bir MoE mimarisini ilk günde işleyen uygulamaları, ağırlıkları sessizce yüklemeyi başarısız olan uygulamalardan ayırır:
- Mevcut MoE mimarileri için yerel destek: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B ve hy_v3. Çalıştırıcılar genellikle model yayın takviminin 2 ila 4 hafta gerisindedir, bu nedenle bundan daha eski bir şey bir uyarı işaretidir.
- GGUF ve safetensors kapsamı. GGUF, Hugging Face topluluğunun yerel kullanım için gerçekten yayınladığı şeydir. Bu olmayan çalıştırıcılar çoğu kuantizasyondan dışlanır.
- Uzman yönlendirme kontrolleri. Her MoE’nin bir top-k yönlendiricisi vardır. Aktif uzman sayısını ayarlayabilmek verim ve kaliteyi takas eder ve hızlı hissettiren MoE ile yoğun hissettiren arasındaki farktır.
- Seçici CPU boşaltma. İyi ayarlanmış bir çalıştırıcı yönlendirici ve paylaşılan dikkat ağırlıklarını GPU’da tutarken soğuk uzmanları sistem RAM’e iter. 295B modelin 64 GB DDR5 artı orta kademe bir karta nasıl sığdığı budur.
- OpenAI uyumlu API sunucusu. Neredeyse her editör uzantısı, ajan çerçevesi ve bellek aracı OpenAI Chat Completions lehçesini konuşur. Çalıştırıcı bir tane açığa çıkarmazsa, entegrasyon ev ödevi projesidir.
- Kuantizasyon derinliği. Q4_K_M MoE için mevcut workhorse’dir. APEX ve IQ4_XS gibi daha yeni yöntemler, yönlendirilmiş uzmanlar üzerinde ölçülebilir kalite kaybı olmadan daha fazla VRAM tasarrufu sağlar.
Hızlı karşılaştırma
| Uygulama | En iyisi için | Platformlar | Lisans | Fiyat | MoE Mimarileri |
|---|---|---|---|---|---|
| LM Studio | GUI ile ilk MoE çalışması | Windows, macOS, Linux | Proprietary | Ücretsiz | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Terminal-first MoE çalıştırmaları | Windows, macOS, Linux | MIT | Ücretsiz | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | Her sarıcının bağlı olduğu upstream | Windows, macOS, Linux | MIT | Ücretsiz | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Açık kaynak LM Studio eşdeğeri | Windows, macOS, Linux | AGPLv3 | Ücretsiz | llama.cpp’nin desteklediği her şey |
| KoboldCPP | Tek dosya kurulumları | Windows, macOS, Linux | AGPLv3 | Ücretsiz | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | İleri kullanıcılar için ön yüz | Windows, macOS, Linux | AGPLv3 | Ücretsiz | Mixtral, Qwen3MoE, üç yükleyici üzerinden DeepSeekMoE |
| vLLM | Multi-GPU MoE hizmet | Linux (WSL veya Docker üzerinden Windows/macOS) | Apache 2.0 | Ücretsiz | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Multi-backend OpenAI drop-in | Linux, macOS, Windows (Docker) | MIT | Ücretsiz | llama.cpp veya vLLM’nin kapsadığı her şey |
Uygulamalar
1. LM Studio — çoğu insan için genel en iyi MoE çalıştırıcısı
LM Studio taze kurulumdan çalışan MoE sohbetine en hızlı yoldur. Uygulamadaki model kataloğu, Mixtral varyantlarını, DeepSeek Coder V2 Lite’ı, Qwen3 MoE’yi ve Hunyuan-A13B’yi boyut ve kuantizasyon filtreleriyle listeler, bu nedenle VRAM bütçeniz için bir MoE modeli seçmek kaydırılabilir bir adımdır, Hugging Face ekspedisyonu değil. Yükleme ekranı, llama.expert_used_count’a eşleşen bir Uzman Sayısı kaydırıcısını ortaya çıkarır ve kalite token başına saniyelerden daha önemliyken varsayılan top-k’yi geçersiz kılmanıza izin verir. MoE iş akışları için LM Studio ayrıca Apple Silicon’da MLX arka ucu ve Nvidia’da CUDA yolu sunar, bu nedenle aynı kurulum M3 Max veya RTX 5090 ile istasyonda çalışır.
Nerede kısa kalıyor: masaüstü uygulaması kapalı kaynak ve yerleşik headless sunucu doğru şekilde açığa çıkarılmak için birkaç ayara ihtiyaç duyar. Yalın bir CLI çalıştırıcıya kıyasla, GUI arka planda daha fazla RAM tutar.
Fiyatlandırma:
- Ücretsiz: kişisel ve ticari kullanım için tam masaüstü uygulaması, hız sınırı yok, bulut araması yok
- Ücretli: SSO, model ve MCP kapılandırması, özel takım katalogları için ayda kullanıcı başına $10 Enterprise planı
Platformlar: Windows, macOS, Linux
İndir: lmstudio.ai
Sonuç: öğle yemeğinden önce masaüstünüzde bir MoE modelinin sohbet etmesini istiyorsanız tercih edin. Kapalı kaynak ikilisini kurmayı reddediyorsanız atlayın.
2. Ollama — açık MoE modelleri için en iyi ücretsiz CLI
Ollama, tek bir ollama run ile Mixtral, DeepSeek V3, Qwen3 MoE ve Hunyuan varyantlarını çeker ve OpenAI Chat Completions biçimini konuşan localhost:11434 üzerinde bir REST uç noktası ortaya çıkarır. Kayıt, yeni MoE sürümleriyle tempo tutar ve yönlendirme internals mevcut bir llama.cpp çatalını takip eder, bu nedenle mixtral, deepseek2 ve qwen3moe gibi mimariler bayrak operasyonu olmadan yüklenir. Yerel MoE çıkarımı için Ollama, çoğu geliştirici yönlendirilmiş bir modelin etrafında iş akışı yazmak istedikleri zaman başvurduğu araçtır.
Nerede kısa kalıyor: daemon uzman sayısını ayarlamak için UI’ye sahip değildir, bu nedenle bir Modelfile’ı düzenler veya seyrek yönlendirmeyi ayarlamak için API aracılığıyla geçersiz kılmalara geçersiniz. Varsayılan Modelfiles ayrıca bağlam uzunluklarını tutucu bir şekilde sınırlar, bu da num_ctx yükseltene kadar Hy3’ün 256K penceresinde ağır gelir.
Fiyatlandırma:
- Ücretsiz: tam çalışma zamanı, model kayıt çekmeleri ve API sunucusu
- Ücretli: projeden hiçbir şey yok
Platformlar: Windows, macOS, Linux
İndir: ollama.com veya GitHub
Sonuç: terminal’in zaten yaşadığınız yer olması durumunda doğru seçim. Uzman yönlendirme görseli kontrolleri istiyorsanız değil.
3. llama.cpp — meraklılar için en iyi temel
llama.cpp, bu listedeki neredeyse tüm diğer uygulamaların sardığı çalışma zamanıdır. Direkt olarak, herhangi bir upstream taahhüdü için ilk günde MoE mimarisi desteği alırsınız: Mixtral, Qwen3MoE, DeepSeekMoE ve Hunyuan-A13B için önerilen yol. Sarıcıların gizlediği bayrakları da alırsınız, örneğin top-k ayarı için --override-kv llama.expert_used_count=int:4 ve soğuk uzmanları sistem RAM’e itmek için --cpu-moe.
Nerede kısa kalıyor: UI yok. Model yönetimi, kuantizasyon ve OpenAI uyumlu sunucu (llama-server) kendi bağımsız değişkenleriyle ayrı ikililer. Yeni mimariler tipik olarak makale çıktıktan 2 ila 4 hafta sonra gelir, bu da kaynaktan çalışan erken Hy3 kullanıcılarına vurdu.
Fiyatlandırma:
- Ücretsiz: MIT lisanslı kaynak ve CUDA, ROCm, Metal, Vulkan, SYCL ve OpenVINO için önceden oluşturulmuş ikililer
- Ücretli: yok
Platformlar: Windows, macOS, Linux
Sonuç: hangi katmanların GPU’ya indiğini bilmek isteyen birisi için. Rahat sohbet için fazla.
4. Jan — en iyi açık kaynak LM Studio eşdeğeri
Jan, AGPLv3 lisansı olan llama.cpp üzerinde bir masaüstü kabuğu, GGUF dosyalarını boyuta göre filtreleyen Hugging Face model tarayıcısı ve localhost:1337 üzerinde yerel OpenAI uyumlu API sunucusudur. MoE kataloğu Mixtral varyantlarını, DeepSeek Coder V2 Lite’ı ve topluluk Qwen3 MoE kuantizasyonlarını kapsar ve uygulama, model ayarları paneli aracılığıyla llama.cpp uzman yönlendirme geçersiz kılmalarını devralır. GUI istemeyen MoE kullanıcıları için Jan, LM Studio değişikliğine en yakın açık kaynak yer almıdır.
Nerede kısa kalıyor: Jan en son MoE mimarilerinden bir veya iki sürüm kadar geri kalmaya eğilimlidir, bu nedenle hy_v3 desteği llama.cpp master’da hafta geçerse, bir Jan derlemesinin yetişmesini bekleyebilirsiniz. Bazı kullanıcılar ayrıca çok büyük model listeleri taraması sırasında bellek baskısı bildirir.
Fiyatlandırma:
- Ücretsiz: AGPLv3 altında tam masaüstü uygulaması
- Ücretli: yok
Platformlar: Windows, macOS, Linux
Sonuç: kapalı binary olmadan LM Studio tarzı GUI istiyorsanız Jan’ı seçin. Tamamen yeni mimariler için yayın günü desteğine ihtiyacınız varsa başka yere bakın.
5. KoboldCPP — en iyi zero-install MoE çalıştırıcısı
KoboldCPP, tam bir çalışma zamanı, KoboldAI sohbet ve hikaye UI’si ve OpenAI uyumlu bir uç noktayı tek bir 200 MB yürütülebilir dosyasında sıkıştırır. Sürüm 1.8’den beri, yükleme ekranı Mixtral, DeepSeek ve Qwen3 MoE kuantizasyonları için Tokens sayfasında MoE uzman sayısını ortaya çıkarır. Önceden oluşturulmuş CUDA, Vulkan ve yalnızca CPU varyantları Windows, Linux ve Apple Silicon için gönderilir, bu da MoE iş yükleri için KoboldCPP’ı mümkün olan en kısa kurulum yolu haline getirir.
Nerede kısa kalıyor: UI yaratıcı yazı ve rol oynama için optimize edilmiş, bu da doğrudan asistan çalışması için gürültülü okunuyor. Model keşfi manueldir: GGUF’u yürütülebilir dosyanın yanına bırakıp işaret edersiniz.
Fiyatlandırma:
- Ücretsiz: AGPLv3 altında tüm ikili, telemetri yok
- Ücretli: yok
Platformlar: Windows, macOS (Apple Silicon), Linux
İndir: koboldcpp.com veya GitHub
Sonuç: tam çerçeve kurmayı reddediyorsanız alın. Yönetilen model güncellemelerini istiyorsanız daha az hoş.
6. Text Generation WebUI — en iyi ileri kullanıcı ön ucu
Oobabooga’nın Text Generation WebUI, model başına llama.cpp, ExLlamaV2 ve Transformers yükleyicileri arasında geçiş yapmanıza izin verir, bu, her yükleyici farklı bir uzman sayısı kontrolünü ortaya çıkardığı için MoE için önemlidir. ExLlamaV2 yükleyicisi Mixtral ailesi modelleri için Uzman Sayısı başına Token ayarına sahiptir ve llama.cpp tarafı --override-kv llama.expert_used_count aracılığıyla geçersiz kılmalara sahiptir. Bir --cpu-moe bayrağı ağır boşaltma ayarları için uzman ağırlıklarını sistem RAM’e iter.
Nerede kısa kalıyor: her yükleyicinin kendi özellikleri vardır ve uygulama hangi kuantizasyonun neye uyduğunu anladığınızı varsayar. İlk çalıştırma kurulumu Jan veya LM Studio’dan daha ağır.
Fiyatlandırma:
- Ücretsiz: AGPLv3 altında tüm proje
- Ücretli: yok
Platformlar: Windows, macOS, Linux
İndir: GitHub
Sonuç: yükleyicileri ayarlamayı ve kuantizasyonları A/B test etmeyi seviyorsanız alın. Tek tıklamayla MoE istiyorsanız atlayın.
7. vLLM — ölçekte MoE throughput için en iyi
vLLM, tek GPU sohbet kurulumu büyüdüğünde insanların geçtiği çalıştırıcıdır. Sürüm 0.6 ve sonrası, birden fazla GPU’da FP8 ve BF16 tensor paralelliği ile --enable-expert-parallel aracılığıyla Mixtral 8x22B, DeepSeek V3 ve Qwen3 MoE için uzman paralelliğini destekler. Sürekli toplu işleme, aynı kutunun bir naive sunucunun alacağı kuyruk gecikmesi artışı olmadan düzinelerce eş zamanlı MoE isteğine hizmet verebileceği anlamına gelir.
Nerede kısa kalıyor: vLLM, NVIDIA donanımı ile Linux’u hedefler. macOS ve Windows kullanıcıları WSL veya bir kapsayıcı aracılığıyla geçer ve tek GPU tüketici kurulumları kullanmayacakları karmaşıklık için ödeme yapar.
Fiyatlandırma:
- Ücretsiz: Apache 2.0 projesi,
pip install vllmile yükleyin - Ücretli: projeden hiçbir şey yok
Platformlar: Linux (yerel), Windows ve macOS via WSL veya Docker
Sonuç: bir takıma MoE trafiği sunduğunuzda çalıştırıcının seçimi. Bir dizüstü bilgisayar için fazla.
8. LocalAI — MoE için en esnek drop-in
LocalAI, OpenAI, Anthropic ve ElevenLabs uyumlu API’yi sunan ve model başına arka uçları değiştiren bir Go ikilisidir. Kapı altında llama.cpp, vLLM, MLX, whisper.cpp ve stable-diffusion’ı sarar, bu nedenle llama.cpp’nin dönüştürebileceği herhangi bir MoE GGUF, gömme ve TTS çağrılarınıza yanıt veren aynı uç noktadan geçer. Proje, MoE tensor rolleri için ayarlanmış kendi APEX kuantizasyon stratejisini sunar, bu da Mixtral sınıfı ağırlıkların Q4 bitişik boyutlarında Q8_0 kalitesiyle eşleşmesine izin verir.
Nerede kısa kalıyor: çoklu arka uç tasarımı tek çalışma zamanı uygulamasından daha ağır ve yapılandırma GUI yerine YAML’de kalır. Windows ve macOS kullanıcıları Docker’ı varsayılan olarak seçer.
Fiyatlandırma:
- Ücretsiz: MIT lisanslı kaynak ve konteyner görüntüleri
- Ücretli: yok
Platformlar: Linux, macOS, Windows (Docker üçünde de çalışır)
İndir: localai.io veya GitHub
Sonuç: bir uç noktanın sohbet, gömme, TTS ve MoE çıkarımı için aynı anda cevap vermesi gerektiğinde seçim. Sadece sohbet penceresine ihtiyacınız varsa atlayın.
Doğru olanı seçme
Hiç yerel model çalıştırmadıysanız LM Studio ile başlayın. MoE kontrolleri UI’de, model kataloğu seçilmiş ve ilk Mixtral sohbeti on beş dakikada gerçekleşir.
Terminal’i tercih ederseniz Ollama, çalışan Qwen3 MoE veya DeepSeek V3’e en kısa yoldur. Sohbet penceresi istiyorsanız daha sonra hafif bir web ön ucu ile eşleştirin.
Kapı altında ne olduğunu anlamak istiyorsanız doğrudan llama.cpp’ye gidin. Her düğme bir bayrak ve her mimari kaynakta belgelenmiştir.
Önceliğiniz GUI’den ödün vermeden açık kaynak ise, Jan en yakın LM Studio değişikliğidir.
Çerçeve kurmayı reddediyorsanız KoboldCPP bağımlılık olmayan bir yürütülebilir dosyadır.
Zaten dört yükleyiciyi jongliyorsanız ve onları bir çatı altında istiyorsanız, Text Generation WebUI zaten istediğinizi bildiğiniz şeydir.
MoE trafiğini bir takıma sunuyorsanız veya iki veya daha fazla GPU’da uzman paralelliği istiyorsanız vLLM akılcı cevaptır.
MoE sohbetinin yanında TTS, gömmeleri ve vizyonu da işleyen tek bir OpenAI uyumlu uç noktaya ihtiyacınız varsa LocalAI’yi Docker’da çalıştırın ve işiniz bitti.
SSS
Masaüstünde MoE LLM’leri çalıştırmak için en iyi ücretsiz uygulama nedir? Terminal kullanıcıları için Ollama, diğer herkes için LM Studio. Her ikisi de kişisel ve ticari kullanım için ücretsizdir, her ikisi de kutularından Mixtral, DeepSeek V3 ve Qwen3 MoE’yi destekler ve her ikisi de upstream llama.cpp’den bir kaç hafta içinde yeni MoE sürümleriyle tempo tutar.
Tüketici donanımı gerçekten Tencent Hy3 gibi 295B modeli çalıştırabilir mi? Evet, uyarılarla. Hy3, 295B parametresinin yalnızca 21B’sini token başına etkinleştirerek verim 295B yerine 21B yoğun modele daha yakın okunur. Tam kuantizlenmiş ağırlıkları tutmak için yine de yeterli sistem RAM’a ihtiyacınız var, Q4 kwant için yaklaşık 180 GB, bu nedenle 256 GB DDR5 ve 24 GB GPU’lu iş istasyonu mevcut giriş noktasıdır.
Ollama ve LM Studio arasında MoE modelleri için fark nedir? Ollama, REST sunucusu ve seçilmiş model kaydı olan bir CLI daemon’dur. LM Studio, sohbet UI’si, açık Uzman Sayısı kaydırıcısı olan yükleme ekranı ve açık olan sunucu olan bir masaüstü uygulamasıdır. Her ikisi de benzer llama.cpp tabanlı arka uçları sarar. İş akışınızı komut dosyası yapıyorsanız Ollama’yı, görsel kontroller istiyorsanız LM Studio’yu seçin.
llama.cpp Tencent Hy3 ve diğer yeni MoE mimarilerini destekliyor mu? llama.cpp tipik olarak model sürümünden 2 ila 4 hafta içinde yeni MoE mimarisi ekler. Mixtral, Qwen3MoE ve DeepSeekMoE’nin tümü model sürümlerinden kısa bir süre sonra geldi ve Hunyuan-A13B’nin Tencent’in kendi dokümanlarında önerilen llama.cpp yolu vardır. 6 Temmuz 2026’da gönderilen Hy3, topluluk GGUF’larına ve aynı 2-4 haftalık pencereye upstream birleşmelerine sahiptir.
MoE modelini yerel olarak çalıştırmak için GPU’ya ihtiyacım var mı? Kesinlikle değil. llama.cpp, KoboldCPP, Ollama ve LocalAI’nin tümü yalnızca CPU çıkarımını ve soğuk uzman boşaltmasını destekler, bu nedenle 128 GB veya daha fazla RAM’e sahip bir iş istasyonu daha küçük MoE kuantizasyonlarını okunabilir hızlarda çalıştırabilir. 12 ila 24 GB VRAM artı sistem RAM boşaltması olan modern GPU, deneyimin hoş hale geldiği yerdir.
Hangi MoE çalıştırıcı en iyi OpenAI uyumlu API’ye sahiptir? Tek makine için LM Studio ve Ollama, yapılandırma olmadan temiz OpenAI Chat Completions uç noktalarını ortaya çıkarır. Bir takım veya filo için vLLM sunucusu en yüksek verim ve yerel uzman paralelliği sunar. LocalAI, sohbet, gömmeleri ve vizyonun tek bir URL’yi paylaşması gerektiğinde yararlı olan, bir OpenAI tarzı API’nin arkasında birden fazla arka uç dikişler.
