AMD Lemonade’nin sessizce Nvidia desteği alması, gerçek dünyadaki büyük bir sorunu çözen küçük bir yayının türüdür. Birden fazla makinede yerel LLM çalıştıran herkes, model deposunu çoğaltmak, niceliklerini yeniden ayarlamak ve ev masaüstü ile iş dizüstü bilgisayarı arasında yığını kullanılabilir tutmak için iki farklı çalışma zamanı ile uğraşmak zorunda kalmıştır. Taşınabilirlik yerel AI’nın tüm satış noktasıdır ve bu yıla kadar çoğu çalışma zamanı tek bir donanım ailesine kilitlenmiştir.
Donanım taşınabilirliğini birinci sınıf bir özellik haline getiren sekiz masaüstü yerel AI çalışma zamanını test ettik. Liste, özel olarak tasarlanmış çok satıcılı araçları, çok arka uç tarafında yakalanan eski çalışma zamanları ile karıştırır. Her seçim en az Windows ve Linux’ta çalışır, altı Apple Silicon hızlandırması ile macOS’ta çalışır ve sekizinin tümü bir GGUF model dosyasını bir makineden diğerine herhangi bir yeniden çalışma olmaksızın taşıyabilir.
Taşınabilir yerel AI çalışma zamanında ne arayacağınız
Taşınabilirlik, bir çalışma zamanının listede bir yer almasını sağlayan şeydir, ancak bazı şeyler iyi hareket eden seçimleri iddia edenleri ayırır.
- Çok satıcılı GPU desteği. Nvidia CUDA, AMD ROCm veya Vulkan, Apple Metal, Intel Arc. İki satıcı minimum, üç taşınabilir
- Model biçimi tarafsızlığı. GGUF mevcut lingua franca’dır. Yalnızca kendi biçimini okuyan herhangi bir şey puanları kaybeder
- OpenAI uyumlu API. Bir çalışma zamanı bir tane ortaya koymuyorsa, mevcut istemci kodunuz harekette bozulur
- Yapılandırma taşınabilirliği. Çalışma zamanında gelen bir model kartı, hedef makinede sıfırdan oluşturduğunuz şeyden daha iyidir
- Kurulum ayak izi. Tek bir yürütülebilir, beş hizmetli Docker yığınından daha kolay hareket eder
- Model deposu. Çalışma zamanı, zaten diskte olan bir modeli yeniden indirmeye zorlamamalıdır
Hızlı karşılaştırma
| Çalışma Zamanı | En iyi için | GPU Satıcıları | İS | Dikkat çekici |
|---|---|---|---|---|
| Ollama | En hızlı sıfır-ilk-token | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Makineler arasında işaret edebileceğiniz model deposu |
| LM Studio | GUI-ilk çok satıcılı test | Nvidia, AMD, Apple, Intel | Windows, macOS, Linux | Apple Silicon’da MLX arka uç |
| llama.cpp | Diğerlerinin tümünün çatallı olduğu çalışma zamanı | Nvidia, AMD (Vulkan), Apple | Windows, macOS, Linux | Tek ikili sürüm |
| Jan | Açık kaynak ChatGPT değiştirmesi | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | 1337 numaralı bağlantı noktasında yerel OpenAI uyumlu sunucu |
| GPT4All | Mütevazı donanımda yeni başlayanlar | CPU, Nvidia, AMD | Windows, macOS, Linux | Snapdragon X ARM’de temiz çalışır |
| AMD Lemonade | Nvidia desteğiyle AMD-ilk | AMD NPU, AMD GPU, Nvidia GPU | Windows, Linux | Ryzen AI 300 için NPU’ya duyarlı zamanlama |
| KoboldCpp | Tek dosyalı uzun bağlam çalışma zamanı | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Aynı ikili dosyada görüntü gen ve TTS gönderir |
| Text Generation WebUI | Her düğmeyi isteyen güç kullanıcıları | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Bir ara yüzde her yükleyici ve her quant türü |
1. Ollama - En hızlı sıfır-ilk-token için en iyi
Ollama, ollama pull adresinden çalışan bir modele giden en kısa yoldur ve Ollama model deposu, yerel yapay zekanın bir paket yöneticisine en yakın olanıdır. Taşınabilirlik hikayesi 2025’te Windows ve Linux yapıları paylaşılan model dizini biçimine taşındığında güçlenmiştir, bu nedenle OLLAMA_MODELS’i senkronize edilmiş bir klasöre işaret etmek, aynı modellerin her iki makinede de göründüğü anlamına gelir.
Eksik kaldığı yer: Varsayılan beş dakikalık canlı tutma, modelleri sürekli olarak yeniden yükler. Herhangi bir tek kullanıcılı makinede OLLAMA_KEEP_ALIVE’i daha uzun bir değere ayarlayın.
Fiyat: Ücretsiz, MIT lisansı.
Platformlar: Windows, macOS, Linux.
İndir: ollama.com
Sonuç: En hızlı ergonomiyi istiyorsanız satın alın. Ollama ekosistemi artık tüm diğer çalışma zamanlarından daha büyüktür.
2. LM Studio - GUI-ilk çok satıcılı test için en iyi
LM Studio, yerel yapay zeka için en iyi GUI deneyimlerinden birini sunar ve çok arka ucu desteği, çok satıcılı test için bunu bir adım öne koymaktadır. Apple Silicon’daki MLX arka uç, llama.cpp Metal’de aynı modelden yaklaşık yüzde 30 ila 50 daha hızlı okur, bu da Mac Studio ve MacBook Pro kalabalığı için büyük bir margindır.
Eksik kaldığı yer: Takım ticari lisansı 2025’te fiyatlandırmayı değiştirdi. Kişisel kullanım yine ücretsizdir.
Fiyat: Kişisel kullanım için ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Düzgün bir GUI istiyorsanız ve çalışmanızı Nvidia ve Apple Silicon arasında bölüyorsanız seçim.
3. llama.cpp - Diğerlerinin tümünün çatallı olduğu çalışma zamanı için en iyi
llama.cpp, diğer çoğu çalışma zamanının sarmaladığı referans uygulamadır. 2024’ten beri tek ikili sürüm taşınabilirliği önemsizleştirir ve Vulkan arka ucu ROCm kurulum acısı olmadan birinci sınıf AMD desteği ekledi. Metal, CUDA, Vulkan ve CPU yapıları tümü aynı GGUF dosyalarını okur.
Eksik kaldığı yer: CLI arayüzdür. Varsayılan GUI yoktur.
Fiyat: Ücretsiz, MIT lisansı.
Platformlar: Windows, macOS, Linux.
İndir: github.com/ggerganov/llama.cpp
Sonuç: En ince ikili istiyorsanız seçim. Diğerlerinin çalışma zamanı bunun üzerine oturur.
4. Jan - OpenAI uyumlu ChatGPT değiştirmesi için en iyi
Jan, masaüstünde en güçlü açık kaynak ChatGPT değiştiricilerinden biridir. 1337 numaralı bağlantı noktasındaki OpenAI uyumlu sunucusu, her OpenAI istemci kitaplığı yeniden çalışma olmaksızın onunla konuştuğu anlamına gelir ve 2024’ten beri MCP desteği, Jan’ın araç çağırma ajanlarına bağlanmasını sağlar.
Eksik kaldığı yer: Model deposu Ollama’nınkinden daha küçüktür.
Fiyat: Ücretsiz, Apache 2.0.
Platformlar: Windows, macOS, Linux.
İndir: jan.ai
Sonuç: Mevcut OpenAI istemci kodunuzu taşınabilir tutan bir ChatGPT değiştirmesi istiyorsanız satın alın.
5. GPT4All - Mütevazı donanım için en iyi
GPT4All, diğer çalışma zamanlarının önyüklemesi reddettiği donanımda çalışır. Snapdragon X ARM desteği 2024’ten beri birinci sınıf bir vatandaştır ve yalnızca CPU çıkarımı bir geri dönüş değil bir hedef olarak kabul edilir. Nomic’in Local Docs özelliği belgeleri cihazda dizine ekli tutar.
Eksik kaldığı yer: Model kataloğu Ollama veya LM Studio’dan daha küçüktür.
Fiyat: Ücretsiz, MIT lisansı, müsamahalı ticari kullanım.
Platformlar: Windows, macOS, Linux.
İndir: gpt4all.io
Sonuç: Hedef makine ayrılmış GPU olmayan bir iş dizüstü bilgisayarıysa seçim.
6. AMD Lemonade - Nvidia desteğiyle AMD-ilk için en iyi
AMD Lemonade, Ryzen AI 300 serisi NPU’lar için AMD’nin yerel yapay zeka yığını olarak başladı ve 2026 Nvidia desteği, onu taşınabilirlik konuşmasına yerleştirir. Lemonade’nin NPU’ya duyarlı planlaması, onu bir Ryzen AI 300 dizüstü bilgisayarda en hızlı yerel çalışma zamanı yapar ve Nvidia desteği, iş AMD dizüstü bilgisayarı ile ev Nvidia masaüstü arasında aynı yapılandırmayı taşıyabileceğiniz anlamına gelir.
Eksik kaldığı yer: Belgelendirme Ollama ve LM Studio’dan geri kalır. macOS desteklenmez.
Fiyat: Ücretsiz, MIT lisansı.
Platformlar: Windows, Linux.
İndir: lemonade-sdk.github.io
Sonuç: Ryzen AI makinesindeki herkes için en iyi çalışma zamanı. Artık Nvidia’ya taşınabilir, eğer ikisi arasında zaman bölüyorsanız.
7. KoboldCpp - Tek dosyalı uzun bağlam çalışma zamanı için en iyi
KoboldCpp, bir yürütülebilir, yükleyici yok, hizmet yok ve bağımlılık yok olarak gelir. GGUF’u okur, aynı ikili dosyada görüntü gen ve TTS gönderir ve bağlam yönetimi uzun biçimiş yazı için en güçlüdür.
Eksik kaldığı yer: Ara yüz işlevsel, güzel değil.
Fiyat: Ücretsiz, AGPL.
Platformlar: Windows, macOS, Linux.
İndir: github.com/LostRuins/koboldcpp
Sonuç: USB çubuğunda tutulacak çalışma zamanı.
8. Text Generation WebUI - Güç kullanıcıları için en iyi
Oobabooga’nın Text Generation WebUI, her düğmeyi ortaya koyan çalışma zamanıdır. Her yükleyici, her quant türü, her karakter kartı formatı, tümü bir Gradio ara yüzünde. “İşte çalışır” isteyenleri için değil, ancak kurulumlarını ayarlayan okuyucular için doğru seçim.
Eksik kaldığı yer: İlk çalıştırmayı kurma, listedeki diğer herhangi bir çalışma zamanından daha uzun sürer.
Fiyat: Ücretsiz, AGPL.
Platformlar: Windows, macOS, Linux.
İndir: github.com/oobabooga/text-generation-webui
Sonuç: İş akışınız yapılandırma dosyalarını düzenlemeden yükleyicileri ve nicelikçileri değiştirmeye bağlıysa seçim.
Doğru olanı seçme
Önceliğiniz herhangi bir donanımda en hızlı sıfır-ilk-token zamanıysa, Ollama’da satın alın. Ergonomisi yine de her şeyden öndedir ve ekosistem çarpanı gerçektir.
Apple Silicon Mac ve Windows Nvidia masaüstü arasında zaman bölüyorsanız, LM Studio seçimidir. Hedef donanımınız AMD Ryzen AI 300 içeriyorsa, Lemonade seçimidir ve yeni Nvidia desteği, farklı bir makineye geçtiğinizde çalışma zamanlarını değiştirmeniz gerekmediği anlamına gelir.
Jan ChatGPT değiştiricisidir. GPT4All mütevazı donanım için seçimdir. KoboldCpp tek dosyalı USB taşınabilir kurulum için seçimdir. Text Generation WebUI model başına yükleyicileri değiştirmek istiyorsanız seçimdir. llama.cpp bir kabuk betiği ve başka hiçbir şey istiyorsanız seçimdir.
Yalnızca bir satıcının donanımında çalışan tescilli çalışma zamanlarını atlayın, o satıcı tüm yığınnız olmadığı sürece.
FAQ
Apple Silicon’da en hızlı yerel yapay zeka çalışma zamanı nedir?
LM Studio MLX ile aynı modelde llama.cpp Metal’den yaklaşık yüzde 30 ila 50 daha hızlı çalışır. Ollama, MLX arka ucu iniş yaptığından beri boşluğu kapatıyor.
Ollama model deposunu başka bir makineye taşıyabilir miyim?
Evet. OLLAMA_MODELS’i senkronize edilmiş bir klasöre (iCloud, Syncthing, Dropbox) işaret edin ve aynı modeller her iki makinede de görünür. İşletim sistemi sınırlarını geçerseniz Ollama ikili sürümünü kilitler.
AMD Lemonade şu anda Nvidia’da gerçekten çalışıyor mu?
Evet, 2026 sürümü itibariyle. Bu tam bir CUDA uygulaması değil, ancak OpenAI uyumlu uç nokta çok satıcılı olarak çalışır ve Nvidia çıkarımı çoğu GGUF quants için Ollama’nın Nvidia arka ucuyla karşılaştırılabilir.
Hangi yerel yapay zeka çalışma zamanı en az VRAM kullanır?
llama.cpp Q4_K_M nicelemesiyle. KoboldCpp bunu eşleştirir çünkü aynı motoru sarar. LM Studio ve Ollama aynı matematiği kullanır ancak VRAM’ı yiyen daha yüksek varsayılan bağlam gönderir.
iOS veya Android için herhangi bir yerel yapay zeka çalışma zamanı mevcut mu?
Hayır, sekizinin hiçbiri mobilde çalışmaz. Android’de MLC LLM veya Layla’ya bakın. iOS’ta Private LLM veya Enclave’a bakın.
