XDA, Mart ayında değişimi işaret etti: Ollama 0.19, Apple Silicon arka ucunu MLX’e taşıdı ve prefill yaklaşık 1,6x sıçradı, aynı M serisine göre dekod 2x’e yakındı. Bunun nedeni, Mac mimarisinin sessizce yerel yapay zeka için öldürücü özellik haline gelen kısmıdır. Birleştirilmiş bellek, GPU’nun CPU’nun kullandığı aynı RAM’i okumasına izin verir, bu nedenle 64 GB MacBook, 24 GB RTX kartına sığmayacak bir 70B sınıfı model yükleyebilir ve Apple’ın kendi ML çerçevesi olan MLX, bu donanımı platformlar arası çalışma zamanlarından daha güçlü bir şekilde itmeyi öğrenmiştir.
Mac’te yerel LLM’leri çalıştırmak için 7 en iyi uygulamayı test ettik; MLX veya Metal’ı gerçekten kullanan araçlara karşı önyargı ile. Ölçü sıkıcı şeylerdi: bir model M2 Pro’da ne kadar hızlı yüklenir, uygulama GPU offload’u ne kadar temiz kullanır, sohbet arayüzü bir saatten sonra hoş mudur ve proje yeni model mimarileriyle adım adım gider mi. Güçlü seçeneklerin çoğu ücretsizdir veya cömert bir kişisel seviyeye sahiptir.
Mac yerel LLM uygulamasında ne arayacağız
Birkaç kriter, MacBook’ta hayatta kalan araçları ikinci haftada kaldırılan araçlardan ayırır:
- MLX desteği. Apple’ın çerçevesi artık M serisine sahip çipler üzerinde en hızlı yoldur. MLX arka ucunu gönderen, sadece llama.cpp sarmalayıcısı değil, uygulamalar M5 ve daha sonraki silikon üzerinde öncü genişletmeye devam edecektir.
- Metal GPU offload. llama.cpp’de hala olan uygulamalar için, Metal arka ucunun kalitesi saniyede tokenın kullanılabilir olup olmadığını veya slayt gösterisi olup olmadığını belirler.
- GGUF uyumluluğu. GGUF, Hugging Face kataloğunun gönderdiği formattır. Yakın zamandaki bir GGUF yükleyemeyen bir uygulama, Apple Silicon’da bile çıkmaz yoldur.
- Birleştirilmiş bellek farkındalığı. İyi uygulamalar bir modelin ne kadar paylaşılan RAM tüketeceğini gösterir ve swap yapacak bir şey yüklemenizi engeller. Kötü olanlar macOS’u ezilmeye bırakır ve sonra çöker.
- OpenAI uyumlu API.
localhostüzerindeki yerel uç nokta, modeli editör uzantıları, not defterleri ve kısayollara bağlayan şeydir. En güçlü uygulamalar ek kurulum olmadan birini ortaya çıkarır. - Gizlilik tavrı. Bazı uygulamalar tamamen çevrimdışı çalışır. Diğerleri varsayılan olarak analitik için eve ziyaret eder ve durdurmak için bir bayrak gerekir, bu da yerel gitmek için gizlilik başında ise önemli olur.
Hızlı karşılaştırma
| Uygulama | İçin en iyi | Apple Silicon desteği | Ücretsiz plan | Öne çıkan özellik |
|---|---|---|---|---|
| Ollama | MLX arka ucuyla tek satır kurulumlar | M serisinde MLX motoru | Evet (açık kaynak) | localhost:11434 üzerinde OpenAI uyumlu API |
| LM Studio | GGUF ve MLX yan yana ile parlak sohbet | Yerel MLX çalışma zamanı | Evet (kişisel kullanım için ücretsiz) | Bir pencerede GGUF ve MLX modelini yükleyin |
| Jan | Çevrimdışı modu onaylayan tamamen açık kaynak sohbet | llama.cpp aracılığıyla Metal | Evet (açık kaynak) | Telemetri yok ve şeffaf ayarlar paneli |
| GPT4All | Düşük RAM Mac’leri ve eski Apple Silicon | llama.cpp aracılığıyla Metal | Evet (açık kaynak) | 8 GB makineler için ayarlanmış CPU-first quant’lar |
| Msty | Aynı istekte iki yerel modeli karşılaştırma | llama.cpp aracılığıyla Metal | Evet (ücretsiz seviye) | İki model, bir pencere, aynı istemi |
| MLX Chat (mlx-lm) | Maksimum verim ve ince ayar | Birinci taraf MLX | Evet (açık kaynak) | MLX modelleri için Apple’ın referans çalışma zamanı |
| Llama.cpp | Metal arka ucu üzerinde doğrudan kontrol | El ile ayarlanmış Metal çekirdekleri | Evet (açık kaynak) | Her diğer uygulamanın sarmaladığı çalışma zamanı |
Mac’te yerel LLM’leri çalıştırmak için 7 en iyi uygulama
1. Ollama — MLX arka ucuyla en iyi tek satır kurulumu
Ollama, Apple Silicon arka ucunu sürüm 0.19’da MLX’e taşıdı ve istikrarlı bir çalışma zamanını önemli ölçüde hızlı bir çalışma zamanına dönüştürdü. Aynı ollama run komutu bir nicelenmiş modeli çeker ve sohbete başlar, ancak en az 32 GB birleştirilmiş belleğe sahip M serisinde Mac, yeni motor prefill’i yaklaşık 1,6x daha hızlı ve dekodu değiştirdiği llama.cpp yolundan 2x’e yakın olarak işler. Son güncellemeler, aynı bellek maliyetinde daha yüksek kalite için NVFP4 4-bitlik desteği ekledi.
Eksik olduğu yerler: MLX motoru yeterli birleştirilmiş belleğe sahip Apple Silicon’a sınırlıdır, bu nedenle eski 16 GB MacBook’lar standart çalışma zamanına geri döner. İlk taraf ara yüzü hala bir CLI ve daemon’dur, bu nedenle çoğu kişi bunu ayrı bir sohbet ön ucu ile eşleştirir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: hiçbiri
Platformlar: macOS, Windows, Linux
İndir: ollama.com
Sonuç: Mac’te yerel LLM’ler için Ollama seçin, en hızlı arka ucu en düşük kurulum maliyetinde istiyorsanız ve kendi arayüzünüzü getirmekten memnunsanız.
2. LM Studio — GGUF ve MLX’i karıştırmak için en iyi sohbet arayüzü
LM Studio, aynı pencerede llama.cpp GGUF ve MLX modellerini çalıştıran birkaç uygulamadan biridir; bu da aynı istekte Apple Silicon hızı farkını hissetmenin en kolay yoludur. Apple, bu nedenle M5 başlatma materyallerinde LM Studio’yu alıntı yaptı. Model tarayıcı Hugging Face’e bağlanır, MLX-optimize edilmiş varyantları işaretler ve dosyanın birleştirilmiş belleğinize sığıp sığmayacağını indirmeyi taahhüt etmeden önce gösterir.
Eksik olduğu yerler: Lisans kişisel kullanımı ücretsiz olarak sağlar ancak ticari bağlamlarda ücretli plan gereklidir; şirket MacBook’a kurmadan önce bilmek iyi bir fikirdir. Uygulama kapalı kaynaktır.
Fiyatlandırma:
- Ücretsiz: kişisel kullanım
- Ücretli: ticari kullanım için İş planı
Platformlar: macOS, Windows, Linux
İndir: lmstudio.ai
Sonuç: Mac’te yerel LLM’ler için LM Studio seçin; model keşfetme, MLX veya GGUF seçimi, sohbet ve yerel API’yi işleyen tek bir pencere istiyorsanız.
3. Jan — macOS için en iyi tamamen açık kaynak sohbet istemcisi
Jan, bir ekip LM Studio’nun deneyimini sıfırdan açık kaynak olarak yeniden oluşturduğunda olan şeydir. Masaüstü uygulaması macOS’da yerel hisseder, GPU offload için llama.cpp aracılığıyla Metal arka ucunu kullanır ve projenin beyan edilen politikası telemetri olmadan tamamen çevrimdışı çalışmaktır. Ayarlar paneli, hangi anahtarların ağ çağrılarını etkilediğini netleştirmektedir; bu kategoride olağandışıdır.
Eksik olduğu yerler: Performans, Apple Silicon’da Ollama ve LM Studio’yu geri bırakır; çünkü Jan henüz birinci sınıf MLX çalışma zamanı göndermemiştir; bu da M serisinin bir parçası verimini masada bırakır. Mobil ve uzaktan API hikayeleri masaüstü sohbetinden daha yenidir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: hiçbiri
Platformlar: macOS, Windows, Linux
İndir: jan.ai
Sonuç: Mac’te yerel LLM’ler için Jan seçin; açık kaynak GPU’nuzdan son yüzde 20’yi sıkıştırmaktan daha önemliyse.
4. GPT4All — Eski Apple Silicon ve 8 GB Mac’ler için en iyi
GPT4All, alanın geri kalanının dikkatini vermeyi bıraktığı donanımlarda sıkıcı işleri çoğundan daha iyi yapar. Varsayılan model listesi CPU ve mütevazı GPU çıkarımı için ayarlanmıştır, küçük quant’lar 8 GB birleştirilmiş belleğe sahip M1 MacBook Air’de çalışır ve sohbet arayüzü disk üzerindeki bir klasöre işaret eden yerel belge sohbeti içerir. Yavaş çalışan 7B modellerinden uzak duran temel model Apple Silicon dizüstü bilgisayar sahipleri için, seçilmiş küçük model seçimi doğru başlangıç noktasıdır.
Eksik olduğu yerler: Apple Silicon hızlandırması Metal aracılığıyla desteklenir, ancak projenin odaklandığı yer değildir, bu nedenle daha büyük modeller MLX farkında uygulamalardan geride kalır. Sohbet arayüzü işlevsel yerine güzeldir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: hiçbiri
Platformlar: macOS, Windows, Linux
İndir: gpt4all.io
Sonuç: Mac’te yerel LLM’ler için GPT4All seçin; birleştirilmiş belleğiniz sınırlıysa ve bunun için ayarlanmış modelleri içeren bir sohbet istemcisi istiyorsanız.
5. Msty — Aynı istekte iki yerel modeli karşılaştırmak için en iyi
Msty, macOS’ta belirli bir boşluğu doldurur: aynı anda iki yerel modelle konuşabilir ve yanıtlarını yan yana gösterebilir. Uzak API’ler için kancalarla birleştirildiğinde, bu, iki pencereyi takla atmadan aynı istekte yeni bir Qwen MLX sürümünü Gemma GGUF’ye karşı kıyaslamayı kolaylaştırır. Bilgi yığınları, alma için bir sohbete klasör veya URL’leri bağlamanıza izin verir ve macOS oluşturması yerel hisseder.
Eksik olduğu yerler: Ücretsiz seviye çoğu kişisel kullanımı kapsar, ancak birkaç güçlü özellik ücretli plan arkasında oturur. Model araması LM Studio’nunkinden daha dar ve birinci sınıf MLX çalışma zamanı yok, bu nedenle ham verim MLX farkında uygulamalardan geride kalır.
Fiyatlandırma:
- Ücretsiz: özellik açısından zengin kişisel plan
- Ücretli: gelişmiş özellikler için Aurum planı
Platformlar: macOS, Windows, Linux
İndir: msty.app
Sonuç: Mac’te yerel LLM’ler için Msty seçin; modellerinizi aktif olarak karşılaştırıyor ve bu iş akışı için oluşturulmuş bir sohbet istemcisi istiyorsanız.
6. MLX Chat (mlx-lm) — Maksimum verim ve ince ayar için en iyi
MLX Chat, mlx-lm üzerindeki sohbet katmanıdır; Apple’ın LLM’leri MLX ile çalıştırmak ve ince ayar yapmak için referans çalışma zamanıdır. Bu, Ollama ve LM Studio’nun MLX arka uçlarını güçlendiren çerçeveyi kullanmanın en doğru yoludur ve M5 sınıfı donanımda Apple’ın kendi numaraları MLX’in llama.cpp’den anlamlı bir farkla ayrılacağını gösterir; 30B MoE modelinde ilk tokena kadar geçen süre üç saniyenin altında. pip install mlx-lm artı bir Hugging Face model kimliği çalışan bir komut satırı sohbeti sunar.
Eksik olduğu yerler: Bu, listedeki araçlar arasında bir araştırma projesine en yakın olanıdır. Cilalı bir yükleyici veya model tarayıcı yok, Python ortamlarını yönetirsiniz ve bunu sarmalayan sohbet arayüzleri minimaldir. Ayrıca tasarım gereği macOS sınırlı.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: hiçbiri
Platformlar: macOS (yalnızca Apple Silicon)
İndir: github.com/ml-explore/mlx-lm
Sonuç: Mac’te yerel LLM’ler için MLX Chat seçin; Apple’ın kendi çalışma zamanını elinizde istiyorsanız ve bir terminalde rahat iseniz.
7. Llama.cpp — Metal arka ucu üzerinde doğrudan kontrol için en iyi
Llama.cpp, bu listedeki neredeyse her uygulamanın sarmaladığı veya kullanılan çalışma zamanıdır. Mac’te kaynaktan oluşturmak bir komut alır, Metal arka ucu Apple Silicon için el ile ayarlanır ve llama-server ikili dosyası, cilalı uygulamalarla aynı OpenAI uyumlu API’yi ortasında yükleyici olmadan ortaya çıkarır. Hangi çekirdeklerin çalıştığını görmek, çekirdek örnekleyici parametrelerini istek başına ayarlamak veya Hugging Face’e düştüğü gün yepyeni bir model mimarisini test etmek isteyen herkes için, bu yoldur.
Eksik olduğu yerler: Temel bir web arayüzünün ötesinde kendi sohbet arayüzü yok, seçilmiş model tarayıcı yok ve bayrak yüzeyi geniş yeterli olmak için ilk çalıştırma genellikle README okumayı içerir. MLX farkında uygulamalar en yeni M serisi çipler üzerinde ham verim sırasında onu geçmeye başlamıştır.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ücretli: hiçbiri
Platformlar: macOS, Windows, Linux
İndir: github.com/ggml-org/llama.cpp
Sonuç: Mac’te yerel LLM’ler için Llama.cpp seçin; her diğer uygulamanın sarmaladığı çalışma zamanı istiyorsanız; Metal çekirdeklerinin arasında hiçbir şey yok.
Nasıl seçilir
Apple Silicon’da çalışan kurulum için en basit yolu istiyorsanız, Ollama yükleyin ve beğendiğiniz bir sohbet ön ucu ile eşleştirin.
MLX, GGUF, model keşfetme ve sohbeti cilalı bir pencerede işleyen bir uygulama istiyorsanız, LM Studio yükleyin.
Açık kaynak, verimden son yüzde 20’den daha önemliyse, Jan yükleyin.
MacBook’unuzda 8 GB birleştirilmiş bellek veya eski M1 varsa, GPT4All yükleyin ve seçilmiş küçük modellerine yapıştırın.
Modelleri aynı istekte aktif olarak karşılaştırıyorsanız, Msty yükleyin.
Apple’ın kendi çalışma zamanını elinizde istiyorsanız ve bir terminal’den çekinmiyorsanız, MLX Chat’i mlx-lm’nin üzerine yükleyin.
Metal arka ucu üzerinde doğrudan kontrol istiyorsanız ve arasında hiçbir şey yoksa, Llama.cpp’yi kaynaktan oluşturun.
SSS
MLX gerçekten Mac’te yerel LLM’leri llama.cpp’den daha hızlı yapar mı?
Mevcut Apple Silicon’da evet. Ollama’nın MLX’e geçiş sonrası kendi numaraları, aynı M serisi donanımında prefill’in yaklaşık 1,6x daha hızlı ve dekod’un 2x’e yakın olduğunu gösterir ve Apple’ın yayınladığı M5 kıyaslamaları en yeni çiplerde MLX’in daha da uzaklaştığını gösterir. Eski M1 ve M2 makinelerinde boşluk daha küçüktür ancak yine de gerçektir.
Mac’te yerel LLM çalıştırmak için ne kadar birleştirilmiş belleğe ihtiyaç duyarım?
4-bit nicelemede 7B modeli ile rahat bir deneyim için, 16 GB birleştirilmiş bellek yeterlidir. 14B sınıfı modelleri için, 32 GB tatmin edici noktadır. 70B yoğun modelleri veya bağlam için alana sahip 30B-A3B karışım uzmanları modelleri için, 64 GB veya daha fazlası istediğiniz şeydir.
Ollama Mac’te yerel LLM’leri çalıştırmak için en iyi uygulama mıdır?
MLX motoru sevk edildiğinden beri çoğu Mac kullanıcısı için en iyi arka uçtur. Aynı pencerede parlak bir sohbet arayüzü de istiyorsanız, LM Studio bir uygulamalı cevaba daha yakındır. Ollama artı ayrı bir arayüz en yaygın yığını kalır.
Mac’imde kod editörümle yerel bir LLM kullanabilir miyim?
Evet. Ollama, LM Studio, Jan ve Msty dahil olmak üzere OpenAI uyumlu uç nokta ortaya koyan herhangi bir uygulama, OpenAI’yi hedefleyen editör uzantılarında temel URL olarak ayarlanabilir. Devam etmeyin, Cursor’un kendi anahtarını getir modu ve çoğu VS Code uzantısı bunu kabul ederler ve kodunuzun makineyi terk ettiğini asla görmezler.
