Bir XDA muhabiri kısa süre önce telefonunda yalnızca yerel LLM’ler çalıştırarak bir ay geçirdi ve masaüstü AI cihazının çoğu görev için gereksiz olduğundan emin oldu. Değişim yalnızca uygulamalar yetiştiği için işe yarar. Modern Snapdragon ve Tensor çekirdekleri, telefonu yavaşlatmadan 3B’den 8B’ye kadar nicelleştirilmiş modelleri barındırabileceği ve küçük bir uygulama grubu artık makul varsayılanlar sağlayan için. Bunlar 2026’da Android’de yerel LLM’ler çalıştırmak için en iyi uygulamalardır.
Yerel LLM uygulamasında ne aramalısınız
Cihaz üstü AI, uygulama bir telefon sınırlamalarına saygı gösterdiğinde Android’de çalışır. Aşağıdaki seçeneklerin tümü bu özellikleri paylaşır:
- Hugging Face GGUF veya MLC model desteği, böylece tek bir satıcının kataloğu ile sınırlı değilsiniz.
- Tam kesinlik yerine nicelleştirilmiş ağırlıklar (Q4_K_M, Q5, IQ3), gerçekten 8 ila 12 GB RAM’e uyan.
- İndirilen modelleri yönetmek ve cihaz dolu olduğunda depolama boşaltmak için temiz bir yol.
- Uygulama yeniden başlatıldıktan sonra devam eden sohbet geçmişi ve konuşmaları dallandırmanıza izin veren.
- İsteğe bağlı GPU veya NPU hızlandırması. Saf CPU çıkarımı hala çalışır, ancak 8B parametrelerinde fark gece ve gündüz.
- Tamamlanmalar için hiçbir şaşırtıcı bulut yedeklemesi olmadan tamamen çevrimdışı çalışma.
Hızlı karşılaştırma
| Uygulama | Şu amaç için en iyi | Ücretsiz plan | Ücretli katman | Öne çıkan özellik |
|---|---|---|---|---|
| PocketPal AI | Çoğu kullanıcı, ilk günden | Tam uygulama | Hiçbiri | Yerleşik Hugging Face model tarayıcısı |
| MLC Chat | Desteklenen donanımda en hızlı çıkarım | Tam uygulama | Hiçbiri | MLC derleyici modelleri GPU’da çalıştırır |
| ChatterUI | Zaten GGUF dosyalarına sahip ileri düzey kullanıcılar | Tam uygulama | Hiçbiri | Yerel dosya yükleme, karakter kartları |
| Layla | Rol oynama ve yaratıcı yazı | Sınırlı | Tek sefer lisans | Sohbete uyarlanmış uzun bağlam penceresi |
| Maid | llama.cpp kullanıcıları telefon ön ucu istiyorum | Tam uygulama | Hiçbiri | Doğrudan llama.cpp bağlamaları, sunucu modu |
| Llama Chat | Meta’nın resmi referans uygulaması | Tam uygulama | Hiçbiri | Önceden yapılandırılmış Llama modelleri |
| Petals | Devasa modellerin dağıtılmış çıkarımı | Tam uygulama | Hiçbiri | Gönüllü düğümlerde 70B sınıf modelleri çalıştırın |
| MNN-LLM | Alibaba’nın hafif çalışma zamanı, düşük uçlu cihazlar | Tam uygulama | Hiçbiri | Küçük ikili, orta seviye çiplerde çalışır |
2026’da Android için 7 En İyi Yerel LLM Uygulaması
1. PocketPal AI, genel olarak en iyi
PocketPal AI, çoğu kişinin önce kurması gereken uygulamadır. Uygulamanın içindeki Hugging Face tarayıcısı, sohbet yüzeyini bırakmadan GGUF modellerini aramanıza ve çekmene izin verir, dahil edilen ön ayarlar Llama 3, Phi, Gemma, Qwen ve Mistral türevlerini kapsarken ve UI çıkarım ayarlarını isteyene kadar makul varsayılanların arkasında gizler. Son derece hazırlanmış yapıları, belirli cihazınızda kullanılabilir bir hızda çalışan bir model seçmek için kıyaslama modu ekledi.
Eksik olduğu yerleri: Yerleşik görüntü, belge veya ses araçları yok. Yüklediğiniz bir PDF’yi okuyabilen bir model istiyorsanız, bu işi uygulamanın dışında yaparsınız.
Fiyatlandırma:
- Ücretsiz, tamamen açık kaynak
Platformlar: Android, iOS
İndir: Aptoide, Google Play
Sonuç: Kurulum hikayesi olmadan ilk günden itibaren çalışan yerel bir AI istiyorsanız bunu kurun.
2. MLC Chat, desteklenen donanımda en hızlı çıkarım
MLC Chat, MLC derleyici yığınının ön ucudur ve Vulkan veya Metal aracılığıyla modelleri telefon GPU’suna azaltır. Snapdragon 8 Gen 2 ve daha yenisinde, saf CPU çıkarımına karşı fark, özellikle daha uzun bağlam uzunluklarında oldukça büyüktür. Model kataloğu seçilmiş ve Hugging Face’ten biraz daha dar, ancak her giriş çalışma zamanı için önceden yapılandırıldığından, ilk çalışmada indirme tek kurulum adımıdır.
Eksik olduğu yerleri: Vulkan desteği cihaza göre değişir. Eski veya orta uçlu çipler hızlandırma görmez. Özel modellerin eklenmesi MLC araç seti ile yeniden derlemeyi gerektirir.
Fiyatlandırma:
- Ücretsiz, açık kaynak
Platformlar: Android, iOS, Windows, macOS, Linux
İndir: GitHub sürümleri
Sonuç: Telefonunuz yeniyse ve saniye başına token’lar önemliyse doğru seçim.
3. ChatterUI, kendi GGUF dosyalarına sahip ileri düzey kullanıcılar için en iyi
ChatterUI, zaten bir GGUF dosyaları klasörü tutan ve iş akışını saygı gösteren bir telefon istemcisi isteyenler için ön uçtur. Uygulama modelleri yerel depolamadan yükler, karakter kartlarını (SillyTavern uyumlu) destekler ve model başına örnekleme parametrelerini ayarlamanıza izin verir. Geçmiş görünümü sohbetleri belgeler olarak ele alır ve yeniden adlandırma, arşivleme ve dışa aktarma seçenekleriyle.
Eksik olduğu yerleri: Başarıyla bir örnekleyicinin ne olduğunu bildiğinizi varsayar. Yerleşik model tarayıcısı yok. UI yoğunluğu PocketPal’dan daha yüksek.
Fiyatlandırma:
- Ücretsiz, açık kaynak
Platformlar: Android
İndir: GitHub sürümleri
Sonuç: Zaten kendi modellerinizi yönetiyorsanız seçilecek telefon istemcisi.
4. Layla, rol oynama ve uzun sohbetler için en iyi
Layla, ayarlanmış bir sohbet yüzeyi ve uzun bağlam tolere ile yaratıcı yazı ve rol oynamayı hedefler. Premium katmanı daha uzun sistem istemleri, kalıcı kişilikleri ve daha büyük model kataloğunu açar. Ücretsiz derleme, iş akışının uygun olup olmadığını değerlendirmek için yeterlidir.
Eksik olduğu yerleri: Kapalı kaynak. Kişilik ve yaratıcı yazı odağı yalnızca genel bir asistan isteyenler için uygun olmayabilir.
Fiyatlandırma:
- Ücretsiz deneme
- Ücretli: tek sefer lisans
Platformlar: Android, iOS
İndir: layla-network.ai
Sonuç: Bir soru-cevap botu yerine uzun, karakter tarafından yönlendirilen bir konuşma istediğinizde bunu seçin.
5. Maid, telefonda llama.cpp
Maid, llama.cpp bağlamaları için Flutter ön uç, küçük bir yüzey ve telefonun LAN’da diğer cihazlar için bir model barındırmasına izin veren sunucu modu. Ayarlar, telefonunda önemli olan llama.cpp seçeneklerini (iş parçacıkları, mlock, n_predict) kapsar ve kullanıcıya tüm yapılandırma ağacını boşaltmaz.
Eksik olduğu yerleri: Model tarayıcısı yok. Güncellemeler llama.cpp hızına bağlıdır ve bazen eski örnekleme ön ayarlarını kırır.
Fiyatlandırma:
- Ücretsiz, açık kaynak
Platformlar: Android, Windows, Linux
İndir: GitHub sürümleri
Sonuç: llama.cpp zaten masaüstünüzde referans çalışma zamanıysanız iyi bir seçim.
6. Llama Chat, Meta’nın Android için resmi referans uygulaması
Llama Chat, cihazda Llama modellerini çalıştırmak için Meta’nın kendi gösteri istemcisidir. Uygulama, Llama 3.2’nin daha küçük varyantları için önceden yapılandırılmış ve esas olarak platformun yapabileceklerini göstermek için var, ancak satıcı tarafından sorunsuz bir seçenek istiyorsanız aynı zamanda mükemmel bir kullanılabilir günlük istemcidir.
Eksik olduğu yerleri: Katalog Meta’nın kendi model satırıyla sınırlıdır. Llama olmayan modelleri denemeye çalışırken topluluk uygulamalarından daha az esneklik.
Fiyatlandırma:
- Ücretsiz
Platformlar: Android, iOS
İndir: Google Play
Sonuç: Satıcıya güveniyorsanız ve sadece telefonda Llama 3 istiyorsanız varsayılan olarak güvenli bir seçim.
7. MNN-LLM, orta uçlu cihazlar için en küçük ayak izi
MNN-LLM, bellek basıncının diğer uygulamaları donduğu orta ve düşük uçlu telefonlar için Alibaba’nın hafif çıkarım zamanıdır. İkili küçüktür, model yükleme hızlıdır ve desteklenen model listesi kısaca ancak iyi seçilmiştir ve çalışma zamanı için ayarlanmış nicelleştirilmiş Qwen varyantlarını dahil eder.
Eksik olduğu yerleri: Dokümantasyon Çin’i ilk tercih eder. UI yardımcı elbisesi. Katalog Hugging Face ile eşleşmez.
Fiyatlandırma:
- Ücretsiz, açık kaynak
Platformlar: Android, iOS
İndir: GitHub sürümleri
Sonuç: Telefonunuzda 4 ila 6 GB RAM ve diğer uygulamalar modellerini verdiğinde seçim.
8. Petals, devasa modeller için dağıtılmış çıkarım
Petals, cihaz üstü kısıtlamayı tamamen değiştirir. Uygulama, her biri 70B sınıf bir modelin bir dilimini çalıştıran gönüllü tarafından barındırılan düğümlerin bir sürüsüne bağlanır ve telefonunuz ağ kenarında bir istemci olarak hareket eder. Gizlilik tamamen yerel çalıştırma eşdeğer değildir, çünkü istemler düğümler arasında parçalanır, ancak ticari değişim sizi bir telefonun tek başına barındıramadığı model boyutlarına erişim verir.
Eksik olduğu yerleri: İstemci yükü tarafından değişen ağ bağımlılığı ve kalite. Gizlilik modeli hassas istekleri paylaşmadan önce anlaşılmalıdır.
Fiyatlandırma:
- Ücretsiz, açık kaynak
Platformlar: Android, iOS, Web
İndir: petals.dev
Sonuç: Görevi uygun tek model bir telefon barındırılamayacak kadar büyükse kullanın.
Doğru olanı seçme
- Beş dakikada çalışan yerel bir AI istiyorsanız: PocketPal AI.
- Yeni bir Snapdragon’a ve hıza önem veriyorsanız: MLC Chat.
- Zaten kendi GGUF kütüphanesini kurate ediyorsanız: ChatterUI.
- Kurgu yazıyorsanız veya uzun karakter odaklı sohbetler çalıştırıyorsanız: Layla.
- llama.cpp referans çalışma zamanıysanız: Maid.
- Satıcıya güveniyorsanız ve kurulum olmadan telefonda Llama 3 istiyorsanız: Llama Chat.
- Telefonunuz orta uçlu ve diğer uygulamalar donuyorsa: MNN-LLM.
- 70B modeline ihtiyacınız varsa: Petals.
SSS
Android telefonda gerçekten yerel olarak LLM çalıştırabilir miyim?
Evet. Nicelleştirilmiş 3B’den 8B modelleri 2023’ten beri yayınlanan çoğu bayrak gemi telefonunda kullanılabilir hızlarda (saniye başına 5 ila 15 token) çalışır. Bu listedeki uygulamalar çalışma zamanı işini işler; yalnızca modeli seçersiniz. 6 GB RAM’e sahip orta uçlu telefonlar 3B sınıf modellerle sınırlıdır ancak yine de çalışan bir asistan elde ederler.
Android için en iyi ücretsiz yerel LLM uygulaması hangisidir?
PocketPal AI çoğu insan için en basit ücretsiz seçenektir. ChatterUI ve MLC Chat da tamamen ücretsiz ve açık kaynaktır; ileri kullanıcı kontrolü veya maksimum çıkarım hızını istiyorsanız sırasıyla seçin.
LLM çalıştırmak pil tükenir mi?
Evet. Çıkarım CPU ve GPU yoğundur ve uzun bir oturum cihazı ısıtır. Birkaç yüz token istemleri iyidir; metin sayfalarının sürekli üretimi fark edilir biçimde pil ömrünü kısaltır. Uzun seanslar için takın.
Yerel LLM modelleri ne kadar depolama gerektirir?
Nicelleştirilmiş 3B modelleri yaklaşık 1,5 ila 2 GB’dır. Nicelleştirilmiş 7B ve 8B modelleri 4 ila 6 GB’dır. Cihazda birkaç model tutmak istiyorsanız 10 ila 20 GB boş depolama alanını planlayın.
Yerel LLM uygulamaları özel midir?
Bu listedeki cihaz üstü uygulamalar varsayılan olarak istekleri sunucuya göndermez. Petals istisnadır; gönüllü düğümler arasında istekleri parçalar. Tamamen özel olarak düşünmeden önce her uygulamanın gizlilik notlarını okuyun.