Yerel görüş dili modelleri son on iki ayda parti numarasından gerçek bir araca dönüştü. Llama 3.2 Vision orta seviye bir GPU’da çalışır. Qwen2.5-VL ekran görüntülerini iki yıl önceki çoğu bulut API’sinden daha iyi okur. Google’ın Gemma 3 multimodal çizelgeler ve makbuzları fazla drama olmadan yönetir. Değişen tek şey modeller değildir. Onları barındıran uygulamalar da ayak uydurmaya başladı. Kendi dizüstü bilgisayarınızda bir sohbet penceresine bir ekran görüntüsü bırakabilir, bu nedenle ne dediğini sorabilirsınız ve birkaç saniye içinde net bir cevap alabilirsiniz, hiçbir görüntü makineden çıkmaz. Windows, macOS ve Linux’ta yerel görüş dili modellerini çalıştırmak için en iyi yedi masaüstü uygulamasını test ettik; başlamak için hepsi ücretsiz.
Nelere bakmalı
Birkaç şey, yararlı görüş etkin istemcileri hafta sonu kaldırılan istemcilerden ayırır.
- Çok modlu model desteği. Uygulama, manuel llama.cpp yapısı olmadan son görüş yetenekli GGUF’leri (Llama 3.2 Vision, Qwen2.5-VL, LLaVA, Gemma 3 multimodal) yükleyebilmeli.
- VRAM başlık odası. 4 bit üzerinde bir 7B görüş modeli yaklaşık 6 ila 8 GB’a sığar. Uygulama, uyum sağlamayacak bir kontrol noktasını yüklemeyi denemeden önce sizi uyarmalıdır.
- Görüntüyü sürükle ve bırak girdisi. Bir dosya yolunu yapıştırmak işe yarar, bir görüntüyü ileti alanına sürüklemek gerçek yazılım gibi hissettiriyor.
- API veya GUI, ideal olarak her ikisi. Yerel OpenAI uyumlu uç nokta, vizyonu editör uzantılarına ve komut dosyalarına bağlamanıza izin verir.
- Model keşfi. Hugging Face kataloğudur; onu yerinde arayan uygulamalar manuel bir indirme adımını kaydeder.
- Toplu ve klasör OCR. Bazı iş akışları aynı anda bir görüntüdür. Diğerleri taramalar klasörünü okumak zorunda.
Hızlı karşılaştırma
| Uygulama | İçin en iyi | Platformlar | Ücretsiz plan | Başlangıç fiyatı/ay | Derecelendirme |
|---|---|---|---|---|---|
| Ollama | CLI ve her şeyin bağlandığı yerel API | Windows, macOS, Linux | Evet (açık kaynak) | $0 | 4.8/5 |
| LM Studio | Sürükle-bırak görüntüleriyle cilalı GUI | Windows, macOS, Linux | Evet | $0 | 4.7/5 |
| Open WebUI | Ev sunucusu için tarayıcı ön ucu | Windows, macOS, Linux (Docker) | Evet (açık kaynak) | $0 | 4.6/5 |
| Jan | Tamamen açık kaynaklı çevrimdışı istemci | Windows, macOS, Linux | Evet (açık kaynak) | $0 | 4.5/5 |
| Msty | Yan yana görüş modeli karşılaştırması | Windows, macOS, Linux | Evet | $0 (ücretli katman mevcut) | 4.5/5 |
| AnythingLLM | Yerel belgeler üzerinde görüş artı RAG | Windows, macOS, Linux | Evet (açık kaynak) | $0 | 4.4/5 |
| GPT4All | Düşük VRAM makineleri için hafif istemci | Windows, macOS, Linux | Evet (açık kaynak) | $0 | 4.3/5 |
Uygulamalar
1. Ollama CLI ve diğer her uygulamanın arkasındaki yerel API için
Ollama, localhost üzerinde OpenAI uyumlu bir uç noktanın arkasında yerel modelleri çalıştırır ve çok modlu destek artık Llama 3.2 Vision, Qwen2.5-VL, LLaVA ve Gemma 3 multimodal’ı kapsar. Tek satırlık bir komutla model çekme, görüntü yolunu CLI’ye borulama yapma ve terminalde açıklamaya geri dönme. Bu listedeki diğer tüm uygulamalar çıkarım katmanı için bir Ollama uç noktasına işaret edebilir.
Nerede eksik: Görüntüleri sürüklemek için yerel GUI yok. Terminal’i kullanıyorsunuz veya üstüne bir sohbet istemcisi yağlandırıyorsunuz.
Fiyat: Ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: Ollama
Sonuç: Buradan başlayın. Ollama zaten çalışırken diğer istemciler daha kullanışlı hale gelir.
2. LM Studio sürükle-bırak görüntü girdisiyle cilalı GUI için
LM Studio, temiz bir sohbet penceresi ile GGUF quant ve görüş yeteneğine göre filtre uygulayan yerleşik Hugging Face aramasını birleştirir. İleti alanına bir görüntü bırakın ve uygulama bunu modelin projektör dosyasından geçirir; böylece aynı konuşma kurulum olmadan metinden ekran görüntüsüne geçebilir. Apple Silicon’daki MLX motoru, ayrık GPU olmadan MacBook’ta Qwen2.5-VL’yi kullanılabilir hızda çalıştırır.
Nerede eksik: Kapalı kaynak. İş akışı, uçtan uca denetlemek istediğiniz hassas görüntülere dokunmaya başladığında bu daha önemli hale gelir.
Fiyat: Kişisel ve iç çalışma kullanımı için ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: LM Studio
Sonuç: Terminal’e dokunmadan yerel görüş modeli denemenin en hızlı yolu.
3. Open WebUI Ollama ile eşleştirilmiş tarayıcı ön ucu için
Open WebUI, çoğu Ollama kullanıcısının kullandığı tarayıcı tabanlı sohbet yüzeyidir. Çok kullanıcılı mod, ağdaki her cihazın erişebileceği bir ev sunucusu için iyi bir seçim haline getirir. Bir sohbete görüntü sürükleyin ve uygulama bunu çekmiş olduğunuz herhangi bir çok modlu modele yönlendirir. Sohbet başına model geçişi, konuşmanın ortasında metin-yalnız Qwen ile görüş-etkin Llama 3.2 arasında atlayabileceğiniz anlamına gelir.
Nerede eksik: Docker veya Python yüklemesini giriş noktası olarak çalıştırıyorsunuz. Dock’ta yerel uygulama simgesi önemliyse, bu değildir.
Fiyat: Ücretsiz.
Platformlar: Windows, macOS ve Linux’ta Docker; Python aracılığıyla bare-metal de çalışır.
İndir: Open WebUI
Sonuç: LLM yığını ev sunucusunda bulunduğunda ve ağdaki her cihaz onunla iletişim kurabilmelidir.
4. Jan tamamen açık kaynaklı çevrimdışı istemci için
Jan, çevrimdışı işlemi seçenek yerine varsayılan olarak gören tamamen açık kaynaklı masaüstü sohbet istemcisidir. Görüş desteği LLaVA ve Llama 3.2 Vision’ı kapsar ve model hub, yanlışlıkla yalnızca metin yapısı indirmemeniz için çok modlu kontrol noktalarını işaretler. Tercih etmediğiniz sürece telemetri yok. Her ayar açık bir geçiş, üç seviye derin bir menü değil.
Nerede eksik: Model kataloğu LM Studio’dan daha küçüktür ve nadir quants bazen manuel GGUF alımına ihtiyaç duyar.
Fiyat: Ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: Jan
Sonuç: Denetim izi önemli olduğunda ve kapalı kaynak istemciler masanın dışında olduğunda seçiniz.
5. Msty yan yana iki görüş modeli karşılaştıran sohbet istemcisi için
Msty, aynı ekran görüntüsünde Qwen2.5-VL ve Llama 3.2 Vision arasında seçim yaparken istediğiniz tam akışı olan, bölünmüş görünümle bir pencerede birden fazla yerel model çalıştırır. Görüntüyü bir kez ekleyin, iki yanıt alın, makbuzu doğru okuyanı saklayın. Knowledge Stacks özelliği ayrıca yerel belgeleri RAG için indeksler, bu nedenle görüntü ve metin sorguları bir çalışma alanını paylaşır.
Nerede eksik: Ücretsiz katman cömerttir, ancak birkaç kalite yaşamı özelliği ücretli Aurum planının arkasında yer alır.
Fiyat: Ücretsiz katman mevcut. Ekstralar için ücretli Aurum planı.
Platformlar: Windows, macOS, Linux.
İndir: Msty
Sonuç: İş akışı gerçekten “hangi model bu görüntüyü daha iyi işledi” olduğunda doğru seçim.
6. AnythingLLM yerel modellerde görüş artı RAG için
AnythingLLM, her belgeyi ve giderek her görüntüyü bir çalışma alanında birinci sınıf vatandaş olarak gören özel, kendi kendine barındırılan bir sohbet botur. Çok modlu model çalıştıran yerel bir Ollama veya LM Studio uç noktasına işaret edin ve sohbette görüntü yüklemelerini kabul edecek, bunları PDF’lerle birlikte indeksleyecek ve karışımı sorgulayabilmenizi sağlayacaktır. Masaüstü uygulaması tek bir yükleyicidir; sunucu yapısı Docker’a gider.
Nerede eksik: RAG işlem hattı hareketli parçalar ekler; bu nedenle ilk kurulum çıplak sohbet istemcisinden daha yavaştır.
Fiyat: Ücretsiz masaüstü uygulaması. Takımlar için barındırılan katman ücretli bir planın arkasında yer alır.
Platformlar: Windows, macOS, Linux.
İndir: AnythingLLM
Sonuç: Görüş iş akışı gerçekten “bu görüntüyü oku ve kütüphanem üzerinde cevap ver” olduğunda seçiniz.
7. GPT4All düşük VRAM makinelerinde hafif istemci için
Nomic’in GPT4All kurulumu küçük ve donanım çubuğunu düşük tutar. Görüş desteği birkaç daha küçük çok modlu kontrol noktasıyla sınırlıdır, bu ayrık GPU olmayan dizüstü bilgisayarları hedefleyen bir uygulamanın marka yöntemiyle ilgilidir. LocalDocs özelliği bir klasörü konteyner döndürmeden bir RAG kaynağına dönüştürür. Model genişliğinde LM Studio ile rekabet etmeyecektir, ancak Msty veya Open WebUI’nin boğulacağı donanımda çalışacaktır.
Nerede eksik: Listenin geri kalanından daha az desteklenen görüş modelleri ve daha büyük çok modlu kontrol noktaları daha düşük spesifikasyon donanımında yüklenmeyi reddeder.
Fiyat: Ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: GPT4All
Sonuç: Makine mütevazı bir dizüstü bilgisayar ve model sistem RAM’e sığması gerektiğinde seçiniz.
Doğru olanı nasıl seçersiniz?
İstemciyi gerçekten nasıl çalıştığınız ile eşleyin.
- CLI güç kullanıcısı: Ollama yükleyin ve bitti. Komut dosyaları, cron ve editör uzantıları OpenAI uyumlu uç nokta aracılığıyla geri kalanını yapar.
- GUI ilk: Tek makine üzerinde LM Studio, bir kişi veya cihazdan daha fazlası erişime ihtiyaç duyunca Open WebUI.
- Düşük VRAM: Küçük çok modlu kontrol noktası ile GPT4All veya Apple Silicon’da LM Studio birleştirilmiş belleğe dayanan.
- Özel OCR ölçekte: Ollama uç noktasına işaret eden AnythingLLM, yanıtların belirli sayfaları alıntılayabilmesi için tarama klasörünü indeksleme.
- Kodlama iş akışı için API: Görüntü girdisini kabul eden VS Code uzantısına bağlı Ollama uç noktası.
- Aynı görüntüde modelleri karşılaştırma: Msty’nin bölünmüş görünümü, ardından galibi günlük kullandığınız herhangi bir istemcide varsayılan tutun.
SSS
GPU olmadan dizüstü bilgisayarda görüş LLM çalıştırabilir misiniz?
Evet, ama yavaş. 4 bit nicelleştirmede 3B veya 4B çok modlu model, 8 GB RAM ve tek seferlik sorgular için tolere edilebilir yanıt süreleriyle modern bir CPU’da çalışır. Daha büyük bir şey ayrık GPU veya Apple Silicon istiyor.
Ekran görüntüleri ve makbuzlar okumak için hangi görüş modeli en iyisidir?
Qwen2.5-VL şu anda ekran görüntüleri, makbuzlar ve formlar gibi metin açısından zengin görüntü görevleri için seçimdir. Llama 3.2 Vision doğal fotoğraf ve sahne tanımlamada daha güçlüdür. Her ikisi de Ollama veya LM Studio aracılığıyla yerel olarak çalışır, bu nedenle her ikisini yüklü tutabilir ve görev başına geçiş yapabilirsiniz.
Görüntü hiç makinemi terk eder mi?
Uygulama doğru ayarlanmışsa hayır. Ollama, Jan, Open WebUI, GPT4All ve AnythingLLM varsayılan olarak yerel olarak çıkarımı çalıştırır ve hiçbir zaman görüntü baytlarını uzak bir sunucuya göndermez. LM Studio ve Msty da yerel-ilk olsa da, her ikisi de kapalı tutabileceğiniz isteğe bağlı bulut modeli rotaları sunar.
Görüş LLM için ne kadar VRAM’a ihtiyacım var?
Projektör dosyası dahil olmak üzere 4 bit nicelleştirmede bir 7B görüş modeli yaklaşık 6 ila 8 GB VRAM’a sığar. 13B çok modlu 10 ila 12 GB istiyor. Apple Silicon birleştirilmiş belleği kullanır, bu nedenle 16 GB Mac ayrı GPU olmadan çoğu 7B görüş modelini işler.
Yerel görüş modeli bir editör uzantısına takabilir misiniz?
Evet. Ollama’nın OpenAI uyumlu uç noktası standart chat/completions yükünde görüntü girdisini kabul eder, bu nedenle OpenAI formatında konuşan herhangi bir editör uzantısı barındırılan yerine yerel görüş modeli çağırabilir. Kurulum editör yapılandırmasında tek bir temel URL değişikliğidir.
Yerel görüş modeli OCR için bulut API’sini değiştirmek için yeterince iyi midir?
Temiz taramalar ve ekran görüntüleri için evet. Orta seviye GPU’da Qwen2.5-VL barındırılan API’lere yakın doğrulukla basılı metni okur. El yazısı, soluk makbuzlar veya yoğun şekilde döndürülmüş sayfalar için özel bir OCR motoru hala kazanır. Garip durumlar için görüş LLM’sini klasik OCR geçişiyle eşleştirin.
