XDA’nın Hermes Agent üzerine yazdığı yazı, iki yıldır yerel LLM meraklılarını rahatsız eden boşluğu ortaya çıkardı: sohbet penceresindeki bir model, gerçekten işler yapabilen bir model ile aynı şey değildir. Kendi GPU’nuzda çalışan 70B bir model etkileyicidir. Dosyalarınızı okuyabilen, bir script çalıştırabilen ve çıktıyı geri yazabilen 7B bir model, sohbet kutusu kadar yararlı olmayan bir şekilde yararlıdır.
Windows, macOS ve Linux üzerinde Ollama ve LM Studio’yu model arka uçları olarak çalıştırarak, yerel LLM’lere ajan yetenekleri ekleyen yedi masaüstü uygulamasını test ettik. Seçimler, scriptleri, dosyaları ve kabukları işleyen açık kaynaklı çerçevelerden ve tek bir işi iyi yapan hafif araçlara kadar uzanır.
Yerel LLM ajanında önemli olan şeyler
- Arka uç esnekliği. Yararlı bir ajan, zaten çalıştırdığınız herhangi bir model sunucusuyla çalışır. Ollama, LM Studio, llama.cpp ve OpenAI uyumlu uç noktaları burada gösterilir.
- Denetleyebileceğiniz araç yürütme. Shell komutlarını çalıştıran ajanlar bir onay adımı veya bir sandbox gerektirir. Gerçek bir iş istasyonunda kutu dışı araç çalıştırmaları, yerel LLM deneylerinin hasarlı dotfile’larla bitmesi yöntemidir.
- Dosya erişim sınırları. “Herhangi bir dosyayı oku” uygun ama tehlikelidir. Daha iyi araçlar bir ajanı proje klasörüne kısıtlamanıza izin verir.
- Çalışmalar arasında bellek. Bazı görevler yeni bir konuşma istenir. Diğerleri dünün çalışmasından bağlam isterler. Araçlar belleğin iyileştirme seçeneğinde olup olmadığında farklılık gösterir.
- Başarısızlık maliyeti. Başarısız bir bulut ajanı boşa harcanan bir API çağrısıdır. Yanlış shell komutunu çalıştıran başarısız bir yerel ajan bir kurtarma görevidir. Güvenli şekilde başarısız olan araçları seçin.
Hızlı karşılaştırma
| Uygulama | En İyi Kullanım | Arka Uç Desteği | Araç Yürütme | Lisans |
|---|---|---|---|---|
| Open Interpreter | Kod yürütmeli doğal dil kabuğu | Ollama, LM Studio, llama.cpp, OpenAI uyumlu | Evet, isteğe bağlı güvenli mod | AGPLv3 |
| OpenHands | Gerçek kod tabanları için yazılım mühendisliği ajanı | OpenAI uyumlu, Ollama | Evet, Docker’da sandbox | MIT |
| Hermes Agent | Hermes modellerine bağlı hafif çalıştırıcı | Ollama, LM Studio, llama.cpp | Evet, script araçları | MIT |
| AutoGPT | Uzun ufuklu otonom görev çalıştırıcı | OpenAI uyumlu, Ollama şim yoluyla | Evet, eklenti tabanlı | MIT |
| AgentGPT | Kendi kendini barındıran seçeneği olan tarayıcı barındırmalı ajan | OpenAI uyumlu, Azure, yerel proxy | Evet, tarayıcıda | GPL-3.0 |
| Continue | Editörde kodlama ajanı | Ollama, LM Studio, OpenAI uyumlu | Evet, IDE’ye kapsamlı | Apache 2.0 |
| CrewAI | Çoklu ajan orkestrasyonu çerçevesi | Herhangi bir OpenAI uyumlu uç nokta | Evet, Python araçları yoluyla | MIT |
Uygulamalar
1. Open Interpreter — En iyi genel amaçlı kabuk
Open Interpreter, “yerel bir LLM’nin bilgisayarınızı kullanabileceği” en yakın şeydir. Pip’ten yükleyin, bir Ollama veya LM Studio uç noktasına işaret edin ve bir klasörün içeriğini özetlemesini, dosyaları tarihe göre yeniden adlandırmasını veya bir SQLite veritabanını sorgulamasını isteyin. Python yazar, çalıştırmadan önce sorar ve çıktıyı konuşmaya geri iletir.
Eksik olduğu yerler: Varsayılan mod, kodu yerel olarak onay ile çalıştırır; güvenli mod bir sandbox ekler ancak araçların yapabileceğini sınırlar. Daha küçük yerel modeller bazen yürütmede başarısız olan işlev çağrılarını hayal eder. Etkileşimli REPL harikadır; masaüstü GUI daha yeni ve daha kaba.
Fiyatlandırma:
- Ücretsiz: AGPLv3 açık kaynak
- Ücretli: yok
Platformlar: Windows, macOS, Linux
İndir: Open Interpreter | Kaynak
Sonuç: Yerel bir LLM’yi çalışan bir kabuk asistanına dönüştüren tek bir CLI istediğinizde bunu seçin.
2. OpenHands — Yazılım mühendisliği görevleri için en iyi
OpenHands (daha önce OpenDevin olarak bilinen proje) kod tabanı ölçeğinde çalışma için oluşturulmuştur. Ajan bir Docker sandbox’ında çalışır, gerçek bir kabuk alır, bir tarayıcı kullanabilir ve Git deposuna karşı çok adımlı planları yürütebilir. OpenAI uyumlu uç noktalara, yerel Ollama ve LM Studio proxy’leri dahil olmak üzere bağlanır, böylece model donanımınızda kalırken ajan tam geliştirme araçları alır.
Eksik olduğu yerler: Open Interpreter’dan daha ağır kurulum; Docker çalışmaya ihtiyacınız var ve kapsayıcıya önemli kaynaklar vermeye istekli. Daha küçük yerel modeller (13B altı) OpenHands’ın beklediği çok adımlı planlama ile zorluk çeker. Web arayüzü işlevsel ancak bulut barındırmalı sürüm kadar pürüzsüz değil.
Fiyatlandırma:
- Ücretsiz: MIT açık kaynak
- Ücretli: yok
Platformlar: Windows, macOS, Linux (Docker aracılığıyla)
İndir: OpenHands
Sonuç: Ajan gerçek bir kod tabanını okumaya, testleri çalıştırmaya ve bir çekme isteği oluşturmaya ihtiyaç duyduğunda bunu seçin.
3. Hermes Agent — En iyi hafif çalıştırıcı
Hermes Agent, XDA’nın vurguladığı projedir. Yerel bir LLM’yi, script çalıştırabilen ve dosya okuyabilen, Hermes ailesinin ince ayarlı modelleri etrafında tasarlanan küçük, odaklanmış bir ajan çalışma zamanı ile eşleştirir, ancak Ollama veya llama.cpp aracılığıyla sunulan herhangi bir sohbet ayarlı modellerle uyumludur. Ayak izi küçük ve yapılandırma kısa.
Eksik olduğu yerler: Daha genç proje; dokümantasyon ve topluluk bilgi tabanı incedir. En iyi sonuçlar, çalışma zamanının ayarlandığı Hermes ailesi modellerle çalıştırmaktan gelir; genel açık modeller çalışır ancak daha az güvenilir. İş orkestrasyonu OpenHands kadar basit değildir.
Fiyatlandırma:
- Ücretsiz: MIT açık kaynak
- Ücretli: yok
Platformlar: Windows, macOS, Linux
İndir: GitHub’da Hermes Agent
Sonuç: Yoldan çıkan küçük bir çalıştırıcı istediğinizde ve zaten sahip olduğunuz scriptleri çalıştırmak istediğinizde bunu seçin.
4. AutoGPT — En iyi otonom görev çalıştırıcı
AutoGPT, “bir LLM’ye bir hedef ver ve adımları bulmasına izin ver” modelini popülarite koşturdu. Son yeniden yazma, grafik stil ajan oluşturucuyu, web araması, dosya manipülasyonu ve araç kullanımı için eklentileri ve OpenAI uyumlu proxy’ler aracılığıyla yerel model uç noktalarıyla konuşan kendi kendini barındıran bir arka ucu destekler.
Eksik olduğu yerler: Küçük yerel modellerde otonom döngüler spiral olabilir, ilerleme yapmadan araç çağrıları çekerek. Eklenti ekosistemi 2023 hype döngüsü sırasında büyümüş, daha sonra incelmişti; plugin’ler dosya sistemi erişimi vermeden önce kontrol edin. Arabirim CLI alternatiflerinden daha meşguledir.
Fiyatlandırma:
- Ücretsiz: MIT açık kaynak
- Ücretli: isteğe bağlı yönetilen bulut
- OpenHands ile karşı: daha geniş hedefler, daha az yapılandırılmış yürütme
Platformlar: Windows, macOS, Linux
İndir: AutoGPT
Sonuç: Görev geniş olduğunda ve hedef “ajanın ne bulabileceğini görmek” yerine “bu tanımlanan planı yürüt” olduğunda bunu seçin.
5. AgentGPT — Tarayıcı odaklı en iyi seçenek
AgentGPT bir tarayıcı sekmesinde çalışır. Üst düzey bir amaçı alt görevlere ayıran ve bunları bir model uç noktasından çalıştıran hedefe dayalı bir arabirim sunar. Kendi kendini barındıran Docker derlemesi, onu yerel bir model sunucusuna işaret etmenizi sağlayarak modeli donanımınızda tutarken teknik olmayan kullanıcılar için kullanılabilir bir web arayüzü sağlar.
Eksik olduğu yerler: Araç yürütme Open Interpreter veya OpenHands’dan daha sınırlıdır; dosya sistemi erişimi üzerinden arama ve akıl yürütmeye eğilimlidir. Barındırılan sürüm ücretli SaaS’dir; kendi kendini barındıran sürüm ücretsiz yoldur.
Fiyatlandırma:
- Ücretsiz: GPL-3.0 kendi kendini barındırma
- Ücretli: barındırılan planlar daha yüksek limitler için ayda 40 USD civarında başlıyor
Platformlar: Windows, macOS, Linux (tarayıcı; arka uç Docker aracılığıyla)
İndir: AgentGPT
Sonuç: Teknik olmayan takım arkadaşlarınızın yerel model sunucunuza işaret ettiği bir web arayüzü istediğinizde bunu seçin.
6. Continue — Editörde en iyi ajan
Continue, editörü ajan kullanıcı arayüzüne dönüştüren bir VS Code ve JetBrains uzantısıdır. Ollama, LM Studio, llama.cpp ve OpenAI uyumlu uç noktalara bağlanır, çalışma alanına kapsamlı araç kullanımını destekler ve IDE’den çıkmadan otomatik tamamlama, sohbet ve çok adımlı düzenlemeleri işler.
Eksik olduğu yerler: Ajan derinliği OpenHands’dan daha sığdır; “bu dosyaları bu isteme göre düzenle” için mükemmeldir ve “bu kod tabanını uçtan uca keşfet” de daha zayıftır. Araç yüzeyi tüm makine yerine IDE’ye kapsamlıdır.
Fiyatlandırma:
- Ücretsiz: Apache 2.0 açık kaynak
- Ücretli: isteğe bağlı takım özellikleri
Platformlar: Windows, macOS, Linux (VS Code veya JetBrains uzantısı olarak)
Sonuç: İş bir IDE’de gerçekleştiğinde ve ajanı ayrı bir pencerede değil editörün içinde istediğinizde bunu seçin.
7. CrewAI — Çoklu ajan kurulumları için en iyi
CrewAI, cilalı bir uygulama değil, Python çerçevesidir. Dahil edilme noktası: “bir ajan” yanlış çalışma birimi olduğunda ve gerçekten koordinasyon içinde çalışan bir araştırmacı, yazar ve eleştirmen gerektiğinde, bu yerel model sunucusuna karşı bunu kurmanın en uygun yoludur. Python geliştirici izleyicisini hedefler ve sohbet arayüzü yerine orkestrasyonu kodunu üretir.
Eksik olduğu yerler: Kod ilk, GUI yok. Ekibi, araçları ve görevleri Python’da tanımlamanız gerekir. Öğrenme eğrisi gerçek ve dokümantasyon LangChain stil desenleriyle aşinalık bekler.
Fiyatlandırma:
- Ücretsiz: MIT açık kaynak
- Ücretli: isteğe bağlı CrewAI Enterprise
Platformlar: Windows, macOS, Linux (Python kütüphanesi olarak)
Sonuç: Bir ajan yeterli değilse ve Python yazabiliyorsanız bunu seçin.
Doğru olanı seçme
- İşi yapan tek bir komut satırı aracı istiyorsanız: Open Interpreter.
- Gerçek yazılım projelerini işleyen bir ajan istiyorsanız: OpenHands.
- Hermes ailesine bağlı küçük bir çalıştırıcı istiyorsanız: Hermes Agent.
- Geniş özerklik istiyorsanız ve maliyeti kabul ediyorsanız: AutoGPT.
- Teknik olmayan kullanıcılar için tarayıcı arayüzü istiyorsanız: AgentGPT.
- İş bir IDE’de gerçekleşiyorsa: Continue.
- Birden fazla koordine edilen ajana ihtiyacınız varsa: CrewAI.
SSS
Yerel LLM ajanı ile sohbet modeli arasındaki fark nedir?
Bir sohbet modeli metin üretir. Bir ajan döngüde çalışır: düşün, bir araç çağır, sonucu gözlemle, tekrar düşün, başka bir araç çağır, hedef karşılanıncaya veya döngü bitene kadar. Araçlar, scriptler, dosya okumaları, web aramaları, shell komutları veya çerçevenin sunduğu başka bir şeydir. Aynı model çalışma zamanı sarıcısına bağlı olarak ikisi de olabilir.
Bunları Raspberry Pi’de çalıştırabilir miyim?
Bazıları küçük modellerle yapabilir. Open Interpreter ve Hermes Agent başlamak için yeterince hafif. OpenHands, bir Pi’nin rahat bir şekilde sunabileceği kaynakları aşan Docker gerektirir. En az 16 GB RAM ve 13B veya daha büyük bir model etrafında oluşturulmuş herhangi bir ajan için GPU veya Apple Silicon’u planlayın.
Hangisi gerçek bir iş istasyonunda çalıştırmak için en güvenli?
OpenHands varsayılan olarak her şeyi Docker içinde sandbox’a alır, bu da en güçlü yalıtım sağlar. Open Interpreter bir sandbox katmanı ekleyen güvenli bir moda sahiptir. Geri kalanı, rastgele script çalıştıran herhangi bir araç gibi davranın: onu bir proje klasörüne kapsayın, root olarak çalıştırmayın ve herhangi bir önemli şeye dokunmasına izin vermeden önce yedekleyin.
GPU’ya ihtiyacım var mı?
Yararlı ajanlar 13B modellerinin etrafında duyarlı hale gelmeye başlar. GPU olmadan, modern bir CPU üzerinde 7B bir model basit görevler için işlenebilir. 32 GB birleşik belleğe sahip bir Apple Silicon Mac şaşırtıcı iyi çalışır. 16 GB+ ile ayrı bir NVIDIA GPU en esnek kurulumudur.
Bunu yerel bir model yerine OpenAI’nin API’si ile kullanabilir miyim?
Çoğu için evet. Listelenen çerçeveler herhangi bir OpenAI uyumlu uç noktayı kabul eder, bu nedenle aynı kurulum GPT-4o, proxy aracılığıyla Anthropic, Groq, Together veya yerel Ollama örneğinizle çalışır. Yerel olanın noktası verileri donanımınızda tutmak; ajan kodu kaynağın kaynağını önemser.
OpenHands ve Open Interpreter arasındaki fark nedir?
OpenHands, güçlü sandboxing ve planlama döngüsü ile bir kod tabanına karşı mühendislik görevleri için yapılandırılmıştır. Open Interpreter, “doğal dil kabuğu” kullanımı için tüm makine genelinde, daha hafif bir sandbox ve sohbet birinci arayüzü ile oluşturulmuştur. Bir depoda OpenHands’ı kullanın; makinede Open Interpreter’ı kullanın.
