Andrej Karpathy’nin “LLM Council” yazısı, üç veya dört yerel modelin birbirinin cevaplarını notlandırdığı ve dördüncüsünün en iyi olanı seçmek için tartışmayı okuduğu bir ev kurulumunu açıklıyordu. Desen yeni değil, mixture-of-experts ve self-consistency yıllardır mevcuttur, ancak yaygın olarak paylaşılan bir blog yazısının orkestrasyon’u ciddi bir masaüstü iş akışının içine alması gereken birşey gibi hissettirilmesi gerekiyordu. XDA’nın bir iş istasyonunda Council çalıştırma hakkındaki takip yazısı, bir prompte birden fazla modelin dokunmasından ne kadar günlük AI çalışmasının fayda gördüğünü gösterdi. Bu yedi en iyi uygulama masaüstünde AI ajanı orkestrasyonu için deseni farklı şekillerde kapsamaktadır.
Seçim, GUI’li kod kütüphaneleri, low-code görsel oluşturucuları, kendi kendine barındırılan ajan platformları ve “karşılaştır ve yönlendir” desenini tek bir tıkla yapan birkaç masaüstü uygulamasını içerir. Her biri ortak bir iş yüküne karşı test edildi: üç modelle bir cevap hazırlayın, dördüncüyle notlandırın, en iyisini seçin.
AI ajanı orkestrasyonu uygulamasında ne aramalı
Bir ev veya ekip kurulumu için önemli olan özellikler:
- Ollama, LM Studio veya llama.cpp köprüsü aracılığıyla yerel modeller için destek.
- Uzaktan API’ler (Anthropic, OpenAI, Google, Groq) için yerli destek, böylece melez Councils mümkündür.
- Yalnızca loglar değil, çağrı zincirinin görünür bir grafiği.
- Düğüm başına maliyet ve gecikme telemetrisi, böylece yönlendirici ayarlanabilir.
- Tamamen çevrimdışı çalışma yeteneği, barındırılan bir hizmete hiçbir telemetri yoktur.
- Çalışan bir iş akışının yeniden oluşturulmadan paylaşılabilmesi için temiz bir dışa aktarma yolu.
Hızlı karşılaştırma
| Uygulama | Şunun için en iyi | Platformlar | Ücretsiz plan | Başlangıç fiyatı | Derecelendirme |
|---|---|---|---|---|---|
| LangGraph | Koddaki yapılandırılmış ajan iş akışları | Windows, macOS, Linux | Evet | LangSmith aboneliği | 4.7 |
| CrewAI | Rol tabanlı çok ajanı ekipler | Windows, macOS, Linux | Evet | Enterprise aboneliği | 4.6 |
| AutoGen | Microsoft’un konuşma ajanları | Windows, macOS, Linux | Evet | Ücretsiz | 4.6 |
| n8n | LLM ile konuşan görsel oluşturucu | Windows, macOS, Linux, Docker | Evet | Bulut aboneliği | 4.7 |
| Flowise | Görsel editörde LangChain | Windows, macOS, Linux, Docker | Evet | Bulut aboneliği | 4.6 |
| Dify | Kendi kendine barındırılan ajan platformu | Windows, macOS, Linux, Docker | Evet | Bulut aboneliği | 4.6 |
| OpenDevin | Tamamen otonom kodlama ajanı | Windows, macOS, Linux | Evet | Ücretsiz | 4.5 |
| Msty | Yönlendiricili çok modelli sohbet | Windows, macOS, Linux | Evet | Aura aboneliği | 4.7 |
1. LangGraph — Koddaki yapılandırılmış ajan iş akışları için en iyi
LangGraph LangChain ekibinin grafik tabanlı orkestrasyon kütüphanesidir. Ajanlar, araçlar ve modeller düğümdür, akış açık durumlu yönlendirilmiş bir grafiktir. Çoğu diğer aracın bu listeyi sarması için referans uygulamadır.
Nerede eksik kalır: Python-ilk. GUI kullanıcıları Flowise veya LangSmith Studio gibi bir yardımcı araçtan yararlanır.
Fiyatlandırma:
- MIT altında ücretsiz ve açık kaynak.
- Barındırılan izleme için LangSmith aboneliği.
Platformlar: Windows, macOS, Linux (Python)
İndir: langchain.com/langgraph
Sonuç: deseni koddaki mühendisler için seçim ve onu korumayı bekler.
2. CrewAI — Rol tabanlı çok ajanı ekipler için en iyi
CrewAI orkestrasyonu rol tabanlı ajanların bir mürettebatı olarak çerçevelendiriliyor: bir araştırmacı, bir yazar, bir editör, vb. Her rol bir model, bir dizi araç ve bir sistem istemi alır. Roller arasında geçişler birinci sınıftır.
Nerede eksik kalır: soyutlama fikir yönetiminde. Bazı iş akışlarına iyi uyar, diğerlerine daha az.
Fiyatlandırma:
- MIT altında ücretsiz ve açık kaynak.
- Barındırılan çalıştırma için CrewAI Enterprise aboneliği.
Platformlar: Windows, macOS, Linux (Python)
İndir: crewai.com
Sonuç: iş akışı zaten net “roller” olduğunda seçim.
3. AutoGen — Microsoft destekli konuşma ajanları için en iyi
AutoGen Microsoft Research’in ajan çerçevesidir: çoklu ajanlar bir grup yöneticisi altında birbirleriyle konuşur. Kodsuz akışlar yazması için bir UI (AutoGen Studio) ile birlikte gelir.
Nerede eksik kalır: soyutlama konuşma eğilimli, yapılandırılmış boru hatları için ayrıntılı olabilir.
Fiyatlandırma:
- MIT altında ücretsiz ve açık kaynak.
Platformlar: Windows, macOS, Linux (Python)
İndir: microsoft.github.io/autogen
Sonuç: Microsoft tarafından desteklenen bir çerçeve ve paket halinde bir UI isteyen ekipler için seçim.
4. n8n — LLM ile konuşan görsel oluşturucu için en iyi
n8n güçlü LLM entegrasyonu eklemiş genel amaçlı bir iş akışı otomasyon aracıdır. OpenAI, Anthropic, Ollama ve Groq için düğümler Notion, Slack ve HTTP isteklerini işleyen aynı tuvale bağlanır. Council stili akışlar bir tuval uzağındadır.
Nerede eksik kalır: LLM entegrasyonu özel araçlardan daha genç. En derin ajan çerçevesi değil, ancak akış zaten AI olmayan hizmetlere dokunduğunda en kullanışlıdır.
Fiyatlandırma:
- Kendi kendine barındırılan ücretsiz (topluluk sürümü).
- Barındırılan çalıştırma için n8n Cloud aboneliği.
Platformlar: Windows, macOS, Linux, Docker
İndir: n8n.io
Sonuç: orkestrasyon gerçek bir iş akışının yanında yaşadığında seçim.
5. Flowise — Görsel editörde LangChain için en iyi
Flowise LangChain tarzı zincirler ve ajanlar için görsel bir editördür. Bir sohbet düğümü, yönlendiricisi, birkaç model düğümü, bir toplayıcı sürükleyin ve Council deseni Python’un bir satırı olmadan ekranda görünür.
Nerede eksik kalır: bozuk bir zincir ayıklamak hala koddaki kolaydır. Bazı yeni LangChain özellikleri Flowise’a bir veya iki sürüm sonra gelir.
Fiyatlandırma:
- Apache 2.0 altında ücretsiz ve açık kaynak.
- Barındırılan çalıştırma için Flowise Cloud aboneliği.
Platformlar: Windows, macOS, Linux, Docker
İndir: flowiseai.com
Sonuç: amaç orkestrasyonu görsel olarak prototiplemek olduğunda seçim.
6. Dify — Kendi kendine barındırılan ajan platformu için en iyi
Dify LLM uygulamaları oluşturmak, dağıtmak ve izlemek için tam bir platformdur. Tek bir Docker konteynerinde istem versiyonlaması, veri seti yönetimi ve çok ajanı orkestrasyonunu işler. UI bir kütüphane olmaktan ziyade SaaS ürününe daha yakındır.
Nerede eksik kalır: Python kütüphanesinden daha ağır kurulum. Onboarding bir öğleden sonra alır.
Fiyatlandırma:
- Kendi kendine barındırılan ücretsiz (topluluk sürümü).
- Barındırılan çalıştırma için Dify Cloud aboneliği.
Platformlar: Windows, macOS, Linux, Docker
İndir: dify.ai
Sonuç: iki veya üç kişilik bir ekip paylaşılan bir ajan platformu istediğinde seçim.
7. OpenDevin — Tamamen otonom kodlama ajanı için en iyi
OpenDevin aktif bir topluluk tarafından desteklenen yerel olarak barındırılan otonom kodlama ajanıdır. Bir tarayıcı çalıştırır, dosyaları düzenler ve dahili olarak birden çok modeli koordine eden bir plan-ve-hareket döngüsü ile görevler üzerinde yinelenir.
Nerede eksik kalır: kapsam açısından iddialı, her sürüm stabilite için yetenek ticareti yapar. Otonomi başarısız bir koşuyu ayıklamaya değer kadar zaman ile sınırlıdır.
Fiyatlandırma:
- MIT altında ücretsiz ve açık kaynak.
Platformlar: Windows, macOS, Linux (Docker)
İndir: github.com/OpenDevin/OpenDevin
Sonuç: iş akışı “ajana kodlama görevi verin ve daha sonra geri dönün” olduğunda seçim.
8. Msty — Yönlendiricili çok modelli sohbet için en iyi
Msty bölünmeler hakkında ciddi olmuş masaüstü sohbet uygulamasıdır: bir istem üç modele gönderin, yanıtları yan yana okuyun ve seçilen bir model en iyi cevabın “seçici” olarak hareket etsin. Karpathy’nin Council’in tek tıklamalı masaüstü uygulamasına en yakın şeydir.
Nerede eksik kalır: kapalı kaynak. Yönlendirici tam bir ajan çerçevesinden ziyade daha fazla bir sohbet yardımcısıdır.
Fiyatlandırma:
- Temel bölünmüş sohbet özellikleriyle ücretsiz seviye.
- Senkronizasyon, ekipler ve premium özellikler için Msty Aura aboneliği.
Platformlar: Windows, macOS, Linux
İndir: msty.app
Sonuç: Python yazmadan Council deseni isteyen solo masaüstü kullanıcıları için seçim.
Doğru olanı nasıl seçer
Akışı koruyan bir mühendisseniz: LangGraph veya AutoGen.
Akışınızda net “roller” varsa: CrewAI.
Orkestrasyon gerçek iş araçlarının yanında yaşıyorsa: n8n.
Görsel olarak prototiplemek istiyorsanız: Flowise.
Küçük bir ekip için paylaşılan bir platforma ihtiyacınız varsa: Dify.
Amaç otonom kodlama ajanı ise: OpenDevin.
Karpathy’nin Council’in masaüstü sohbet sürümünü istiyorsanız: Msty.
Özellikle Council deseni için, solo kullanım için Msty veya görsel prototiplemek için Flowise’la başlayın, sonra desen iyi tanımlandığında LangGraph’a geçin.
Sıkça sorulan sorular
Karpathy’nin LLM Council’i nedir?
Birden fazla LLM aynı istem’e cevap verdiği, en az birinin cevapları derecelendirdiği ve seçilen bir modelin en iyisini seçtiği bir desen. Desen, ekstra düşünmeyi hak eden kararlar hakkında kalite için maliyeti değiştirir.
Council’ı tamamen yerel modellerle çalıştırabilir miyim?
Evet. Ollama, LM Studio ve llama.cpp köprüleri bu listedeki araçların çoğu tarafından desteklenir. Darboğaz VRAM’dir, çerçeve değildir.
En iyi ücretsiz AI ajanı orkestrasyonu uygulaması nedir?
LangGraph, AutoGen, n8n topluluk sürümü, Flowise, Dify topluluk sürümü ve OpenDevin hepsi ücretsizdir.
Bunun için GPU’ya ihtiyacım var mı?
Yerel modeller kullanan Council desenleri için, evet, tek bir güçlü GPU veya Apple Silicon’da küçük modellerin karışımı. Yalnızca uzaktan API Councils herhangi bir modern dizüstü bilgisayarda çalışır.
Bu tek bir sınır modeliyle nasıl karşılaştırılır?
Councils, tek bir modelin ayrıntıları yanılttığı ancak birçok modelin aynı hatayı nadiren yaptığı görevlerde parlıyor. Tek bir modelin yeterli olacağı ve ekstra koşuların zaman ve paraya mal olduğu basit görevlerde kaybederler.
