XDA-Developers bu ay, Codex’in son güncellemesinin nihayet gerçek bir kullanım göstergesini nasıl eklediği hakkında bir makale yayınladı ve yazar bunu kendisi için en önemli düzeltme olarak adlandırdı. Hayal kırıklığı basitti: uyarı olmadan sessizce tokenları tüketen bir kodlama ajanı, oran limiti devreye girinceye kadar. Görünür bir sayaç eklemek, Codex kullanıcıları için bunu çözdü. Sorun, artık hemen hemen kimsenin sadece bir model kullanmamasıdır. Yığınınız refaktörizasyon için Claude, sohbet için GPT ve uzun bağlam çalışması için Gemini kullanıyorsa, tek bir sağlayıcının CLI’sinde bir kullanım göstergesi yardımcı olmaz. AI kullanım takibi için en iyi uygulamalar, her sağlayıcıyı aynı anda izler, her çağrıyı kaydeder ve fatura gelmeden önce her birinin maliyetinin ne olduğunu söyler. 2026’da bunu iyi yapan yedisini test ettik.
AI kullanım takibinde neye bakılmalı
Beş şey önemli. Birinci olarak, gelen tokenlar, çıkan tokenlar ve o tam isteğin USD maliyeti hakkında çağrı başına görünürlük. Sağlayıcı panoları bir gün gecikmesiyle toplamları rapor eder; faydalı takip istek başına ve gerçek zamanlıdır. İkinci olarak, çok sağlayıcılı kapsama. Anthropic, OpenAI, Google, Mistral, AWS Bedrock, Azure OpenAI ve en azından ana açık ağırlık sağlayıcıları aynı görünüme giriş yapmalıdır. Üçüncü olarak, katı sınırlar ve bütçeler. Yumuşak uyarılar kullanışlıdır, ancak çalışmayan bir ajanı bir aylık bütçeyi bir gecede harcamadan önce kesen gerçek bir devre kesici, kendini ödeyen özelliktir. Dördüncü olarak, paolar, takiler ve uyarılar, böylece takım geçen Salı günü maliyeti iki katına çıkaran bir isteği bulabilir. Beşinci olarak, istekleri ve tamamlamaları üçüncü taraf aracılığıyla yönlendiremeyen mağazalar için kendi kendine barındırma seçeneği.
Hızlı karşılaştırma
| Uygulama | Açık kaynak? | Kendi kendine barındırma? | Ücretsiz katman | Öne çıkan özellik |
|---|---|---|---|---|
| Helicone | Evet | Evet | Evet, 100k istek/ay | Tek başlık proxy, dakikalar içinde entegre |
| Langfuse | Evet | Evet | Evet, barındırılan hobi katmanı | USD maliyeti ile span düzeyi takiler |
| LangSmith | Hayır | Hayır | Evet, sınırlı | Sıkı LangChain entegrasyonu |
| LiteLLM | Evet | Evet | Ücretsiz OSS ağ geçidi | Sanal anahtarlar ve takım başına bütçeler |
| Portkey | Kısmen | Evet (Enterprise) | Evet, sınırlı | Ağ geçidi, gözlenebilirlik ve koruma biri |
| OpenLLMetry | Evet | Evet | Ücretsiz SDK | OpenTelemetry-yerel, herhangi bir APM’ye bağlanır |
| Arize Phoenix | Evet | Evet | Ücretsiz | Yerel pano, not defterinde çalışır |
2026'da AI kullanım takibi için en iyi 7 uygulama
1. Helicone, bugün maliyet görünürlüğü için en iyi
Helicone, “ne harcadığımızı bilmiyoruz” konumundan canlı bir panoya giden en hızlı yoldur. OpenAI veya Anthropic istemcinizde bir satırı değiştirerek Helicone proxy’si aracılığıyla yönlendirin, ve her çağrı tokenler, gecikme, USD maliyeti ve tam istek ve yanıt ile panoda görünür. Açık kaynak çekirdeği 100’den fazla modeli destekler ve kendi kendine barındırılanla barındırılan ücretsiz katman aynı şekilde çalışır.
Burada eksik kalır: Proxy aracılığıyla yönlendirme, genellikle 20 ila 50 ms olan küçük bir gecikme vergisi ekler. 100 ms’in altında bütçelere ihtiyaç duyan takımlar bazen OpenLLMetry’deki SDK tabanlı yaklaşımı tercih eder.
Fiyatlandırma: Ücretsiz barındırılan katman ayda 100.000 isteği kapsar. Ücretli planlar daha yüksek hacimler ve takım özellikleri için ayda yaklaşık 20$‘dan başlar. Kendi kendine barındırma MIT lisansı çekirdeği altında ücretsizdir.
Platformlar: SaaS web uygulaması ve macOS, Windows ve Linux için kendi kendine barındırılan Docker.
İndir: helicone.ai
Sonuç: Günün sonunda SDK yeniden yazma olmaksızın çalışan bir maliyet panosu istiyorsanız Helicone’u seçin.
2. Langfuse, kendi kendine barındırmak isteyen takımlar için en iyi
Langfuse, çoğu ciddi takımın sağlayıcı panolarını aştığında benimsediği açık kaynak gözlenebilirlik platformudur. Her LLM çağrısı, araç çağrısı ve ajan adımının span düzeyi takilerini, OpenAI, Anthropic, Gemini ve çoğu ana sağlayıcılar için yerleşik tokenizörler ve USD maliyet hesaplaması ile kaydeder. Kendi kendine barındırma belgelenmiş birinci sınıf bir yoldur, dipnot değil.
Burada eksik kalır: Kurulum bir proxy’den daha ağırdır. Bir SDK eklersiniz, çağrılarınızı enstrümanlarla donatırsınız ve kendi kendine barındırıyorsanız Postgres destekli bir yığın çalıştırırsınız. Takımlar için buna değer, tek bir komut dosyası için aşırı.
Fiyatlandırma: Barındırılan bulutta ücretsiz hobi katmanı. Takımlar için ayda yaklaşık 59$‘dan başlayan ücretli planlar. MIT lisansı altında kendi kendine barındırma ücretsiz, SSO ve denetim günlüğü için ücretli Enterprise katmanı ile.
Platformlar: SaaS web uygulaması ve macOS, Windows ve Linux’ta kendi kendine barındırılan Docker.
İndir: langfuse.com
Sonuç: Verileriniz altyapınızda kalmak zorundaysa ve ölçekte ayakta kalan bir takip platformu istiyorsanız Langfuse’u seçin.
3. LangSmith, zaten LangChain’de olan takımlar için en iyi
LangSmith, LangChain takımından barındırılan gözlenebilirlik ürünüdür. Ajanlarınız zaten LangChain veya LangGraph üzerine kuruluysa, entegrasyon bir ortam değişkenidir ve tek bir görünümde takiler, değerlendirmeler ve maliyet raporlaması alırsınız. Token ve USD maliyeti her çalıştırmanın yanında oturur, model başına dökümler ve finans gerçekten okuyabildiği proje düzeyi toplamı ile.
Burada eksik kalır: Kapalı kaynak ve sadece barındırılan. Fiyatlandırma takiler tarafından ölçeklenir, bu nedenle konuşkan ajanlar sabit oranı alternatiflerinden daha hızlı birikir. Yığını LangChain tabanlı değilse daha az yararlı.
Fiyatlandırma: Ayda sınırlı takiler ile ücretsiz katman. Ayda koltuk başına yaklaşık 39$‘dan başlayan ücretli planlar.
Platformlar: SaaS web uygulaması. Python ve JavaScript için SDK’lar macOS, Windows ve Linux’ta çalışır.
İndir: smith.langchain.com
Sonuç: Zaten LangChain’de yaşıyorsanız ve değerlendirmelerinizin yanında maliyet verisi istiyorsanız LangSmith’i seçin.
4. LiteLLM, bir ikili dosyada ağ geçidi ve muhasebe için en iyi
LiteLLM, ön tarafta OpenAI API’si konuşan ve arka tarafta yüzden fazla sağlayıcıya çeviren hafif bir proxy’dir. Proxy, yerleşik kullanım takibi, kullanıcı veya takım başına sanal API anahtarları ve anahtar başına katı bütçe sınırları ile gelir. Kapa vurun ve proxy 429 döner; fatura sürprizi yok. Bu, ağ geçidi ve muhasebe birlikte isteyen mağazalar için en yakın tek ikili cevaptır.
Burada eksik kalır: Pano işlevseldir ancak güzel değildir. Cilalı takiler ve istek düzeyi inceleme isteyen takımlar genellikle LiteLLM’yi ağ geçidi olarak çalıştırır ve UI için Langfuse veya Helicone ile eşleştirirler.
Fiyatlandırma: Açık kaynak MIT lisansı altında ücretsiz. Barındırılan kurumsal planlar talep üzerine.
Platformlar: macOS, Windows ve Linux üzerinde kendi kendine barındırılan Docker, Python paketi veya bağımsız ikili dosya.
İndir: litellm.ai
Sonuç: Her modeli yönlendiren ve kapıda katı bir bütçe zorlayan bir işlem istiyorsanız LiteLLM’yi seçin.
5. Portkey, bir pano isteyen üretim takımları için en iyi
Portkey, gözlenebilirlik, yönlendirme ağ geçidi, koruma ve istek yönetiminin bir yerde gerekli olduğu takımlar için üretim odaklı seçenektir. Her isteği kaydeder, istekleri güvenlik filtreleri karşısında puanlar ve işlemlerin bir sağlayıcıdan diğerine düşmesine izin verir, oran sınırı vurulunca. Pano, finans takımlarının istediği ayrıntı ile sağlayıcılar arasında USD maliyetini takip eder.
Burada eksik kalır: Çekirdek barındırılan ürün ücretlidir, kendi kendine barındırma Enterprise katmanına kilitlenir. Tek geliştiriciler veya açık kaynak ilk takımlar için daha az çekici.
Fiyatlandırma: Sınırlı istekler ile ücretsiz katman. Takımlar için ayda yaklaşık 49$‘dan başlayan ücretli planlar. Talep üzerine kurumsal fiyatlandırma, kendi kendine barındırma dahil.
Platformlar: SaaS web uygulaması ve macOS, Windows ve Linux’ta kurumsal kendi kendine barındırılan Docker ile.
İndir: portkey.ai
Sonuç: Ağ geçidi, gözlenebilirlik ve korumaları kapsayan bir pano istiyorsanız ve bütçe ücretli bir ürünü destekliyorsa Portkey’i seçin.
6. OpenLLMetry, zaten OpenTelemetry’de olan mağazalar için en iyi
OpenLLMetry, Traceloop’tan LLM çağrıları, vektör mağazası sorguları ve LangChain, LlamaIndex, Haystack ve doğrudan SDK kullanımı arasında çerçeve işlemleri için OpenTelemetry standart takiler yayan açık kaynak SDK’dır. Takiler, zaten çalıştırdığınız herhangi bir APM’ye iner: Datadog, New Relic, Honeycomb, Grafana Tempo, Jaeger veya kendi kendine barındırılan OTel toplayıcısı. Token sayıları ve USD maliyeti span öznitelikleri olarak yolculuk eder.
Burada eksik kalır: Kendi panodu yok; arka ucu siz getirirsiniz. Mevcut gözlenebilirlik platformu olmayan takımlar genellikle Helicone veya Langfuse tarafından daha iyi hizmet edilir.
Fiyatlandırma: Apache-2.0 lisansı altında ücretsiz. Traceloop’un barındırılan ürünü kullanım tabanlı fiyatlandırma ile katmanlı.
Platformlar: macOS, Windows ve Linux’ta Python ve TypeScript SDK’ları.
İndir: github.com/traceloop/openllmetry
Sonuç: Zaten bir APM’niz varsa ve LLM takilerini geri kalan span’larınızla aynı yerde istiyorsanız OpenLLMetry’yi seçin.
7. Arize Phoenix, yerel bir pano isteyen tek geliştiriciler için en iyi
Phoenix, Arize’den makine üzerinde tamamen çalışan açık kaynak gözlenebilirlik aracıdır. Bir not defterinde, konteyner’de veya yerel bir işlem olarak başlatın ve LLM çağrılarınızdan ve RAG boru hatlarından takiler localhost’ta eriştiğiniz bir panoya akar. OpenInference, OpenLLMetry ile örtüşen açık izleme formatını destekler ve RAG kalitesi, halüsinasyon ve toksisiye için değerlendiriciler içerir.
Burada eksik kalır: Uzun vadeli üretim günlüğü yerine geliştirme ve değerlendirme için tasarlandı. Kalıcı depolama ve takım erişimi gereken takımlar genellikle Arize’nin barındırılan platformuna veya Langfuse’ye ilerler.
Fiyatlandırma: Elastic-2.0 lisansı altında ücretsiz. Arize barındırılan platform ücretli.
Platformlar: macOS, Windows ve Linux’ta Python paketi ve Docker resmi.
İndir: phoenix.arize.com
Sonuç: RAG veya ajan prototipi tek başına oluşturursanız ve hesap olmaksızın yerel bir pano istiyorsanız Phoenix’i seçin.
Doğru olanı seçme
Yan proje test eden tek geliştiricisi: Proxy için Helicone veya üçüncü taraf atlamalarını istiyorsanız Phoenix.
Üretim ajanlarını çalıştıran küçük takım: Langfuse kendi kendine barındırılan veya Helicone barındırılan, üçüncü taraf aracılığıyla trafiği yönlendirebilirseniz. Her ikisi de çağrı başına maliyet, uyarılar ve mühendis olmayan okuyabilecek bir pano verirler.
Uyum kısıtlamaları olan kuruluş: Katı bütçeler ve sanal anahtarlar için ağ geçidi olarak LiteLLM ile eşleştirilmiş, kendi VPC’niz üzerinde Langfuse kendi kendine barındırılan. Tüm yığın için bir satıcı istiyorsanız Portkey Kurumsal.
Çalışan APM’li OpenTelemetry mağazası: OpenLLMetry. Takiler Datadog veya Grafana’da diğer herşeyin yanında iner, maliyet verisi span’larda oturur.
LangChain-birinci takım: LangSmith. Entegrasyon bir değişkendir ve değerlendirme araçları maliyet takibi kadar önemlidir.
Geliştirmede RAG-ağır takım: Hızlı geri bildirim için Phoenix yerel olarak, daha sonra başlattıktan sonra Langfuse veya LangSmith.
Sık sorulan sorular
Neden sadece sağlayıcı panosunu kullanmıyorsunuz? Sağlayıcı panolarında toplamları rapor edin, genellikle bir gün gecikmesi ile ve sadece o sağlayıcı için. Yığınınız Claude, GPT ve Gemini kullanıyorsa, üçü arasında tek bir görünüm gerekir. Yukarıdaki araçlar ayrıca çalıştırma devam ederken istek başına maliyeti ortaya çıkarır, fatura geldikten sonra değil.
Proxy çağrılarımı yavaşlatacak mı? Biraz. Helicone, LiteLLM ve Portkey bölge ve ağ yoluna bağlı olarak çağrı başına yaklaşık 20 ila 50 ms eklerler. Çoğu ajan iş yükü için bu görülmez. Gerçek zamanlı ses veya 100 ms altı döngüler için, OpenLLMetry veya Langfuse ile SDK tabanlı takip ek atlamayı önler.
Bu araçlar katı bir harcama sınırı uygulayabilir mi? LiteLLM ve Portkey yapabilir. Her ikisi de anahtar başına ve takım başına bütçe limitlerini destekler, eşik vurunca bir hata döner. Helicone ve Langfuse uyarı gönderirler ancak varsayılan olarak istekleri engellememezler. Gözlenebilirlik aracını ağ geçidi ile eşleştirin, görünürlük ve devre kesiciniz istiyorsanız.
Açık kaynak AI kullanım izleyicileri üretim için yeterince iyi mi? Evet. Langfuse, Helicone, LiteLLM, Phoenix ve OpenLLMetry hepsi iyi bilinen şirketlerde üretim iş yüklerini çalıştırırlar. Ödün işlemseldir: onları barındırırsınız, onları yamarlar ve takip hacminiz büyüdüğü zaman veritabanını ölçeklersiniz.
Özellikle Codex takibinden bahsetmek gerekirse? Codex, Haziran 2026 güncellemesinde yerleşik bir kullanım göstergesi ekledi ve bu da CLI içindeki “kesilmek üzeresim mi” anlık sorununu çözer. Takım düzeyi maliyet raporlaması ve sağlayıcı arası karşılaştırma için, yukarıdaki araçlardan birini hala istersiniz. OpenAI trafiğini Helicone veya LiteLLM aracılığıyla yönlendirin ve Codex çağrıları için diğer her şey kadar aynı görünürlüğü alırsınız.
Bunların herhangi biri yerel olarak çalışan açık ağırlık modellerini izler mi? Evet. Langfuse, Helicone, LiteLLM, OpenLLMetry ve Phoenix hepsi OpenAI uyumlu uç noktalar aracılığıyla Ollama, vLLM ve llama.cpp dahil olmak üzere yerel sağlayıcıları destekler. USD maliyeti kendi kendine barındırılan modeller için varsayılan sıfıra ayarlanır, ancak token sayıları, gecikme ve takip verisi barındırılan sağlayıcılar için aynı şekilde çalışır.
