Ajan hata verdiğinde log'a bakmak neden işe yaramıyor
Log işlemin yapıldığını gösteriyor, parametrelerini gösteriyor, sonucunu gösteriyor. Göstermediği tek şey o parametrelerin neden seçildiği.
- Agentic AI
- Üretim
Makaleler
On binlerce cihazı yöneten bir platformda ajan sistemleri kurarken öğrendiklerim. Her yazı çalışan bir sistemden çıkıyor - genel geçer özet değil.
Log işlemin yapıldığını gösteriyor, parametrelerini gösteriyor, sonucunu gösteriyor. Göstermediği tek şey o parametrelerin neden seçildiği.
Karşılaştırma tabloları sorgu gecikmesiyle açılıyor. Kurumsal bir kurulumda o sayılar hiçbir şeye karar vermedi.
Şikayet hep aynı cümleyle geliyor - model uyduruyor. Bakınca uydurmuyor, kendisine verilen belgeyi gayet doğru özetliyor. Belge yanlış.
MCP entegrasyon maliyetini gerçekten düşürüyor. Ama kurduğunuz şey, tanımı gereği, iç sistemlere programatik erişimi olan bir servis.
Değerlendirme kümesi kurmanın zor tarafı metrik seçmek değil. Elinizde ölçecek bir şey olmaması.
Kalite düşünce modeli büyütmek, yerel kurulumda elinizdeki en pahalı düğme. Genelde çevrilmesi gereken düğme o değil.
Zincirdeki her adım kendi işini doğru yapıyor, sonuç yine yanlış çıkıyor. Sorunun nerede başladığını bulmak, sorunu çözmekten daha uzun sürüyor.
Bir aracın imzası, ajanın o sistemde yapabileceklerinin tanımı. Geniş tanımlı tek bir araç, dar tanımlı otuz aracın verdiği güvenceyi siliyor.
Ajanın nereye kadar gideceğine karar vermek model kalitesiyle ilgili bir soru sanılıyor. Değil. Yanıldığında neyin kırıldığıyla ilgili.
Model tam olarak tasarlandığı işi yapıyor - önüne gelen metni yönerge sayıyor. O metnin nereden geldiği model açısından görünmez.
Bu seçim genelde "hangisi daha hızlı" ekseninde tartışılıyor. Doğru eksen eşzamanlılık profili.
Bir ajan zincirinde en pahalı hata yanlış çıktı üretmek değil. Yanlış çıktının doğru sanılıp bir sonraki adıma geçmesi.
Henüz yayımlanmış makale yok.