Ajan hata verdiğinde log'a bakmak neden işe yaramıyor
- Agentic AI
- Üretim
Ajan yanlış cihazda işlem yaptı. İlk refleks log'lara bakmak.
Log işlemin yapıldığını gösteriyor. Hangi parametrelerle yapıldığını gösteriyor. Sonucunu gösteriyor. Göstermediği tek şey, o parametrelerin neden seçildiği - ve arızanın tamamı orada.
Log bir olayı kaydeder, ajan bir dizi karar verir
Sıradan bir servis çağrısında log satırı yeterli, çünkü girdiyle çıktı arasındaki ilişki deterministik. Aynı girdi, aynı sonuç.
Ajan akışında araya bir yığın karar giriyor: hangi araç seçildi, hangi belgeler getirildi, hangi çıktı doğrulamayı geçemedi, kaçıncı denemede geçti. Her biri sonucu etkiliyor ve hiçbiri tek bir log satırına sığmıyor.
Elinizde şu kalıyor: "APP-014 üzerinde spooler yeniden başlatıldı". Sorduğunuz soru ise "neden APP-014" ve cevabı kayıtta yok.
Kaydedilmesi gereken karar noktaları
Her ajan çalışmasını tek bir iz altında topladık, her karar noktası o izin bir adımı oldu.
Bir adımda tuttuğumuz şeyler: adımın girdisi ve hangi önceki adımdan geldiği, modele giden bağlamın özeti değil kimliği (hangi belgeler, hangi araç tanımları), modelin ürettiği yapılandırılmış çıktı, doğrulama sonucu ve başarısızsa hangi katmanın reddettiği, ve deneme sayısı.
Bunlar bir aradayken "neden APP-014" sorusu cevaplanabiliyor: sınıflandırma adımı olayı yanlış kategoriye koymuş, getirme o kategoriye ait belgeyi getirmiş, planlayıcı da doğal olarak yanlış hedefi seçmiş. Üç adım geriye gitmek gerekiyordu.
Örnekleme yapamadığımız yer
Yüksek hacimli sistemlerde iz örneklemek standart pratik - her isteğin değil, yüzde birinin izi tutulur.
Ajan sistemlerinde bu iki sebeple çalışmıyor. İlgilendiğiniz vakalar nadir olanlar, ve örnekleme tam olarak onları kaçırıyor. Bir de şu var: bir ajanın kararı geriye dönük incelenemiyorsa, o kararın sorumluluğu da alınamıyor.
Ayrımı şöyle kurduk. Geri alınabilir ve otomatik giden işlemlerde örnekleme var. İnsana düşen veya geri alınamaz işlemlerde tam iz tutuluyor. Hacmi birinci grup taşıyor, ağırlığı ikincisi.
İz bir kimliğe asılmadan işe yaramıyor
Altyapı tarafında iz kaydı çözülmüş bir konu. Ajan tarafında eksik olan, izin iş dünyasındaki bir nesneye bağlanması.
Her iz bir olay kimliği taşıyor. Bir cihazdaki işlemden geriye gidip hangi olay, hangi plan, hangi adım sonucu yapıldığını bulabiliyorsunuz. Ya da bir olaydan ileriye gidip hangi işlemlerin tetiklendiğini görebiliyorsunuz.
O bağ yoksa iz kaydı teknik bir merak nesnesi olarak kalıyor, operasyonel araca dönüşmüyor.
En çok kullandığımız üç sorgu
İz kaydı kurulduktan sonra sürekli açtığımız üç sorgu oldu. Doğrulama katmanı hangi adımlarda en çok reddediyor - şemanın belirsiz kaldığı yerler oradan çıkıyor. Hangi adımlarda birden fazla deneme yapılıyor - modelin zorlandığı noktalar. Ve otomatik kapatılıp sonra tekrar açılan olayların izleri.
Üçüncüsü beklemediğimiz bir şeyi açığa çıkardı: hiçbir hata mesajı üretmediği için başka türlü görünmesi mümkün olmayan bir hata sınıfı.
Ajan sistemlerinde gözlemlenebilirlik daha fazla log satırı yazmak değil. Kararları birbirine bağlayan bir yapı kurmak.
Log "ne oldu" sorusunu cevaplıyor. İz "neden oldu" sorusunu. Ajan hata verdiğinde sorduğunuz soru her zaman ikincisi oluyor.