Agent çıktısını insan kontrolüne göndermek için yalnız modelin kendine verdiği güven puanına bakmam. Kararın etkisi, kanıtın yeterliliği, yetki sınırı ve geri dönüş maliyeti daha belirleyicidir. Model kendinden emin olabilir ama gerekli kayıt eksik olabilir; bu durumda yüksek güven ifadesi inceleme ihtiyacını ortadan kaldırmaz.
Bu yazı, insan inceleme kuyruğu için önerilen yönlendirme düzenidir. Canlı bir agent sisteminin performans raporu değildir. Amaç bütün çıktıları aynı incelemeye yığmak yerine, hangi koşulda hangi kişinin neyi kontrol edeceğini açıklamaktır.
İnceleme nedenlerini görünür yapmak
| Tetikleyici | İncelemede cevaplanacak soru |
|---|---|
| Çelişen kanıt | Hangi kayıt güncel ve yetkili kaynak? |
| Eksik önemli bilgi | Karar verilebilir mi, ek bilgi mi gerekli? |
| Yüksek etkili eylem | Sonuç ve yetki kapsamı uygun mu? |
| Yeni veya alışılmadık durum | Mevcut kurallar bu durumu kapsıyor mu? |
| Değerlendirmede zayıf görev türü | Çıktı özel uzmanlıkla doğrulanmalı mı? |
| Kullanıcının insan talebi | Doğrudan uygun kişiye nasıl aktarılır? |
Bu tetikleyiciler uygulama mantığında mümkün olduğunca açık tanımlanır. Modelin bir durumu işaretlemesi yardımcı olabilir, fakat bütün güvenlik ve yetki kontrolünün modele bırakılması doğru değildir.
İnceleyene gerekli kanıtı sunmak
Kuyruktaki kayıt, istenen görevi, kullanılan kaynağı, önerilen sonucu ve belirsizliği göstermelidir. Değişiklik varsa önceki ve sonraki değer yan yana bulunur. İnceleyen kişi kaynağa ulaşamıyorsa değerlendirme, yalnız modelin özetine güvenmeye dönüşebilir.
Özet ile ham veri arasında denge kurarım. Bütün geçmişi göstermek yerine ilgili parçaları ve gerektiğinde kontrollü ayrıntı erişimini sunarım. Kişisel veya gizli bilgi yalnız görev için gerekli olan kişiye ve kapsamda açılmalıdır.
Onayı işleme bağlamak
Bir taslağa verilen onay, kapsamı değişmiş yeni bir eyleme otomatik taşınmamalıdır. Ürün fiyatı, sipariş durumu veya hedef kayıt onaydan sonra değişmişse yeniden kontrol gerekebilir. Onaylanan sürüm ve uygulanacak sürüm aynı olmalıdır.
OWASP, yüksek etkili eylemler için insan kontrolünü ve yetki doğrulamasının model dışındaki sistemlerde uygulanmasını önerir. Aşırı yetki kaynağı bu iki katmanın birlikte düşünülmesini destekler. İnsan düğmesi, eksik erişim kontrolünün yerine geçmez.
Kuyruğun kendisini yönetmek
İnceleme süresi, bekleyen iş sayısı ve kararın zaman hassasiyeti izlenir. Kuyruk kapasitesi yetersizse sistemin insan onayı varmış gibi tasarlanması pratikte işe yaramaz. Bazı görevler daraltılmalı, ertelenmeli veya otomatik uygulama yerine taslak olarak bırakılmalıdır.
İnceleyen kişiye yalnız kabul ve ret seçenekleri sunmak her zaman yeterli değildir. “Ek bilgi gerekli”, “yanlış kaynağa dayalı” veya “uygun yetki yok” gibi nedenler sonraki iyileştirmeyi kolaylaştırır. Ancak seçenekler gerçek iş akışını gereksiz yere karmaşıklaştırmamalıdır.
Örnekleme ile kritik kontrolü karıştırmamak
Düşük etkili ve değerlendirmesi güçlü görevlerde kalite örneklemesi yararlı olabilir. Fakat yüksek etkili veya yetki gerektiren işlemlerde rastgele örnekleme, işlem öncesi zorunlu kontrolün yerine geçmez. Bu iki inceleme türü ayrı adlandırılmalıdır.
Sipariş agent’ı yetkileri eylem sınırını; AI tavsiyesi ve karar kontrolü kanıt kartını tamamlıyor. İnceleme düzeninin başarısı, kaç onay verildiğinden çok, yanlış veya eksik çıktının etkili bir eyleme dönüşmeden fark edilebilmesidir.