AI tavsiyesi ile iş kararı arasında bir kontrol noktası bulunmalıdır. Model bir seçeneği makul bir dille açıklayabilir; bu açıklama verinin doğru, varsayımın geçerli veya eylemin yetkili olduğunu tek başına göstermez. Özellikle fiyat, stok, müşteri iletişimi ve bütçe gibi alanlarda öneriyle uygulama ayrı aşamalar olarak tasarlanmalıdır.
Buradaki çerçeve, bir karar incelemesi önerisidir. Gerçekleşmiş yatırım, kampanya veya operasyon sonucu anlatmaz. AI çıktısını otomatik olarak güvenilir ya da değersiz saymak yerine, hangi bölümünün hangi kanıtla desteklendiğini görünür kılmayı amaçlar.
Öneriyi parçalarına ayırmak
İlk bölüm gözlenen bilgidir: hangi kayıt, tarih ve kapsam kullanıldı? İkinci bölüm yorumdur: bu bilgiler ne anlama gelebilir? Üçüncü bölüm eylemdir: hangi değişiklik öneriliyor? Bu üçü aynı paragrafta birleştiğinde varsayım kolayca gerçek gibi okunabilir.
Örneğin “bu üründe stok artırılmalı” önerisi için talep gözlemi, eldeki kullanılabilir stok, tedarik süresi ve nakit etkisi ayrı incelenir. Satışın düşük olduğu dönem stok yokluğu içeriyorsa kullanılan talep verisi sınırlıdır. Modelin bunu fark etmesi beklenebilir, fakat kontrol sorumluluğu yalnız modele bırakılamaz.
Karar kartında zorunlu alanlar
| Alan | İnceleme sorusu |
|---|---|
| Kanıt | Öneri hangi doğrulanabilir kayıtlara dayanıyor? |
| Varsayım | Hangi bilgi ölçülmedi veya tahmin edildi? |
| Alternatif | Başka hangi açıklama veya eylem mümkün? |
| Etki | Yanlış kararın müşteri ve işletme maliyeti ne? |
| Geri dönüş | Değişiklik kolayca geri alınabilir mi? |
| Yetki | Uygulamaya kim karar verebilir? |
| İzleme | Sonuç ne zaman ve nasıl değerlendirilecek? |
Bu kart her küçük öneri için uzun belge gerektirmez. Önemli olan, kararın riskine uygun asgari soruların yanıtlanmasıdır. Düşük etkili bir taslak düzenlemesi ile toplu fiyat değişimi aynı inceleme düzeyine ihtiyaç duymaz.
Kesin kuralları model dışına almak
Geçerli ürün kimliği, izin verilen tutar aralığı veya kullanıcı yetkisi gibi koşullar uygulama tarafından doğrulanmalıdır. Modelin “bu işlem uygundur” demesi izin kontrolü değildir. Aynı şekilde üretilen metin doğrudan komut veya sorgu olarak çalıştırılmamalıdır.
OWASP, model çıktısının başka sistemlere aktarılmadan önce yeterince doğrulanmamasını ayrı bir risk olarak ele alır. Çıktı işleme rehberi bu sınırın teknik gerekçesini açıklar. İş kararı tarafında da öneri, inceleme ve uygulama kayıtlarının ayrılması aynı denetlenebilirliği destekler.
İnsan incelemesini gerçek bir görev yapmak
İnceleyenin yalnız “onayla” düğmesine basması yeterli değildir. Kaynak bilgiyi, değişecek alanları, belirsizlikleri ve olası yan etkileri görebilmesi gerekir. Yoğun bir kuyruğa belirsiz metinler atmak, kontrol varmış gibi görünürken gerçek değerlendirmeyi zayıflatabilir.
Karar reddedildiğinde neden kaydedilir: yanlış veri, eksik bağlam, uygun olmayan öneri veya yetki sınırı. Bu ayrım sonraki iyileştirmeyi yönlendirir. Her reddi model kalitesine bağlamak veri veya süreç problemlerini gizleyebilir.
Sonucu başlangıç varsayımıyla karşılaştırmak
Uygulanan kararın etkisi, önceden yazılmış beklenti ve kontrol aralığıyla değerlendirilir. Olumlu sonuç tek başına bütün gerekçelerin doğru olduğunu kanıtlamaz; başka değişimler de etkili olabilir. Olumsuz sonuçta da ilk varsayım, veri ve uygulama ayrı incelenir.
Stok yatırımını değerlendirmek somut bir iş kararı örneği; özellik talebinin arkasındaki problem ise önerilen çözümü sorgulamanın ürün tarafındaki karşılığıdır. AI’dan yararlanmak, kararın sahibini ve gerekçesini görünmez hale getirmemelidir.