Az trafikli mağazada A/B testi yapmamak, ölçmeden karar vermek anlamına gelmez. Bazen iki sürümü karşılaştıracak yeterli gözlem oluşmadan sezon, ürün karması veya kampanya değişir. Böyle bir durumda test görünümündeki bir çalışma güvenilir cevap üretmeyebilir.
Ben önce hangi kararın belirsiz olduğunu ve bu kararı değiştirecek büyüklükte bir farkı ölçmenin mümkün olup olmadığını sorarım. Düğme rengini haftalarca karşılaştırmak yerine çalışmayan bir formu düzeltmek veya eksik ürün bilgisini tamamlamak daha gerekli olabilir.
Trafik sayısı tek başına eşik değildir
Gerekli gözlem sayısı başlangıç oranına, ölçülen sonucun değişkenliğine, anlamlı sayılacak en küçük etkiye, istatistiksel yönteme ve kabul edilen hata olasılıklarına bağlıdır. Bu nedenle “ayda şu kadar ziyaretçi varsa test yapılır” şeklinde evrensel bir sayı kullanmam.
Statsig’in güç analizi açıklaması, saptanmak istenen etki, deney süresi ve katılım miktarı arasındaki ilişkiyi anlatır. Uygun bir hesap yaparken toplam site trafiği yerine gerçekten deneye uygun kullanıcıların miktarı gerekir.
Örneğin yalnız belirli bir ürün grubunu etkileyen değişiklik, bütün mağaza trafiğiyle değerlendirilmez. Aynı kişinin tekrar ziyaretleri ve gruplar arasındaki geçişler de deney tasarımında ele alınmalıdır. Sayfa görüntülemesini bağımsız kişi sayısı sanmak planı olduğundan güçlü gösterebilir.
Ölçüm bozuksa deneyi başlatmamak
Olayın ne zaman oluştuğu belirsizse veya satın alma çift sayılıyorsa yeni sürümün etkisini anlamak zorlaşır. Önce olay tanımı, kimlik, grup ataması ve sonuç kaydının tutarlılığı kontrol edilmelidir.
Testin hedefi satın alma olsa bile sepete ekleme, ödeme hatası ve destek ihtiyacı gibi yardımcı göstergeler teşhis için kullanılabilir. Ancak sonuç iyi görünmediğinde ana metriği sonradan değiştirmek doğru değildir. Birincil karar ölçütü ve koruyucu göstergeler önceden yazılmalıdır.
Açık bir işlev hatası bulunduğunda bunu müşterilerin yarısında bilerek sürdürmek çoğu zaman anlamlı bir ürün deneyi değildir. Hatanın düzeltilmesi, görev doğrulaması ve yayın sonrası kontrol ayrı bir çalışma olarak ele alınabilir.
Beklenen fark kararı değiştirmeyecekse
İstatistiksel olarak saptanabilen farkın iş açısından değerli olması gerekir. Uygulaması ve bakımı pahalı bir değişiklik için çok küçük bir artış yeterli olmayabilir. Tersine maliyeti düşük, anlaşılabilirliği artıran bir düzenleme başka kanıtlarla uygulanabilir.
Karar öncesinde “bu değişikliği sürdürmek için neyin farklı olması gerekir?” sorusuna cevap ver. Ek gelir, sipariş katkısı, hata azalması veya destek yükü gibi sonuçlar olabilir. Hepsini aynı anda birincil metrik yapmak yerine esas kararı belirleyen sonucu seç.
Öngörülen test süresi boyunca ürün bulunurluğu veya teklif tamamen değişecekse deneyin yorumlanabilirliğini yeniden değerlendir. Süreyi kısaltmak için gerçekçi olmayan büyük etki varsaymak, veri ihtiyacını ortadan kaldırmaz.
Az trafikte hangi kanıtları toplarım?
Görev testleri, müşterinin belirli bir işi tamamlayıp tamamlayamadığını gösterir. Destek kayıtları tekrar eden belirsizlikleri işaret eder. Sipariş ve iade incelemesi, yanlış beklentinin nerede maliyete dönüştüğünü ortaya çıkarabilir. Teknik kontroller işlemin beklenen biçimde çalıştığını doğrular.
Bu yöntemler A/B testinin sağladığı nedensel karşılaştırmanın yerine otomatik olarak geçmez. Güçleri farklı sorulara cevap vermeleridir. “Kullanıcı teslimat bilgisini bulamadı” gözlemi ile “bu değişiklik satışları yüzde on artırdı” iddiası aynı kanıtı istemez.
Önerilen sıra şöyledir: problemi gözle, olası nedenleri ayır, düşük riskli çözümü hazırla, görev üzerinden kontrol et, sınırlı yayında olumsuz etkileri izle. Sonuç kaydına yöntemin hangi iddiayı desteklediğini açıkça yaz.
Öncesi ve sonrası karşılaştırmasının sınırı
Değişiklikten sonra satışın artması tek başına değişikliğin etkisini göstermez. Reklam harcaması, hafta içi dağılımı, fiyat, stok, sezon ve müşteri karması da değişmiş olabilir. Bu etkenleri kaydetmek yorumu iyileştirir; hepsini kusursuz biçimde kontrol ettiğin anlamına gelmez.
Öncesi-sonrası incelemeyi operasyonel izleme olarak kullanabilirsin. Büyük bir hata veya beklenmeyen düşüş varsa araştırma başlatır. Fakat zayıf bir karşılaştırmadan kesin artış oranı çıkarıp başarı hikâyesi yazma.
Teste başlamak için kabul koşulları
Yorumlanabilir bir hipotez, güvenilir ölçüm, uygun rastgele atama, yeterli beklenen gözlem, önceden belirlenmiş analiz ve durdurma yöntemi bulunmalıdır. Sabit örneklemli bir yöntemi sürekli kontrol edip ilk olumlu sonuçta bitirmek yerine seçilen yöntemin kurallarına uyulmalıdır. Ardışık analiz kullanılacaksa baştan buna uygun tasarım gerekir.
Test sonuçsuz kaldığında “iki sürüm aynıdır” demek de acelecilik olabilir. Belirsizlik aralığı karar için hâlâ geniş olabilir. Sonraki adım yeni bir varyasyon üretmek kadar hipotezi veya araştırma yöntemini değiştirmek de olabilir.
Ölçümün içeriğini düşünmek için 90 günlük içerik ölçüm planını, karar bilgisini geliştirmek için özgün ürün açıklaması rehberini inceleyebilirsin. Az trafik, sahte kesinlik üretmek için gerekçe değildir; daha dar ve cevaplanabilir sorular seçmek için bir sınırdır.