Önce test edilebilir bir problem kurun
İki farklı tasarımı rastgele yarıştırmak yerine gözlenen sorunu yazın. Örneğin hizmet kapsamı anlaşılmadığı için yanlış başvuru geliyor olabilir. Hipotez, belirli değişikliğin belirli davranışı neden etkileyeceğini açıklasın. Bütün banner, fiyat, form ve reklam aynı anda değişirse hangi parçanın etkili olduğunu ayırmak zorlaşır.
Tek ana ölçüt ve koruma ölçütü seçin
Buton tıklaması kolay ölçülür; ancak gerçek hedef uygun görüşme veya sonuçlanan sipariş olabilir. Ana ölçütü, olay tanımını ve değerlendirme penceresini testten önce belirleyin. Hata oranı, sayfa yüklenmesi veya müşteri kalitesi gibi koruma ölçütü de ekleyin. Bir versiyon çok mesaj getirirken uygun müşteri oranını düşürüyorsa başarı ilan etmeyin.
Trafik dağılımını ve değişiklikleri kaydedin
Versiyonlar benzer kaynak ve dönem koşullarında karşılaştırılmalı. Reklam bütçesi, ürün stoğu veya teklif değişiklikleri test günlüğünde yer alsın. Aynı ziyaretçinin tutarsız versiyonlar görmesi sonucu etkileyebilir. Test aracının kurulumunu sentetik senaryoyla doğrulayın; analitik olaylarının iki versiyonda aynı biçimde çalıştığını kontrol edin.
Erken sonuca atlamayın
İlk birkaç dönüşümde görülen fark rastlantı veya gün etkisi olabilir. Gerekli örneklem ve süre mevcut trafik ile beklenen etkiye bağlıdır; herkes için geçerli gün veya ziyaretçi sayısı verilmez. Önceden belirlenen karar yöntemi olmadan her gün kazananı değiştirmek testi zayıflatır. Yetersiz veri varsa sonuç belirsiz diye raporlanmalıdır.
Kazananı yayından sonra da izleyin
Seçilen versiyon gerçek müşteride çalışırken teknik hata, uygun başvuru ve iş sonucu takip edilir. Test koşulunda iyi sonuç, bütün dönem ve kaynaklara aynı etkiyi garanti etmez. Kabul; tekrar üretilebilir kurulum, açık hipotez ve sınırları belirtilmiş bulgudur. Veri azsa uzman incelemesi ve görev testleri, istatistiksel üstünlük iddiasının yerine geçmeden iyileştirme önceliği sağlayabilir.