Yöneticinizin itirazı çok yerinde ve aslında size bir iyilik yapıyor; çünkü bu soruyu yönetim toplantısında birisi mutlaka soracaktı. Buradaki sorun, istatistikte "seçim yanlılığı" denen durum: iki grup baştan farklıysa, sonraki farkın ne kadarının programdan, ne kadarının bu başlangıç farkından geldiğini ayırt edemezsiniz. Korelasyon var, ama nedensellik henüz kanıtlanmış değil.
Elinizdeki veriyle sonucu daha güvenilir hale getirmek için yapabilecekleriniz:
- Başlangıç noktasını karşılaştırın. Program öncesi dönemde iki grubun satış performansı ve artış eğilimi nasıldı? Katılımcılar zaten daha hızlı büyüyorsa, yüzde 18'in bir kısmı bu eğilimin devamı olabilir.
- Mutlak değer yerine değişime bakın. Her kişinin kendi önceki dönemine göre artışını hesaplayın, sonra iki grubun artışlarını karşılaştırın. Buna "farkların farkı" yaklaşımı deniyor.
- Benzer profilleri eşleştirin. Katılımcılarla benzer kıdem, bölge, ürün grubu ve başlangıç performansına sahip katılmayan çalışanları eşleştirip bu daha dar grupla karşılaştırın.
- Diğer etkenleri listeleyin. Aynı dönemde kampanya, bölge değişikliği, yeni ürün gibi katılımcıları farklı etkileyen bir şey oldu mu?
- Örnek büyüklüğünü göz önünde tutun. 45 kişilik grupta birkaç çok başarılı kişi ortalamayı ciddi şekilde yukarı çekebilir. Ortalamanın yanında medyanı da gösterin.
Sunarken dürüst bir dil kullanın: "Program katılımcılarında daha yüksek artış gözlemledik; başlangıç farklarını dikkate aldığımızda bile fark şu düzeyde kalıyor. Bu sonuç programın olumlu etkisine işaret ediyor, ancak kesin nedensellik için bir sonraki dönemde şu tasarımı öneriyoruz." Yönetim bu yaklaşıma, abartılı bir rakamdan çok daha fazla güveniyor.
Gelecek için en önemli önerim: bir sonraki programı ölçülebilir kurgulayın. Mümkünse katılımcıları benzer adaylar arasından dalgalar halinde alın; ilk dalga programa girerken ikinci dalga bekleme grubu olur ve doğal bir karşılaştırma grubu oluşur. Böylece hem herkese program sunarsınız hem de etkiyi çok daha net görürsünüz.
Sık yapılan hata, olumlu sonucu ilk bulduğunuz haliyle raporlamak. Bir kez itiraz edilip çürütülen bir rakam, sonraki tüm raporlarınızın güvenilirliğini zedeliyor.