Uplift modelleme: kontrol grubu olmadan müdahale etkisi iddia etmeyin

'Kampanyadan sonra churn düştü' neden yetmez?

• Seçim yanlılığı: kampanyayı zaten ilgili, ulaşılabilir müşterilere gönderdiyseniz, onlar kampanya olmasa da daha az ayrılacaktı.
• Mevsimsellik: kayıp oranları dönemden döneme kendiliğinden değişir.
• Ortalamaya dönüş: en riskli görünen grup, bir sonraki dönemde müdahale olmasa da ortalamaya yaklaşır.

T-learner nasıl çalışır?

En sade uplift yöntemlerinden biri. İki ayrı model eğitilir: biri müdahale alan müşterilerde kayıp olasılığını, diğeri müdahale almayanlarda kayıp olasılığını öğrenir. Bir müşteri için iki modelin tahmini arasındaki fark, o müşteri için tahmini müdahale etkisidir (CATE).

CATE = P(kayıp | müdahale, x) − P(kayıp | kontrol, x)

Negatif CATE, müdahalenin kaybı azalttığını gösterir. Beklenen değer hesabındaki 'etki' terimi buradan gelir.

Gereken veri

• Müdahale bayrağı: müşteri müdahale aldı mı?
• Sonuç: gözlem penceresinde ayrıldı mı?
• Müdahaleden önceki özellikler: kullanım, ödeme, destek geçmişi.
• Her kolda yeterli satır ve her kolda hem ayrılan hem kalan müşteri.
• Sızıntı yok: müdahale, sonuç ya da müşteri kimliği özelliklere karışmamalı.

Kamuya açık veri setleri ne söyler?

Churn çalışmalarında sık kullanılan IBM Telco veri setinde müdahale/kontrol ataması yoktur. Bu veriyle uplift kanıtlanamaz; ancak simülasyon yapılabilir. Hillstrom e-posta veri seti ve Criteo uplift veri seti gibi kaynaklarda ise rastgele müdahale ataması vardır ve uplift yöntemlerini sınamak için daha uygundur.

Bir pilotta etki nasıl ölçülür?

1. Kararların uygulanacağı müşterilerden rastgele bir kontrol grubu ayrılır.
2. İki grup aynı dönemde izlenir.
3. Ölçüt baştan yazılır: korunan değer eksi harcanan bütçe.
4. Sonuç ne çıkarsa raporlanır.

Vinctum Aegis, gerçek müdahale/kontrol verisi olmadan üretilen uplift sonuçlarını 'simülasyon' olarak işaretler ve kanıt gibi sunmaz. Bu, bugün henüz doğrulanmış bir müşteri sonucu iddia etmememizin de sebebidir.