什么是增量提升?公式与对照组
增量提升是活动结果中,没有这场活动就不会发生的那一部分。不接收任何触达的对照组,是衡量它的办法。
增量提升,是活动额外带来的结果:即被联系的玩家与可比的未联系玩家之间的差距。简单统计收到消息后存款的玩家数,会把本来就会存款的玩家也算进去。只有与对照组之间的差距,才属于这场活动。
Blueshift 对 holdout 测试(留出组测试)的描述与此一致:一组收到消息,对照组不发,两组结果的差异归因于活动。
公式
- 绝对提升 = 实验组比率 − 对照组比率
- 相对提升 = (实验组比率 − 对照组比率)÷ 对照组比率
- 增量 NGR = (每名实验组玩家的 NGR − 每名对照组玩家的 NGR)× 实验组玩家数
- 净增量 NGR = 增量 NGR − 活动成本
两组来自同一份冻结的受众,随机分配,并在同一窗口内衡量。
示例。 一份冻结名单里有 10,000 名沉睡玩家。1,000 人进入对照组,9,000 人进入实验组。30 天内,实验组有 900 人存款(10%),对照组有 60 人存款(6%)。绝对提升为 4 个百分点,相对提升为 67%。每名玩家的 NGR,实验组为 €6,对照组为 €3,所以增量 NGR 为 (6 − 3) × 9,000 = €27,000。活动成本为 €9,000,净增量 NGR 为 €18,000。
上报的 NGR 究竟从何而来
示例。实验组,30 天。
运营商如何使用
团队用提升来决定哪些活动重复做、哪些渠道值得付费、在哪里削减奖金支出。提升也为绩效费用提供公平的基数:与增量 NGR 挂钩的费用,付的是效果,而不是为那些自己回来的玩家付费。
长期保留的全局对照组,即不被任何方案联系的一小部分玩家,在多个方案同时运行时能保持衡量的公正。Gutierrez 和 Gerardy 把提升建模(uplift modelling)定义为对某个动作在客户结果上的增量影响进行建模的一组技术。起步并不需要这样的模型,随机对照组就够了。
自我排除、已退订或按负责任博彩规则被标记的玩家,两组都不纳入。
常见错误
- 把所有回来的玩家都当作结果。这会把自然回流记到活动头上。
- 手工挑选对照组。要从同一份名单中随机分配。
- 对照组仍被其他活动联系。
- 衡量 GGR。要用 NGR,让奖金成本被扣除。
- 只看到 30 天为止。奖金可能只是把一笔存款提前,并没有增加存款,所以要查看更长的窗口。
- 把小对照组上的微小差距当成结果。
相关术语
召回率是最常用这种方法检验的指标。玩家召回活动指南给出完整的对照组设置,iGaming 玩家流失则涉及高风险玩家的对照组。
常见问题
什么是增量提升?
增量提升是收到活动的玩家与未收到活动的可比对照组之间的结果差异。它把活动造成的部分与本来就会发生的部分分开。
增量提升的公式是什么?
绝对提升等于实验组比率减去对照组比率。相对提升是这个差值除以对照组比率。增量 NGR 是每名玩家的 NGR 差乘以实验组玩家数。
对照组需要多大?
要大到差异超过随机噪声。基数小,就需要留出更大比例的玩家。用显著性检验或置信区间检验这个差值。
前后对比可以替代对照组吗?
这是较弱的替代办法。季节、事件和其他活动都会随时间改变结果。任何这类估算都要标明是估算。