判断"这次改动的效果",有两套办法,顺序不能反:
第一步,问能不能做实验。 能做就做实验,并按 MTH-01 的四项检查验收(对照、均值、周期、护栏)。
第二步,不能做实验时,用准实验方法把观察数据变成可比两组。 目前本库覆盖的、有实战来源的一种是倾向得分:
第三步,如果做完仍然分不清,就承认分不清。 不能用"相关"顶上"因果"。
一、观察数据里的对比天然带自选择偏差。(理论机制)
典型复盘句子是"参加活动的玩家 ARPU 上升了,没参加的基本没动,所以活动提升了 ARPU"。问题是这两组人从起点就不同:愿意点开活动、完成前置任务、在限定时间上线的人,本身就是更活跃、更愿意付费的那批。这类偏差不靠更努力地看数据解决,只能靠改变比较方式解决(找出条件相似但没参与的人)。
二、中介效应决定了你该在哪一环动手。(理论机制)
当 A 通过 B 影响 C 时,把 B 控制住,A 与 C 的相关性会消失。这条判据既是识别机制的工具,也是行动的指南:知道你的钱落在链条的哪一环,才知道该优化单价还是优化节奏。
三、公共曝光位会让 holdout 本身成为干扰源。(来源主张 + 本库推断)
来自投放场景的证据:一家手游厂商全球停投 24 天后,自然安装下降 20%–30%,而把商店榜单位置放进模型后,投放与自然安装的相关性消失——榜单位置是中介变量。推论是:当分发依赖平台层决定的公共位置时,"留一部分用户不看广告"这类标准增量测试,会因为压掉了对照组本可获得的曝光提升而系统性低估效果。 这条推论出自来源作者,本库转述并标注为待验证。
换成游戏内语言(本库推断,尚未验证):排行榜、跨服活动、公会贡献这类由全体玩家共同决定、又能被所有玩家看见的机制,可能具有同样性质——你为了测量而按住的那批人,可能同时也在改变留下来的那批人所处的环境。
三条各自的边界:
MTH-01 的关系定为"分工"而非"合并"。 MTH-01 回答"实验做得对不对"(对照、均值、周期、护栏),本条目回答"没有实验时凭什么说因果"。两者共用"因果识别"这一机制族,但验收标准不同,故分列并互链。MTH-01 实验结论的可信度判据 是前后两步:MTH-01 的第一步是"有没有同期对照组";本条目指出"有对照组"不等于"对照组干净"——当机制是公共的,holdout 自己就成了干扰源。这是 MTH-01 原四条检查里缺的一层OPS-01 存量市场运营资源分配 是上下游:OPS-01 要求把收入拆成新增贡献与老用户贡献,那是描述性拆分;本条目提供的是判断"这个拆分能不能读成因果"的标准OPS-02 内容种草与考核对象 的关系:OPS-02 的最脆弱处是"下载是确认动作"只有一句断言支撑。本条目给出了检验这类断言的统一程序(找可比组,或者找一次外生变动)