知识库·2026-09-20

不能做实验的时候,凭什么说这是因果

现在我知道什么

判断"这次改动的效果",有两套办法,顺序不能反:

第一步,问能不能做实验。 能做就做实验,并按 MTH-01 的四项检查验收(对照、均值、周期、护栏)。

第二步,不能做实验时,用准实验方法把观察数据变成可比两组。 目前本库覆盖的、有实战来源的一种是倾向得分:

  1. 协变量必须在动作开始前就确定,且同时影响"参不参与"和"付不付费"。典型字段是历史付费、活跃度、进度、账号年龄。
  2. 三条禁令:不能用动作期间的数据、不能用动作本身产生的标签、不能把结果变量放进模型。
  3. 匹配或加权二选一:参与玩家上千用匹配,只有几百用加权。
  4. 必须检查共同支撑域。两组倾向得分没有重叠区间时,你是在拿完全不同的人做比较,此时应剔除不重叠样本并声明结论只适用于中间层。

第三步,如果做完仍然分不清,就承认分不清。 不能用"相关"顶上"因果"。

机制是怎么运作的

一、观察数据里的对比天然带自选择偏差。(理论机制)

典型复盘句子是"参加活动的玩家 ARPU 上升了,没参加的基本没动,所以活动提升了 ARPU"。问题是这两组人从起点就不同:愿意点开活动、完成前置任务、在限定时间上线的人,本身就是更活跃、更愿意付费的那批。这类偏差不靠更努力地看数据解决,只能靠改变比较方式解决(找出条件相似但没参与的人)。

二、中介效应决定了你该在哪一环动手。(理论机制)

当 A 通过 B 影响 C 时,把 B 控制住,A 与 C 的相关性会消失。这条判据既是识别机制的工具,也是行动的指南:知道你的钱落在链条的哪一环,才知道该优化单价还是优化节奏。

三、公共曝光位会让 holdout 本身成为干扰源。(来源主张 + 本库推断)

来自投放场景的证据:一家手游厂商全球停投 24 天后,自然安装下降 20%–30%,而把商店榜单位置放进模型后,投放与自然安装的相关性消失——榜单位置是中介变量。推论是:当分发依赖平台层决定的公共位置时,"留一部分用户不看广告"这类标准增量测试,会因为压掉了对照组本可获得的曝光提升而系统性低估效果。 这条推论出自来源作者,本库转述并标注为待验证。

换成游戏内语言(本库推断,尚未验证):排行榜、跨服活动、公会贡献这类由全体玩家共同决定、又能被所有玩家看见的机制,可能具有同样性质——你为了测量而按住的那批人,可能同时也在改变留下来的那批人所处的环境。

三条各自的边界:

  • 第一条:倾向得分只能平衡你测到了的特征。未埋点的混杂因素(社交关系、线下讨论、内在动机)它无能为力——这是原理性上限,不是执行问题
  • 第二条:中介检验依赖模型设定正确。控制中介后相关性消失,也可能是因为第三个因素同时驱动了中介与结果
  • 第三条:目前只有投放场景的单一案例,且数据来自单一厂商、匿名、2018–2019 年。游戏内是否成立,本库没有证据

认知是怎么变的

  • 2026-09-20:建立。 C4 此前在知识地图上为「空白」——不知道该能力块该会什么。建立当天补上两张证据卡:一张方法卡(倾向得分做准实验)、一张认知卡(公共曝光位如何让因果识别失真)。
  • 2026-09-20(同日):与 MTH-01 的关系定为"分工"而非"合并"。 MTH-01 回答"实验做得对不对"(对照、均值、周期、护栏),本条目回答"没有实验时凭什么说因果"。两者共用"因果识别"这一机制族,但验收标准不同,故分列并互链。

与已有认知的关系

  • 与 MTH-01 实验结论的可信度判据 是前后两步:MTH-01 的第一步是"有没有同期对照组";本条目指出"有对照组"不等于"对照组干净"——当机制是公共的,holdout 自己就成了干扰源。这是 MTH-01 原四条检查里缺的一层
  • 与 OPS-01 存量市场运营资源分配 是上下游:OPS-01 要求把收入拆成新增贡献与老用户贡献,那是描述性拆分;本条目提供的是判断"这个拆分能不能读成因果"的标准
  • 与 OPS-02 内容种草与考核对象 的关系:OPS-02 的最脆弱处是"下载是确认动作"只有一句断言支撑。本条目给出了检验这类断言的统一程序(找可比组,或者找一次外生变动)

还没搞清楚的

  • 倾向得分在游戏小额高频付费场景下的实际修正幅度:方法卡没有拿到演讲的实际数字,属于"有骨架没有参数"
  • 游戏内公共机制(排行榜、跨服、公会)是否污染 holdout:只有投放场景的类比证据,游戏内零证据
  • 间断时间序列与合成控制法在"全服强制更新"场景下的可用性:完全空白
  • 玩家之间互相影响时的处理方法:组队、公会类活动直接打穿倾向得分的基本假设(一个人是否参与会改变另一个人的结果),本库无解
  • 小体量产品的替代判定:每组付费者不足百人时,正确做法是承认无法判定,但"承认无法判定"在考核压力下很难执行

下一步该找什么

  • 游戏内实验污染的真实案例:排行榜/跨服/公会机制下做了 holdout 但结果失真的复盘
  • 间断时间序列与合成控制在游戏运营中的应用案例(尤其是全服强制更新、合规改动这两类不能分组的情况)
  • 倾向得分带数字的完整复现:找一篇公开了"相关 / 回归 / 倾向得分"三法结果对比的复盘,把方法卡从骨架补成带参数的方法
  • 反例优先:找"控制住中介变量后相关性依然显著"的案例——那说明链条不完整,比多一个正例更有价值