知识库·2026-09-20

一次改版的数据，什么时候才算结论

现在我知道什么

判断"这次改版让收入涨了 X%"是不是真的，只有四个必查项，顺序不能换：

  1. 有没有同期对照组？ 没有 → 你手里的最强主张只是"值得做一次真正的实验"。对照组 5%–10% 的用户就够，但要跑满两个完整活动周期，而且对照组必须能看到旧活动，不能只是"没更新版本的人"。
  2. 看的是不是均值？ 游戏收入类指标是长尾分布，均值会被一两个鲸鱼翻盘。至少报 P50/P90/P99，并同时报 ARPU（全用户）与 ARPPU（付费用户）两个口径。
  3. 跑满一个完整周期没有？ 新奇效应（新东西短期更吸引）和首因效应（老用户短期抵触）方向相反但都会衰减，所以短期数据两个方向都不能下结论。涉及赛季/通行证的至少两个周期。
  4. 有没有护栏指标？ 主指标（OEC）判断好不好，护栏指标（留存、分层付费率、退款率、崩溃率）判断有没有弄坏别的地方。护栏下降时，主指标上涨不算净收益。

配套的两条操作纪律：实验前定 MDE 与样本量，再看数据（反过来必然得到"看起来显著"的结果）；实验前先跑一次 A/A 测试，它报显著就说明分流或埋点有 bug。

机制是怎么运作的

一、前后对比在信息结构上就无法归因。（理论机制）

前后对比里，所有与改版同时发生的变化——季节性、同期其他改动、投放预算、竞品动作、大盘波动——都会被算进"改版的效果"，因为它们在时间上完全重合。这不是严谨度不够，是这批数据里根本没有区分它们的信息。Mergic 案例是标准样本：缩短活动与秋季旺季同时发生，被写成了"缩短活动带来 +50%"。

二、均值在长尾分布下不稳健，而且不会警告你。（理论机制）

游戏收入由少数大额付费者主导。实验组均值高 3%，可能只因为对照组少了一个鲸鱼。判据：如果结论会因为"去掉收入最高的 1% 用户"而反转，那它说的不是实验效果，是那 1% 用户。

三、护栏指标之所以必要，是因为收入上涨和留存受损常常是同一批改动的两面。（本卡推断）

活动改版的收入增量，很多来自"更密集的付费触点"——而这恰恰可能以留存为代价。所以收入 +50% 而 D7 留存 -10% 是完全可能的组合，且那是一次亏损的改版。收入类主指标天生缺少这个自我否证的能力，必须靠外部护栏补上。

三条各自的边界：

  • 第一条：有些改动根本不允许设对照组（全量强制更新、合规要求）。这时需要转向准实验设计——2026-09-20 第二轮已补上做法与它的上限：倾向得分（协变量必须活动前确定 / 匹配或加权二选一 / 必须检查共同支撑域重叠度）可用于全服开放类动作；但倾向得分只能平衡你测到了的特征，未埋点的混杂因素它无能为力，这是原理性上限。间断时间序列与合成控制法仍未覆盖
  • 第二条：样本量不足时，分位数方法也救不了。每组付费者只有几十人时，正确做法是承认"无法通过实验判定"，而不是设计得更精巧
  • 第三条：护栏是否一票否决属业务判断。本库选择了严格表述，理由是活动对留存的伤害通常滞后且不可逆

认知是怎么变的

  • 2026-09-20：建立。C3 此前在知识地图上为「空白」——这是它的第一张卡。 之前读过的所有"改版有效"类结论，都没有经过这四项检查，因此本库早期卡片的因果表述普遍偏乐观（例如 OPS-01 把"收入平盘 + 两笔并购"解读为行业转向，属同类问题）。这条认知回流会用来重新审视已有条目。
  • 2026-09-20（同日第二轮）：补上"不能做实验怎么办"，并修正了一条隐含假设。 原来这四条检查默认"总能做实验，只是做得对不对"。新增两张卡后，流程变成三步：先问能不能做实验 → 不能做则改用倾向得分（方法卡，含协变量三条禁令与四种失败模式）→ 仍然分不清就承认分不清。修订来自两处：CECC/WFS 的从业者演讲确认"手游里新内容、新玩法必须全服开放，A/B 测试往往无法实施"；一项 500 天投放数据的学术研究（cards/2026-09-21-ad-shutoff-ranking-causality.md）进一步指出，当分发依赖平台公共榜单时，连"留 10% 用户不看广告"这种标准增量测试都可能因压制了对照组本可获得的榜单提升而系统性低估效果——也就是说，"有对照组"本身不等于"对照组干净"，这是原来四条检查里没有的一层。

与已有认知的关系

  • 与 OPS-01 存量市场运营资源分配 的关系是"补充但更基础"：OPS-01 的行动项（拆收入为新增/老用户贡献）本质上也是一个"怎么看数据"的问题。C3 是它的前置能力——没有实验设计能力，OPS-01 的体检指标也只能看出相关，看不出因果。
  • 与 OPS-02 内容种草与考核对象 的关系是"同一个病的两种表现"：OPS-02 的最脆弱处是"下载是确认动作"只有一句断言支撑——这正是一个典型的无对照、无数据前提。C3 提供了诊断这类断言的统一标准。

还没搞清楚的

  • 业务不允许设对照组时怎么办 → 部分解决（2026-09-20 第二轮）：倾向得分已覆盖"全服开放类动作"，见 cards/2026-09-21-propensity-score-observational.md。仍未覆盖的是"完全没有对照、且没有可比历史"的场景（间断时间序列、合成控制法）
  • 同一批玩家互相影响时怎么办：倾向得分的基本假设是"一个人的参与不改变另一个人的结果"。组队类、公会类活动会直接打穿这个假设，本库仍无处理方法
  • "有对照组"是否等于"对照组干净"：已在投放场景发现反例（平台榜单是公共曝光位，holdout 会压制全局）——游戏内的公共机制（排行榜、公会、跨服活动）是否有同类污染，本库尚未验证
  • 小体量产品的替代判定方法（每组付费者不足百人时）
  • 新奇效应在手游与 PC 长线服务上的典型衰减周期（两周？一个月？一季度？）
  • 分位数法与均值法在游戏收入指标上的实测误判率对比（没有公开数据）
  • 如何防止护栏指标在"只考核收入"的组织里被当成流程阻碍

下一步该找什么

  • ~~准实验设计（quasi-experiment）在游戏运营中的应用~~ → 2026-09-20 第二轮已完成一部分：倾向得分已有方法卡（含协变量三条禁令、四种失败模式、样本量下限）。下一轮应找：间断时间序列与合成控制在"全服强制更新"场景下的实际案例
  • GDC / CEDEC 里游戏实验方法论的演讲正文（本次只拿到两场 GDC 演讲的摘要，正文需会员；按 sources.md 的做法，去 4Gamer 等同场演讲的免费报道找正文）。注：CEDEC 路线已证明可行（倾向得分那场就是通过 CEDEC 找到的），但讲演资料页（PDF）本次没取到，需找可读的存档路径
  • 游戏公司公开的实验平台建设经验（分流、SRM 监控、护栏指标配置）
  • 反例优先：找"完整做了 A/B 测试但结论依然错"的复盘
  • 新增（2026-09-20 第二轮）：找游戏内公共机制（排行榜、跨服活动、公会）污染 holdout 的实例——投放场景已有证据（榜单是公共曝光位），游戏内是否同样成立，本库未知