| Approach | A/B Test | Holdout Test |
|---|---|---|
| Purpose | Compare two variants | Measure incremental impact |
| Control group | Gets variant B | Gets no treatment |
| Best for | Message optimization | Proving AI ROI |
| Sample size | Larger (50/50 split) | Smaller (10-20% holdout) |
一定割合のアカウントがAIアクションを受けない（対照群）ことで、自動化の真の増分収益インパクトを測定するテスト手法。
マーケティングはメッセージにA/Bテストを使う。RevOpsは自動化ROIを証明するためにホールドアウトテストが必要。「AIは実際により多くの収益を生成したのか、それとも元々起きていたことなのか？」
アカウントごとにデフォルト15%のホールドアウト。500アクション後は10%に削減可能。AIインパクトの統計的に有意な証明を提供。
Self-Improving ROI Ledger