将网页或应用的两个以上版本随机展示给用户，通过统计方法验证哪个版本效果更好的方法。是实现数据驱动决策的基础营销工具。
A/B 测试的设计与实施流程
A/B 测试的基本流程为假设设定 → 测试设计 → 实施 → 结果分析 → 决策 5 个步骤。例如设立"将 CTA 按钮颜色从红色改为绿色可提高点击率"的假设，将访问者随机分为两组进行验证。
测试设计中重要的是每次只变更一个要素。如果同时改变按钮颜色和文案，就无法判断是哪个变更影响了结果。此外，为获得统计显著性结果需要足够的样本量，一般建议每个版本至少确保 1,000 个以上的会话。
A/B 测试的陷阱与实务注意事项
A/B 测试最常见的失败是在样本量不足时就下结论。例如各 100 人的测试中 A 为 5%、B 为 7% 的结果，在统计上并不显著。测试期间至少应确保 2 周，最好 4 周，以吸收星期和时段的波动。
另一个陷阱是过度泛化测试结果。在特定页面有效的变更，不一定在其他页面也有同样效果。此外，季节因素或促销活动的影响可能导致测试期间的数据与平时不同。测试结果应连同上下文一起记录，确认可重复性后再应用到正式环境。