A/B 测试

使用生产数据比较广告单元配置和变现策略。

介绍

CloudX 会将符合条件的流量分配到运行当前配置的对照组，以及运行已编辑变体的测试组。这样，您可以尝试不同的广告项、竞价底价或广告网络配置，同时保留对照组进行比较。在整个测试过程中，CloudX 会并排跟踪总收入、ARPU、eCPM、填充率和展示量，并展示每日趋势和累计对比。准备好后，您可以轻松地将胜出变体应用到生产环境。

创建 A/B 测试

请参阅动态定价指南了解其 A/B 测试流程。

对于广告项测试，CloudX 会将广告流量拆分到当前配置和测试变体之间。

对照组 A 使用当前配置
测试组 B 使用克隆或推荐的广告项，您可以在启动前编辑

创建测试前，请确认广告单元满足以下条件：

该广告单元属于已激活的应用
至少有 1 个适用于该广告单元的已激活广告项
已完成测试配置所需的竞价方映射

创建 A/B 测试的方法如下：

打开广告单元，选择要测试的广告单元
打开 A/B 测试标签页，点击创建 A/B 测试
选择实验类型：
- Manual setup（手动配置）：将当前广告项克隆到测试组
- Suggested setup（推荐配置）：由 CloudX 根据收入数据推荐测试组
输入测试名称
在将测试方案应用于中设置 1% 到 50% 的整数流量比例，其余流量保留在对照组 A
点击创建 A/B 测试

也可以从侧边栏的 A/B 测试中选择创建 A/B 测试，再选择广告单元。

选择 Manual setup 时，CloudX 会创建测试草稿，并将适用的广告项克隆到测试组 B，包括通过广告单元组分配的广告项。

启动测试

对于手动或推荐广告项，请打开测试草稿详情页，在开始前检查配置。

在草稿阶段，您可以：

更新测试名称
调整测试组的流量比例
查看对照组和测试组广告项
编辑克隆出来的测试广告项
解决竞价方映射缺口

点击 Start A/B test 后，CloudX 会开始将流量分配到两个组。

查看结果

您可以使用侧边栏中的 A/B 测试工作区查看账户下的测试。支持按测试名称或 ID 搜索，也可以按状态、应用或广告单元筛选。

使用分组可按状态、应用或广告单元组织测试，并可增加第二级分组。使用列可选择显示的详情。广告单元的 A/B 测试标签页也会在历史中列出已完成的测试。

对于广告项测试，详情页会显示：

开始时间和持续时长
所属应用和广告单元
对照组与测试组的流量拆分
Total revenue、Impressions、eCPM 和 Fill rate 的每日趋势
ARPU、Total revenue、Impressions、eCPM 和 Fill rate 的对照组与测试组累计指标对比

结果标签会概括当前的统计判断：

Pending：测试尚未达到具有统计显著性的结论
Directional：测试已经显示方向，但尚未达到 Achieved 结果所需的阈值
Achieved：测试已经达到具有统计显著性的结论

CloudX 还会保留历史广告项快照，方便您在测试结束后回看当时的配置。

结束测试

要结束正在运行的广告项测试，点击 End test，然后选择结果：

Promote test：将测试组配置应用到线上广告单元
Keep control：丢弃测试组广告项，保留当前生产配置

测试结束后，结果会继续保留在 A/B 测试工作区中，供后续查看和复盘。

如果测试变体是从共享广告单元组克隆而来，推广该变体也会更新该组的广告项。请检查确认对话框中列出的受影响广告单元。