示例如果没有任何变体显示

评估指标指定将用于衡量变更影响的或。这些指标的结果将决定假设是否有效。示例此实验成功的关键指标是对转化率的影响尽管我们也会使用。页面停留时间和注册页面点击率作为次要指标和绩效指标。时间表和测试计划确定测试将运行多长时间以及您打算包含的样本或用户数量。这还应包括成功的最低条件例如展示次数支出或访问者阈值以确保统计显着性。

示例我们将运行四个星期的多变量测试并在着陆页变体之间自动随机分配。我们的目标是从至少名独立访问者那里收集数据。成功标准定义将假设分类为有效或无效的成功是什么样子。示例如果任何价值主张 电话数据 变化导致与现有着陆页相比转化率在统计上显着增加至少我们将认为测试成功。应急计划如果假设被证明无效不正确请提供明确的后续步骤。。转化率有显着提高我们将重新评估我们的方法并探索其他价值主张进行测试。现在让我们探讨一个关于如何有效地将多变量测试应用于广告素材的案例研究。



创意人员多变量测试的案例研究有一个专门从事短信营销的人工智能驱动的品牌。他们对目标客户和赢得价值主张有一些理论然而他们缺乏数据来为这些宏观层面的决策提供信息。作为增长战略制定的一部分我们概述了以下宏观层面的多元实验该实验将在付费社交平台付费搜索付费核心登陆页面有机社交以及传入的潜在客户培育电子邮件流中运行。