文章详情

　　如何利用大数据分析A/B测试优化产品功能?无论您是从事产品，设计还是发展，您都可能遇到以下问题：
 

　　1)我们如何提高转化率?

　　2)我们如何改善AARRR渠道?

　　3)此功能启动的成功程度如何?

　　4)这些通知是否增加了保留率?
 

　　您可以通过正确设计，运行和解释A / B测试来获得这些问题的答案。
 

　　您开始测试之旅所需要做的就是：
 

　　1)基本统计知识

　　2)准确且足够(每月唯一用户数量> 1000)的产品数据
 

　　采取的方法严格且鼓励最佳做法，但：
 

　　1)它不会证明常识假设检验背后的数学原理。

　　2)它不会涵盖更高级的方面，例如贝叶斯上下文中的A / B，多元测试或Bonferroni校正。
 

　　准备?让我们开始吧!
 

　　一、了解拆分测试是改进产品的定量方法，并且很容易弄错
 

　　从本质上讲，A / B测试是一种比较用户流程中流的两个版本，以确定哪个版本表现最佳的方法。
 

 

　　为了能够从测试中获得洞察力，您将需要每个组(分别称为对照组和实验组)中足够的人员，以及足够的转化差异。正如您将在第3点中看到的那样，应该在运行测试之前定义两个值。
 

　　二、从产品渠道中选择一个重要的转化步骤
 

　　从技术上讲，您可以进行任何测试，例如在条款和条件页面上更改字体。但是，您始终希望选择对业务成果影响最大的步骤。此外，请记住数据量的重要性-流量越高，得出结论的速度越快-以及数据质量 -垃圾进出。
 

　　错误的数据，错误的结论。数据少，结论慢。
 

　　让我们开始实践，我们将在大数据分析A/B测试优化产品功能中使用该示例。

 

　　Trana是微博产品总监，可为用户提供额外的运行洞察力。为此，它连接到他们的Strava帐户。因此，关键时刻就是要求用户链接其帐户。在本能的基础之上，让我们分析一下完整的入职渠道。设计跟踪计划后，可以在诸如Mixpanel之类的工具中完成此操作。

 

　　我们可以看到，从绝对入职和相对而言，从“ 入职开始”到Strava Connected进行帐户关联都是最有影响力的操作。有自己重要的一步吗?让我们继续!
 

　　三、分析从此步骤到所需操作的当前点击率
 

　　点击率(CTP)是给定用户单击以进入下一步的概率。
 

　　它的值总是因此它是0和1之间不一样的点击率(CTR)，这是#点击/#印象。
 

　　CTP需要从选择的步骤到关键的行动，而不必到下一步，因为否则您可能会达到局部最大值。这是一个简单的示例，可以理解这一点：假设您现在自动将用户从主页重定向到产品的定价/溢价页面。定价转换的家将成为屋顶，但您可能想评估人们是否反过来更有可能成为高级用户。
 

　　简而言之：牢记最终，而不是下一步。

 

　　从完整的渠道中我们可以看到，CTP为80%。在这种情况下，连接他们的Strava帐户显然是一个重要的里程碑，因此我们可以将这种转化概率用作目标指标。
 

　　四、建立假设以启动实验
 

　　AB测试不过是从方法上评估一种变体(称为实验)是否比当前状况(称为对照)要好。
 

　　实验从构建假设开始。它可能源于直觉，客户反馈或团队讨论。

 

　　假设如下：通过了解Trana如何帮助他们更智能地运行，用户将不太愿意连接其Strava帐户
 

　　五、确定样本量
 

　　这是A / B测试的核心，也是大数据分析A/B测试优化产品功能中最繁琐的部分。我很乐意回答您在Twitter上可能提出的任何问题。
 

　　运行A / B测试涉及创建对照和实验样本。通过将用户分为两组来进行抽样(将每个用户分配给一个变体)。
 

　　一个用户应该始终看到相同的变化，这意味着采样是确定性的，而不仅仅是50%的概率。
 

　　我们通常根据奇/偶ID进行采样，许多工具可以为您解决这些问题。
 

　　一个常见的错误是忽略采样，直接更改产品，并将新的转换概率与旧的转换概率进行比较。
 

　　这导致团队得出错误的结论，因为使用您产品的人员在不断变化。例如，您不能说新的流量(由来自广告的人使用)比旧的流量(由您的朋友和家人使用)最糟糕，因为看到它的可能性较小，无法承受您的产品首先。
 

　　您的样本数量将取决于：
 

　　1)您的基准转化率

　　2)您选择的绝对最小可检测效果(MDE / d min)。这是您将能够检测到的对照转化率与实验转化率之间的最小差。如果您每周的流量很多(相对于最终样本量)，则选择您认为值得的最小差异。如果您不这样做，请选择一个差异，该差异会导致较小的样本量，但仍然可以实现。

　　3)Alpha(α)：默认保持为95%

　　4)Beta(β)：默认情况下，keep为20%，这为1-β提供了80%的值

 

　　测试将一直进行到两个样品至少观察到1030次。根据历史流量，您可以估算出要行驶多长时间。尝试使实验运行少于一个月。它们运行得越快，产品改进的速度就越快。
 

　　计算样本大小，写下来，然后开始测试。一旦有了足够的数据，您就可以分析结果。
 

　　六、从结果中获得有效的见解
 

　　6.1收集数据。
 

　　等待直到两个变体都有足够的样本量，然后进行数据收集。

 

　　实验转换效果更好。这是第一个好兆头，但我们不能止步于此。因此，让我们进行一些检查。
 

　　6.2确保抽样工作按预期进行。
 

　　首先，检查抽样是否偏向其中一个小组。这是我们示例的计算：

 

　　6.3检查实验效果是否明显好转。
 

　　评估实验是否胜过对照可能会很麻烦。因此，我构建了一个小工具来执行此操作，将您的图形插入其中以执行这三个检查。以下是计算的详细信息。d min是可检测到的最小效果，N是样本量，X是转换计数，即采取所需行动的人数。

 

　　其中d̂±m是置信区间。
 

　　以下是解释结果的方法：
 

　　1)d̂ – m> d