经常可以看到有人说他们将按钮颜色从绿色改为红色，或者将表单从页面右侧移到页面左侧，然后他们的转化率激增了 700%。这些案例研究往往是异常值，大多数 AB 测试实际上并没有产生可操作的数据。这是因为您收集的结果需要大量数据，然后您才能确定您所做的更改实际上是导致结果差异的原因，而不是随机人员进入并在页面上做出随机决定。
您需要收集足够多的数据，以使其具有统计意义，这样您才 行政主管电子邮件数据库 能有一定的信心说“我更改了这个按钮的颜色，结果发生了这种情况”，而不是说“这只是随机的。我不知道该怎么处理它。”大多数 MSP，尤其是他们用于广告系列的着陆页，都没有获得足够的流量来构建可用的 AB 测试。在此处的示例中，假设您有一个用于 AdWords 广告系列的着陆页，目前，该页面的 5% 访问者正在填写表单并将其转化为潜在客户。您想运行测试以查看是否可以将转化率提高 1%，或者查看它是否可以改变 1%，以便最终达到 4% 到 6% 之间的某个值。
为了确信您所做的更改导致了转化率的调整，您需要超过 7,000 名访问者访问该页面的一个版本。如果您运行 A 版和 B 版，则需要大约 15,000 名访问者才能确信您所做的更改确实导致了转化率的变化。假设，平均而言，运行规模相当大的 AdWords 广告系列的 MSP 可能会获得指向着陆页的特定关键字每月 50 次点击。每月获得 50 次点击并需要 15,000 次访问，意味着您将运行该测试 25 年，然后才能获得任何数据来告诉您下一步该怎么做。
在某些情况下，AB 测试确实很有用，特别是当您处理大量数据时。假设您正在测试 AdWords 广告本身，而不是着陆页，这些广告每月获得数千次展示，您可以运行该测试一个半月或三个月，然后有足够的数据来做出决定。也许你正在向几千人发送电子邮件，同样，这些数据足以让你开始做出一些决定，但特别是当涉及到着陆页时，通常情况下，你无法获得任何有用的数据来帮助你提高该页面的转化率。