A/B测试和多变量测试的差别

发布：2018-01-16 16:51:47 浏览：3180

A/B测试和多变量測试是最常用的两种网站测试方法。理解两者之间的差别、它们的优缺点以及何时使用它们很重要。两种测试方法的核心差别是，多变量测试允许你同时测试多个元素，比A/B测试更简单、更快速。

（1)A/B测试

A/B测试是最简单的网站测试类型.通常也最容易设置。因此，许多网站測试新手都首先学习和使用它。这种基本測试形式在任何测试工具(不管何种级别)中都可以运行下面是在优化工作中使用用A/B测试的优点和缺点。

优点:这类测试对于測试专业知识较少的人，或者只需要一次测试页面上的一个元素以比较两个不同页面变量的性能时很理想。对于运行基本的重复測试，了解多变量测试中的获胜元素是否真正胜过控制版本的情况也很理想。因为这种測试通常不太复杂，所以获得明显的测试结果并确定胜者所需要的流量比多变量测试少。

缺点:如果你测试一个包含不同元素(例如，不同的标题、图片以及行动号召)的的全新页面，将其与当前版本比较，就无法确定新页面的哪些元素对转化的影响最大。这是为这种测试只能測量整个页面的性能，而不是页面某个部分。进行这种测试还可能导致推出对转化略有负面影响的元素。测试页面上许多元素可能花费很多的时间.，因为每个页面元素在理想状况下需要单独的A/B测试。

大部分在线营销人员都从使用这种更简单的测试形式开始，然后再进化到更复杂的测试类型，如多变量测试(下面将做说明)。图2.8展示了一个例子，两个不同风格的页面在A/B测试中进行比较，它们的模块布局、横幅和图片都不同。

(2)多变量测试

多变量测试(MultiVariateTest.MVT)设计用于以更快的速度和更好的易用性同时测试多个页面元素。

为了帮助你更快地测试多变量測试中元素的数百种不同组合，大部分测试工具使用田口统计方法(也称作部分因子测试)来提出代表性的测试内容组合样本，而不是测试所有组合。

有些工具(如Google网站优化器)实际上同时测试所有不同的组合(叫做全部因子测试)，但是这需要非常高的流量和较长的周期才能获得显著的测试结果。有些工具可以选择使用这两类多变量方法。

下面是在优化工作中使用MVT的优点和缺点：

优点:这些测试非常适合于在一个页面或者一系列页面上同时测试许多元素。这种测试的另一个主要优点是能够确定哪些元素对提升转化有最大的贡献，从而帮助你了解未来需要测试的页面元素

缺点:因为需要许多不同的测试组合，所以多变量测试通常基于测试版本组合(称称为配方Recipe)的采样(部分因子).这可能导致你遗漏某些可能最佳的元素组合。有些专家甚至怀疑使用部分因子方法测试的有效性，但幸运的是，有些方法能够克服这一问题。另一个问题是获得结果所需的流量水平往往高于AB測试，特别是在一次测试4个以上的页面元素时。

图2.9展示了可以在网站设计多变量测试中同时测试的两个页面元素组合(每个模块用不同的字母标注).测试可以找出表现最佳的元素组合。