作者：Aurora Harley  | 翻译：易帆  审校：Blank

原文标题：《多因素测试 VS AB测试  =  量变 VS 彻底改变》

 

概要：彻底的重新设计最好使用AB测试来进行用户体验测试，而多变量分析可以指出用户界面元素如何互相影响并支撑一个设计的渐进式改善。

当我们提到设计优化的方法，AB测试往往是最受关注的。多因素测试相比之下则很少被人理解。人们通常认为多因素测试太费时间。虽然这种方法有它的局限性，但是这些局限被它的优点平衡了，其产出是仅靠AB测试所做不到的。

 

多因素测试（Multivariate Testing / MVT）

我们假设你想要优化实时产品细节页面来最大化将物品加入购物车的转化率。你正在考虑几个可能的更新（或优化）：

• 使用产品视频代替图片
• 将主要的引导按钮的内容从 “立即购买” 改为 “加入购物车”

多因素测试可以帮助你决定哪些设计的组合可以使转化率最优化。

首先澄清几个术语：

• 变量：有多种设计版本的用户界面元素。
  以电商为例，变量是产品的视觉呈现方式和引导按钮的标语。
• 变式：每个变量的设计版本。
  产品图片和产品视频代表了视觉呈现方式的两个变式；加入购物车和立即购买的标签是引导按钮内容的变式。
• 变体：包含每个变量其中一个变式的设计，用来与其他的变体相比较。
  在我们的例子中，有四种设计变体，相当于所有可能的变量的变式组合：图片×加入购物车，图片×立即购买，视频×加入购物车，视频×立即购买。

定义：多因素测试是一种设计优化方法，每个变量的变式都在用户界面中进行测量，目的是使转化率最大化（包括主要的转化率，如完成一个订单，或者微型转化率，如与页面上的一个部件交互）。这种方法用来决定哪些变式的组合可以使设计表现得最好（专指目标转化率）。

在多因素测试中，测试2个或更多设计元素（变量）。每个变量可以有多个变式。例如，上图中，我们可以测试2个变量：产品得视觉呈现方式（2个变式：图片 / 视频）和按钮的标签（2个变式：立即购买 / 加入购物车）。

 

多因素测试和AB测试的区别

多因素测试通常被认为是AB测试的一种，然而它们的结构和强项不太一样。以下是它们的相似点和差异：

• 两种方法都通过将网站（应用）实时分流到不同的变体中，从而比较不同变体的效果。
• 两种方法都测量哪种设计（变体）可以产生特定目标的最高的转化率。
• 在AB测试中，被测试的两种变体可能完全不同，并且这些变体不是通过控制几个变量形成的。例如，可能你的两个测试页面具有完全不同的排版、不同的文案，不同的导航，不同的视觉设计，等等。AB测试的结果指出一个变体比另一个表现更好，但是你不会知道是因为文案更好，视觉设计更好，还是排版更好（或者是它们的结合）。

相比之下，如果你用多因素测试，你通常能够将结果的权重归因于一个变式或者不同变式的结合。这样，你可能发现呈现产品视频比改变按钮的标签对转化率的影响更大。因此，你就可以给出更进一步的策略和设计洞察（例如，它可能告诉你在制作好的产品视频上投资是值得的）。

 

多因素测试测量元素之间的交互

让我们回到电商的例子。你可能想知道两个连续的AB测试和多因素测试的结果是否一样。具体来说，我们假设你首先进行一个AB测试来比较视频和图片哪个更好——假设视频更好。然后，在使用胜出的变式（即视频）的基础上，进行另一个AB测试，比较两种可能的按钮标签，立即购买标签更好。这个结果和多因素测试难道不一样吗？

答案是：不一定。有可能最好的组合是图片×立即购买，但是你没有测试这个版本。

多因素测试相比AB测试主要的优点在于能够测量一个页面的多个因素如何相互影响。只有测试过多个变式的不同组合后，你才能知道不仅A视觉呈现方式比B好、C按钮标签比D好，而且能发现这些变式的最好组合。

 

多因素测试的局限

这些变式的组合组成的变体像兔子一样成倍增长。即使像我们电商这样简单的例子也有与2个变量相对应的4个设计变体相互比较。增加一个按钮的标签（例如，购买）就会增加2个变体——将这个变式与2个视觉呈现变量相结合而组成。（一般来说，变体的数量通过将每个变量的变式数相乘得到；所以，如果有2个变量，其中一个有2个变体，另一个有3个变体，你将得到2×3=6个变体。）

多因素实验中两个变量分别有2个变体产生4个设计变体，用来代表所有变式的可能的组合。

太多的变体是多因素测试的最大局限：相比AB测试，多因素测试通常需要更多流量。这是因为每增加一个变体，实时流量都被分成更小的部分。因此这也可能需要更长的时间来为所有的变体都收集到足够多的数据。（然而你要记住，测试所需时间不仅仅取决于总的流量，也会受实验目标的转化率影响。因为较大的提升比小的区别更容易测量。）总之，将实时流量分给更多的变体会导致实验时间增长。

多因素测试的另一个局限是所有变式的组合需要符合认知。譬如，在测试页面上一张图片和一个标题时，不要写与图片细节相关的标题（例如“超棒的温泉假期”V.S.“超棒的沙滩假期“和相应的图片），因为每一个标题和图片组合都会被测试。这种实验用AB测试会更好，这样可以使变式间的组合得到控制。

 

用多因素测试来修改设计，而不是完全地改变一个设计

多因素测试是逐步改善一个设计的好办法，却不是一个测试改变巨大的新设计方案的好方法。因为多因素测试要求你明确页面上特定的元素来测试这个变量的多个变式。而与变量变化然后组合不同，重新设计出来的结果可能都找不出与原本的变量对应的变式。

对于大多数重新设计，用AB测试比较原先的版本和新的版本哪个更好。然后用多因素测试改进更好的版本中其他的元素。不要停止迭代！

如果你的目标是改变非常大的重新设计（譬如主版面重新设计），用AB测试比较两个版本比多因素测试更合适。一旦发现某个版本表现得更好，用多因素测试进一步改进这个更好得版本中的具体的元素。

5+

---

更多译文：

如何为奢饰品消费者做体验设计？

作为设计师，你有职业道德么？你的团队呢？

作为设计师，我在Google学到的

设计之前，我要是早知道这8条设计法则就好了

3年，2200万用户的实验，告诉我们的真相

全部200+篇译文>>

 

申请加入UXRen翻译组>>

 

---

译者：易帆 审校：Blank

作者：Aurora Harley

原文标题：《Multivariate vs. A/B Testing: Incremental vs. Radical Changes》

原文链接：https://www.nngroup.com/articles/multivariate-testing/

发布日期：2018/04/08

版权声明：

• 本文版权归：UXRen翻译组 所有；
• 微信公众号转载说明：
  1）由于近期微信审理严格，若是该文章未在UXRen公众号上首发，请不要转载；
  2）公众号转载时，请在文章底部贴上UXRen公众号二维码。
• 网站转载说明：
  1）文章标题必须保留“UXRen译”字样；
  2）转载文中必须保留：“UXRen翻译组”、“作者”、“译者”及“审校者”信息；
  3）转载文末必须保留本译文网页链接地址；
• 如未遵照上述规则转载，视为侵权，UXRen社区保留随时追责的权利。