停止更新，敏捷测试及TestOps解决体系，关注订阅号TestOps

A/B测试（也称为分离测试）全面指南zt

上一篇 / 下一篇 2010-08-17 22:41:32 / 个人分类：软件动态

A/B测试全面指南

51Testing软件测试网Z,K&PW#R

感谢美芯科技的投递
N ?~3V~.}J||'l;R0A/B测试（也称为分离测试）是一种意在提高转换率和反响率的测试方法。通常用于市场营销，比较两个样本的结果。51Testing软件测试网YUhA)pDs]
在网页设计中，A/B测试通常用来测试设计元素（有时是针对现有的设计），以便获得访客最好的反响。根据A/B测试的定义，一次只比较两个变量（设计元素）。还有多元测试，一次可以比较多个变量。每一个测试服务于一个目的，帮助你的客户更好地进行决策，让网站更加高效。
$\6@9h]H1V0
在这里，我们准备了一个全面的A/B测试指南，包括使用的好处，以及如何在自己的项目管理A/B测试。

oOkt5ml0I{0A／B测试的好处
*tXRb eTX0
A／B测试允许你观测改变网站带来的效果。很多设计师忙于新设计，考虑或者疏忽现有客户的习惯，但都期望收到最好的效果。有时候结果很令人满意，而有时候新的设计结果还不如原来的（甚至是更差）。
?4{gd#h[u0
;h7hB6X7X"A0A／B测试的另一个好处是，可以向客户证明你的设计选择优于其他。这是很有用的，尤其是对那些喜欢有充足理由来作决策的客户，或者那些决策遇到麻烦的客户。
W9Z\ Q"N"{u+V[0
如果你能给到他们有力的证据表明新设计优于其他，他们作决定的时候也更自信些。
"^`"J&QRs"g&K(e051Testing软件测试网;\|5Q-X Li
何时需要A／B测试
[%ips*@ x0如上所述，A／B测试在客户对两个设计举棋不定的时候可以给出较强的说服力。同时，测试也会帮助设计师确定两个设计那个更适合他的客户。
51Testing软件测试网h,B(^ va
每天都有那么多的文章和帖子讨论怎么通过设计风格或其他来为客户最大化成果。在很多情况下，这些文章提供的消息往往跟你看到的其他文章或者之前的文章有冲突。
(up@C:`B0
P bs{_ L4|g1k`u0A／B测试让设计师在自己项目中检测这些不同的理论和建议，从而自己可以确定对于客户来说哪种设计更适合。51Testing软件测试网GCp3lCiW

&}.}1n(OY0并非整站重新设计时才会需要A／B测试，在市场实践和促销活动的时候也是尤其重要。客户要需要设计一个特别的销售或促销页面时，他们会期望你设计出一些有效有帮助的东西。
'EVjBRX)k)}0
D9a f/Zhl8eS#sE0通过布置A／B测试，你可以确定有助于成功设计的不同元素，文案，或者布局，这样你客户可以得到最高的转换率。
o2e+q$I5i0fo[&v0测试项目51Testing软件测试网(^cl&ICS I
在网站设计中有很多地方可以进行测试，下面是一些最常见的：

u6eQ5wO2?0g^E0

颜色系列
文案
基本布局
图片
标题文案
文字尺寸或字体

标题图片的测试例子。除了图片其他都保持一致。

几乎网站上的任何元素都可以作A／B测试，不过一般你都会只想测试最重要的元素（如文案，颜色系列，标题），这是考虑到时间和金钱缘故。

如何布置A/B测试
A／B测试由几部分组成。设置起来比较简单，尤其是使用本文后面列出的一些工具。以下是大多数A／B测试的一些基本步骤：

设置要测试的两个设计。
随机的向访客或者群体展示这两个设计。
追踪这些设计的的表现，尤其是跟网站目的有关的方面。
评估结果，决定使用哪个设计。

你需要设置一个跟踪设计效果的方法，也就是一个分析程序。如果在生产环境中测试，你可能甚至缺乏每个设计的浏览数（虽然他们应该关闭）。

如果每个设计的访客占总人数的比例不一样，请务必搞清楚达到的你目标的访客比例，而不只是具体的数字。

每次只修改一个地方
通常这是许多设计师最为难的事情。但是在真正的A/B测试，你每次只应改动一个地方，或者说每次只测试一项变化。这意味要把网站的每个导航，标题设计，内容布局，颜色配置等元素分开来测试。

这个例子测试了一块正文文本的字体（Georgia 对 Verdana）。

每个测试都是独立的，这样可以确保你在网站的每个设计元素对访客的影响测试的结果都是足够准确的。如果你一次改变所有的东西，你就不知道是整个设计提高（或降低）了网页的流量还是某个元素。如果流量或者销售降低，你就迫切的需要知道那个地方导致了问题。

比方说，你完全重新设计网站上的购物车。一切都不同了：动作按钮的响应，结帐的体验，访客进入付费环节的方式以及发货信息等。然后，假如说这些改变导致了销售大幅下降，你知道了问题的发生，却不知道是什么引起。

当然，很可能的事实是因为什么都变化了导致那些回头客对新的设计不是很适应。

但也可能只是因为你使用一些矫揉造作的词语来作为“添加到购物车”的按钮，使得用户很困惑。如果你想要测试按钮而不是整个购物车，那么你可能改变用词并增加销售额。但是你的客户却希望你把一切恢复到以来的样子，而且他们认为你那样做不称职。

A/B测试花费的时间
一般而言，A/B测试不是一夜之间就可以完成的，而是取决于你所需要测试的项目。对于一些简单的东西，比如标题图片，你可能只需要一个短期的测试。但是对于大型的改变，尤其是对转换率有直接影响的测试，你必须让测试持续长久一些。

确定多长时间运行测试，往往简单。看看网站上的流量规律。大多数的网站都有周期性的流量规律，总有一些时间段的流量是相对较高的。

对于某些站点，周期可能是一个星期，而其他可能是一个月。如果可能，请尽量测试超过一个周期，这样得到的数据更加准确。

目标是在新设计测试中获得良好的交叉访客。要注意的流量周期，你就更有可能获得交叉访客。如果网站的问题是没有稳定的流量规律（或者如果太长），可以尝试运行测试至少一个星期。

如何说服你的客户
有时候，客户会限制A/B运作测试所花费的额外金钱和时间。

他们通常会认为，你作为一个设计师已经知道在他们的网站上什么行得通什么行不通。通常他们站在商人的角度，他们已经知道什么是可行的什么是不可行的。在这种情况下，你需要说服他们，A/B测试可以找到支持他们的理论证据。

强调运作A/B测试的效益。告诉他们，测试将有助于确保访客愉悦心情，这样他们更有可能购买东西，注册帐户，或下载资料。

要强调花一点时间和金钱做一个良好的分离测试会给未来网站带来更高的成交率。还要强调，长远来说一个良好的分离测试是节省了时间，因为，一旦网站运行，测试很大可能会减少设计的波折。

简易的A/B测试工具
前文已经提到，有很多很优秀的工具可以管理你的网站设计的A / B测试。这里列出一些最好的（如果你发现有更好的，欢迎提出建议）：

Google Website Optimizer

谷歌的Website Optimizer 作为谷歌分析的一部分，是一个免费工具，可以运行A/B或多元测试。他们提供了说明，教你如何测试和如何获得最好的结果。

Visual Website Optimizer

Visual Website Optimizer是一个容易上手的A/B测试工具，很多企业和机构使用。你只需创建多个版本的网站，确定你访客目标（下载，注册，购买等），然后在不同版本之间的切换流量。有一个免费试用版本，可以运行访客多达1000的单次测试; 付费帐户最低49美金/月（访客达1万，可以有3个同步测试）。Visual Website Optimizer也有其他免费的工具（即使没有使用他们的服务）：A/B Split Test Significance Calculator， Landing Page Analyzer， A/B Ideafox – Case Study Search Engine， A/B Split以及Multivariate Test Duration Calculator。

Vertster

Vertster专门做多变量测试，不只是A/B测试。他们最大的优势是他们的代理可以提供私人标签，因此你可以提供作为你自己的测试解决方案给到客户。

Press9 A/B Testing Joomla Plugin

这个插件可以让你在Joomla运行A/B测试，无须其他外部服务器，而且易于使用，并且可以测试Joomla网站的任何元素。

Amazon Mechanical Turk

虽然不是一个专门的A/B测试工具，Mechanical Turk可以很容易找到A/B或多元测试的访客，一般只需要几分钱一个访客。不过这个测试需要你处理技术方面，但它可以解决寻找测试主体的问题。

Split Test Calculator

对于数学上的挑战，如果你的站点访客总数不够稳定，这个简单的计算器可以告诉你测试中哪个表现最好。只需输入访客总数和以及每个群体访客的目标数量，就会计算出哪一个更好。

ABtests.com

ABtests.com允许设计师分享自己的A/B测试成果，当然也可以查看其他人的测试结果。这样设计和开发人员都可以学习别人已经做过的尝试，而这些分享成果可以帮助别人。

替代选择

作为替代方案，你可以随时使用任何普通可用的测试工具来执行A/B测试，即使他们没有正式提供这样的服务。你所需要做的只是设置两个测试，并监测每个的结果。如果你原来已经有自己最喜欢的可用测试工具，而只是想扩展到A/B测试，这是一个很好的选择。如果你还没有用过，这里有一些是可以考虑使用的：

Concept Feedback
Crazy Egg– 提供热图
Usabilia– “微型”可用性测试
Silverback 2.0

多元测试
多元测试类似于A/B测试，但包含更多的选择。凡A/B测试比较两个版本，多元测试可能测试三个，四个或五个不同的设计。

如果你需要多元测试而不仅仅是简单的A/B测试，最好每次测试只有一个元素。事实上，测试中你选择的元素越多，结果的解析就变得越复杂，这些复杂性只有因为超过单元素的测试才加剧。

如果你的客户不确定网站设计要做出什么样，那多元测试就显得特别管用。你可以测试两个或三个完全不同版面的网站设计，看看哪一个表现最佳。

然后你可能需要在最佳设计中对某些特别元素做A/B测试，以确保其尽可能的最优化。
回顾
以下是一些运作A/B测试时，你需要记住的要点：