争论二：A/B测试的细微改版

　　SEOMoz的Rand Fishkin写了篇《Don’t Fall Into the Trap of A/B Testing Minutiae》 | 中文翻译版本：《[译文]不要落入A/B测试的局部最小值陷阱中》的文章，在文中他重申了Jason关于不要浪费时间在测试页面细小元素上（如，标题，文字等）。他的主要论点是：使用细微改版得到局部最大值的方法花费了太多精力和时间，这样做并不值得。下面的图片来自他的博客，稍有调整。

　　首要指出的是机会成本不是需要足够的时间来测试（这可能需要以几周时间），而应该是设置测试的时间（这需要几分钟）。一旦设置好测试，就几乎是自动的，其风险仅是设置测试时花费的时间。如果，投资15分钟的时间可以进行次按钮颜色测试最终的结果可以提升1.5%的转化率，这还有什么错误吗？

　　许多A/B测试工具（包括我启动的visual website optimizer）可以很容易的进行小的测试。这些测试工具可以在后台监测测试，如果结果不理想就会自动停止。那么做这样的测试会有什么样的风险呢？我只看到好的一面：增加了销售额与转化率。

　　Rand为了证实自己的观点，他给出一份最近的Basecamp 首页重新设计稿，该设计将Basecamp转化率提升了14%。你能想像得到进行这样的一次重新设计（相比于改变按钮颜色测试）所带来的影响吗？事实上，由于曲线是在于多维度上的，一个完全的重新设计有很高的失败概率。复杂的重新设计导致失败的可能性要比改动一个按钮的颜色大得多。因为我们从来没有听说过重新设计导致失败的案例眼睛，我们也不能就此认为版面大幅度的改动要比版面微调的效果好（尤其是，版面大幅度改动所需要的投入与时间要比版面微调多得多）。

　　通过局部最小值，你至少知道转化率正在增长，这是往增长利润前进的方向。但这并不代表说将放弃追求全局最小化的目标。全局最佳就像是世界和平：很难达到目标，但我们一直朝着正确的方向努力。要吸取的教训是：理想的策略包含了小测试（红色与蓝色对比）与版面大幅度改动这两者。跳过转化率曲线山脉，可以确保你不断的找到更好的转化率。

　　争论3：

　　Jeff Atwood 写到电影《偷天情缘》（ 译者注：电影中的男主角是个气象预报员，在去一小镇报导当地的土拨鼠日庆典后。第二天醒来发觉时间依旧停留在前一天的土拨鼠日。昨日的一切又重复上演。无论他如何选择渡过这一天，他都无法前进一步。 ）与A/B测试相比，得出结论由于男主角失败了所以A/B测试也会失败。在jeff的所有比较中，他认为A/B测试缺乏激情并且扼杀创造力。他继续引用Natha Bowers的一tweet：

　　A/B测试就像是张砂纸。你可以用它优化细节，却不能用它创造新东西。

　　谁能声称A/B测试可以创造新东西呢？创意来自思维而非工具。这论点可以应用于画笔：

　　画笔好像一根棍子上粘了些毛发。你可以用它来戳你的猫，但你不能用它来创作东西。

　　A/B测试好比是个画笔，它只是一个工具如别的工具一样。它有自己的特性与局限性。它没规定你可以用来测试的东西；因此诶它也就不能约束你的创意。不管使用A/B测试与否，你可以使用自己全部的创意与想法为你的网站进行全新的设计。通过它可以使得你所用于网站的设计与技术更加合理，并评估新的设计是否比原有的更好。记住：A/B测试仅仅是一种方法，而不是设计指导。

　　总结：

　　重申上述三个点所得到的教训：

　　接受局部最小值，因为你永远不可能得到全局最小值。细节测试仅需要花费几分钟时间，但获得的潜在收入将远远超出花费这几分钟的价值。

　　1、通过细节调整与重新改版的方式这两种方式不断的探索更好的方法提升转化率。

　　2、A/B测试仅仅是个工具，它不会扼杀你的想法（事实上，当在设计时你需要更多的想象力）。

　　3、最后，不要觉得做A/B测试会产生任何罪恶感。