关于A/B测试批评的反驳

发表于:2012-3-30 10:40

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:david.wxj 译    来源:51Testing软件测试网采编

  最近,A/B测试在互联网各界都受到了甚至是不公正的批评。这些批评包含了A/B测试的一些相关要点,但基本论点是站不住脚的。这些批评混淆了(例如,测试红色与路色按钮的区别或是其他)与A/B测试方法之间的关系。现在让我们看下最近在网络上的些争论,为什么他们的批评是没有根据的。

  争论一:A/B测试与局部极小化

  Jason Cohen在他的文章《Out of the cesspool and into the sewer: A/B testing trap》 | 中文翻译版本:《[译文]小心A/B测试的陷阱:从水沟流入下水道的水》中认为:A/B测试往往得到的结果是局部最小值,而非真正想得到的全局最小值。对于那些把页面上每个区块作为提升转化率的部分,而又不清楚局部最小值与全局最小值区别的人来说。这就好比说,在网页里每个区块都是都是个变量:这些的数值自然越低越好。通过下面来自jason Cohen的图 ,就可以知道出局部最小值与全局最小值的区别。

  即便是在jason文章里,争论的焦点也不在于A/B测试,因为激进的调整页面并使用相同的测试方法也可得到全局最小值。因此声称局部最小值是A/B测试陷阱是不公平的,因为这与A/B测试方法根本就没关系。相反,在争论中却揭示出微调并做测试的方法是徒劳无功的。

  那么,如果A/B测试没有问题,那么是局部最小值的问题吗?即便打了折扣的局部最小值的理论是错误的,答案依旧是否定的。上面的图片展示了非常浅显易懂的一维度曲线。你可以把x轴当作背景色y轴当作跳出率。Jason的文章可以归纳为:如果测试了一组不同的蓝色,你可能减少跳出率。但如果你尝试着将颜色改掉(例如,黄色),你可能会得到可能是最低的跳出率。

  下面是本争论的两个问题:

  1、你永远都不知道是否已经得到了全局最低值

  全局最低值仅存在于理论中。让我们继续之前的改为黄色背景得到跳出率全局最小值的范例。在进一步的测试中,如果我们发觉没有背景色得到更低的跳出率该怎么办?或者放置张可爱小猫的背景得到更低的跳出率呢?问题的关键点在于,除非可以把跳出率降低到0%(或转化率达到100%),否则你将永远怀疑自己是否达到真正意义上的全局最小值。

  另一个检测是否找到全局最小值的方法是穷举所有可能性。理论上,你页面仅修改背景色(你不能使用背景图片,因为你老板讨厌用背景图)。那么你可以将所有可能的颜色尝试一遍并取其中最小值的方案。在穷举所有可能色彩中,那个得到最小值的背景色就有可能是全局最小值。这就带出了下一个问题…

  2、这不仅仅是背景色的问题

  当优化页面时,你需要面对成百上千的变量(背景色只是其中的一个)。标题、文案、布局、页面长度、视频、文字颜色、图片这些仅是其中的一小部分变量。优化页面取决于页面所有的一切。这意味着之前看到的曲线不只是我们所见到的一维的。在现实中,它是被上千个变量影响着的多维结构。

  再强调一下,把图中的山峰想像成你的转化率(或是跳出率),变量在不同的维度上(尽管貌似就只有两个变量,但事实上有上百个)。与一维的例子不同的是,在真实页面上穷举所有可能性是不可能的。因此,你不必刻意去追求全局最大(最小)值。吸取教训:接受局部最小值。

21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号