为什么国内网站很少做a/b测试?

发表于:2013-12-05 11:01

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:小A    来源:51Testing软件测试网采编

  为什么a/b测试这件很靠谱的事,在国内没有大范围的应用,往往被当做谈资呢?
  是说网站的a/b测试,不是apache那个哈…
  小编这就来帮大家总结一下:
  事实上据我所知,还是有不少公司在做 A/B test 的(当然,可能每个人对“多、少”的心理定位不一样)。但是不得不承认,依然有非常多的公司不做,或者做了没效果,或者曾经做过但之后取消了,或者正在边做边疑惑着……谨此将我的所见所闻略做梳理。
  A/B test 之所以没铺开,从面儿上来讲有这几个原因:
  a、很可能不知道怎么做
  b、做了却无法正确评估
  c、评了又未必能好好利用
  d、用了不一定能收到效果
  然后再往里翻翻, 我们会发现这些常见迷局:
  一、产品(或流程、模块、功能等)设计思想壁垒
  二、(数据)分析壁垒
  三、技术壁垒
  四、“落地”的层层障碍
  p.s. 由于题主原题是“为什么国内网站很少做a/b测试”,所以这里只分析此现象的成因,不讨论 A/B test 到底应该怎么做。于是,以下内容皆为口水,嫌罗嗦的话,请直接略过便好:)
  ==== ==== ==== ==== 为大口水割一下吧 ==== ==== ==== ====
  详述:
  一、测试设计(产品、流程、模块或功能等)思路壁垒
  1.1、A/B test 是个神马玩意儿?
  A/B test 一般是由产品、运营部门发起或主导的,但恕我直言,至少在我接触到的案例中,有相当比例的相关人员,并不十分清楚这两个问题:“为什么要做 A/B test?”“A/B test 能带来什么,在什么情况下需要做?”而基于众所周知的逻辑关系,如果动手前连自己将要做的这是件啥样的事儿都不知道,能成功、能做好的概率又能有多大呢?
  1.2、OK,我知道这是啥了。谁能告诉我怎么做,A 跟 B 之间到底差多少?
  我这儿有个真实案例,某童鞋做了很久的 A/B test,一直没得出有意义的东西来,然后我们顺头一捊,居然发现这孩子设置的 A、B 版页面分别是……你们猜?是网站首页跟某频道分类页。
  再恕我直言,有相当多的执行者心里没有这张谱:A/B test 的两个页面,到底应该差多少?我是拿新、旧版页面直接当 A、B,还是在原有的 A 页面基础上修改某一个小模块来成为 B?什么是多变量测试?
  1.3、会不会对我的XXX(SEO、流程、用户体验……)造成影响,影响有多大?
  对业务或相关用户的影响,一般来说或多或少是会有的,尤其当采用了不适当的跳转方式(技术相关的话题下面再议)时,极有可能对搜索引擎(或用户)带来负面影响。
  而到底影响有多大这个问题,我想偷换概念聊一下ROI。A/B test 的最终目的是什么?以某些看似公开公平公正的测试来评估或确定将被执行的方案。成本主要有:开发成本、测试周期(时间成本)、对用户可能存在的伤害;收益主要有:方案/决策的确立、减免反复试错成本、降低内耗成本(可能)、对转化或收益预期的非拍脑袋参考。A/B test 绝非神物,个人认为其最常见的作用是避免团队陷入集体选择性障碍。做不做?可以参考以上 ROI。
21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号