大数据让A/B 测试指标管理与试验报告双升级

发表于:2022-8-01 09:50

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:佚名    来源:51CTO博客

  摘要:此前,企业进行 A/B 测试时每个试验指标都需要单独配置,在业务发展初期还可以接受,但当你的公司有 5 个业务部门、每个部门有 50 个试验、每个试验需要配置 10 个指标时,该怎么办?
  一、试验指标管理升级,把指标配置时间从「分钟」缩短到「秒」
  为了帮助企业更好地进行试验指标管理,神策数据 A/B 测试在此次升级后,进一步完善了指标的类型、配置方式、计算原理,分析师等同学可以明确计算逻辑,最大可能减少歧义和与技术同学沟通的成本,轻松实现公司内部信息的有效统一。
  比如,对于通用指标 DAU 来说,部分客户的公司内部有统一的口径,不同的业务部门做试验的时候如果跟着试验单独配置,容易造成 DAU 口径差异,带来指标口径和计算方案核对的额外成本。而通过试验指标管理功能,企业可以通过统一创建 DAU 指标,对齐后续所有试验涉及 DAU 指标的计算口径。
  通过神策数据 A/B 测试的指标管理功能完成统一配置后,相较于过去每个试验都需要进行指标配置的情况,针对相关性较强的试验,企业可以告别费时费力的重复配置,有效减少操作量。过去需要数十分钟的配置工作,现在只需一键调用即可快速完成。
  值得关注的是,神策数据 A/B 测试在此次升级后也将为客户提供常见业务指标的观测能力,帮助客户更全面地评估试验效果。
  二、试验报告升级,不只有统计学指标,业务数据也一目了然
  企业可以通过试验报告综合了解试验情况、同步了解业务状况、对试验进行小时/分钟粒度的监测、自定义主题分析等。通过此次升级,神策数据 A/B 测试将试验报告拆分化,同时丰富了每个细分部分的内容,全面提升报告的整体可读性和易用性。
  具体表现在:
  第一,综合了解试验情况。观测试验运行至今的进组情况、重要指标的数据表现、指标的统计检验结果。也就是说,相较于之前的试验报告,试验负责人可以通过新的报告总览直观了解进组人数、重要指标的表现,并统计检验指标结果。
  第二,同步了解业务状况。除了关注试验本身的数据,同时观测常用业务数据在试验期间的变化情况。
  第三,实时监测。对于实时性较强的试验,如活动落地页试验等需要进行短期高频观测的场景,可以进行小时/分钟粒度的监测。
  第四,自定义主题分析。通过自选指标和观测时间范围,进行主题式分析逻辑的构建,辅助产出报告或分享试验洞察。
  第五,发布报告增加指标选择。可切换指标查看发布策略情况。
  升级后的试验报告不再只有单纯的统计数据结果,对于关注业务类指标的产品运营同学,可直接查看试验的业务报告;对于技术同学来说,参考检验类指标相对更严谨;对于试验负责人,只需查看报告的试验总览,即可获得进组人数、重要指标的表现,以及检验指标结果。
  通过指标的统一管理,报告可读性和透明性提升,打消客户 A/B 测试使用成本的顾虑,可以让客户更加聚焦业务本身,而不是反复的配置和需求沟通上。
  除此之外,神策数据 A/B 测试在此次更新过程中,还进一步明确了试验进组事件,减少对指标计算逻辑的误解;同时,样本量计算器适配最新的指标管理逻辑,支持多个检验指标切换去预估样本量,自动配置计算模板。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号