A/B测试助力游戏业务增长

发表于:2023-3-23 09:22

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:字节跳动数据平台    来源:博客园

  中国游戏行业发展现状及挑战
  国内市场增长乏力
  2021年游戏销售收入2965.13亿元,同比增长6.4%,增速相较于2020年减少近15%。游戏用户规模达6.66亿人,同比增长仅为0.22%。2021年游戏销售收入增长乏力,游戏人口红利趋于饱和,国内游戏市场整体正在从增量市场向存量市场转变。受未成年人保护法和国内游戏版号发行限制的影响,未来一段时间国内发展还会受限。
  自研游戏出海势头强劲
  2021 年,中国自主研发游戏海外市场实际销售收入达 180.13 亿美元(近1200亿人民币),比 2020 年增加了 25.63 亿美元,同比增长 16.59%。从近五年的平均增长幅度看,我国游戏出海份额呈现稳定上升的态势。中国自主研发移动游戏海外重点地区收入分布中,来自美国、日本、韩国收入占 32.58%,18.54%和 7.19%,共贡献了 58.31%的收入。
  私域流量扰动行业格局
  近年来,随着自媒体平台的快速发展,私域流量的积累为游戏的发行提供了新的投放基础。在精准营销技术的辅助下,自媒体平台的游戏投放取得了令人瞩目的效果。以青瓷游戏的《最强蜗牛》为例,《最强蜗牛》上线在抖音和西瓜视频两个平台,通过悬念预热、超级挑战赛、全民任务等新的互动方式,精准触达了目标用户,游戏上线后10天iOS流水超1.04亿,连续一个月居iOS游戏畅销榜前十名。
  随着国内游戏用户数量趋于饱和,中国游戏产业也从高速成长期逐渐转型,市场成熟度提升,竞争趋于精细化。游戏企业买量成本高企,用户留存难,对精细化运营的要求也越来越高。叠加游戏出海以及私域流量运营的挑战,游戏企业对数据分析的使用需求和依赖度进一步提高。
  快速试错,A/B测试助力打造爆款游戏
  游戏行业发展至今,先后经历了主机游戏时代、网页游戏时代、移动游戏时代等多个阶段,如今移动游戏收入占国内游戏收入的7成以上,许多传统游戏公司正面临着转型压力。随着游戏技术的日趋成熟,大批新兴公司涌入该行业,进一步加剧了竞争压力。
  游戏研发流程大致分为立项、验证、开发、测试、上线准备和运营六个阶段,每个阶段往往都伴随着许多修改。修改的效果如何?对于核心指标是否会有负面的影响?传统的思路,是将新特性上线后验证效果,但这也往往存在上线周期长,过分依赖经验,影响面广等问题。
  A/B实验通过在线上流量中取出一小部分,完全随机地分给原策略A(对照组)和新策略B(实验组),再结合一定的统计方法 ,得到对于两种策略相对效果的准确估计。通过A/B实验可以对游戏新特性/修改进行科学的评估,利用线上小流量即可验证效果,并能够有效地衡量收益。
  A/B实验,科学评估修改结果
  当我们进行实验之前,实验者需要事先约定一个对显著性水平的预期,即限定"原假设正确但是被拒绝了"的概率上限为α,通常接受的犯此类错误的概率范围是0%~5%。在实验的统计计算中,我们用p-value来表征某个实验情景下犯这种错误的实际概率。只要p-value小于我们事先设定的α,实验即在显著性水平上达标。计算显著性水平是用来对抗抽样误差的方法,当我们实验在显著性水平上达标后,我们认为有95%以上的把握说明实验结果是可信的。这大大降低了,游戏修改上线对指标负面影响的可能。
  《全民弹弹弹》是一款操作简单、极易上手的球跳塔类休闲游戏,玩家既可以让弹球一层一层地击穿彩色砖块,享受纯粹的弹射快感,也可以解锁更多未知的球球,体验合成的养成乐趣。游戏运营为验证游戏首页对玩家留存和广告数据的影响,对两个首页方案进行对比:跳塔页(对照组)、合成页面(实验组)
  经过2周的实验测试,结果显示,首页为合成页面在3日、7日留存以及广告的效果等核心指标都优于对照组跳塔页方案。最终选择全量合成页面的方案,上线并取得了优异的效果。
  除上述场景外,A/B实验还常常被用在以下修改的验证中新手引导改动,新手任务难度调整,初始资源调整等关卡难度、装备爆率、宝箱中奖率调整等影响游戏体验的的改动商城界面,积分系统,公告栏、banner、按钮、图标等功能性区域的改动匹配系统、好友系统、聊天系统等社交性功能改动游戏IP、NPC、游戏场景、剧情的改动实验分层,拓展线上流量
  实验分层,拓展线上流量
  小A要验证新的武器系统,需要50%的流量验证;小B修改商城界面,也需要50%的流量;小C对新手任务进行了完善,同样需要50%的流量验证。此时同时进行3个实验,需要150%的流量。线上流量不够用,只能对实验进行优先级排序,让几个实验先后进行,但这会导致效率低下。
  通过A/B实验的流量分层技术,将总体流量复制“无数遍”,形成”无数个”流量层。流量层两两之间相互正交,再加之运行在相同层的实验流量互斥,从而保证同时运行多个实验不会互相干扰。
  实验分层技术可以有效的解决线上流量不足的情况,尤其是在游戏内测阶段,这个阶段往往获取用户难度较大。需要通过发布内测任务,小规模买量等方式获得游戏玩家,流量获取成本高。而这个阶段既需要验证游戏的性能、兼容性,又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。如果内测时间过长,不仅需要持续的买量投入,也会导致游戏上线节奏被拖慢,甚至可能错过市场热点。
  通过A/B实验流量分层技术,打破流量限制,大大缩短游戏验证时间,快速上线迭代。
  场景能力,让推广更加高效
  除了传统的客户端、服务端实验以外,我们还提供了针对特殊场景的A/B实验能力,让实验开启更便捷,效果更显著。
  可视化实验:通过所见即所得的在线编辑,降低在 Web/H5 页面优化的场景下,产品方和运营方使用 A/B 实验工具的成本。可用于游戏活动的推广页面,抽奖页面的效果对比,无需编程即可快速上线。
  推送实验:通过对推送通知的标题、内容、点击动作等进行测试,找出效果最优的方案。支持多种推送通道、设备类型;可应用于游戏的拉新、召回以及活动推广等场景,及时响应效果,避免负面影响。
  广告实验:提升广告投放 ROI,优化广告投放策略,可对比不同的实验文案、不同的投放渠道的广告投放效果。通过转化增效度量的方式来控制“自然转化”对实验效果的影响,保证广告实验的科学性和严谨性。
  游戏出海,A/B保驾护航
  如今全球化运营已经成为新的趋势,海外游戏营收相较于国内有着更高的增长性。国内自研游戏纷纷出海,快速抢占重点地区份额。与此同时也带来了差异化运营、全球化发布、信息安全等全新的挑战。
  地区差异化运营
  由于各国文化、宗教信仰、潮流趋势的差异,相同的游戏活动和修改,在海外不同的地区往往取得的收益各不相同。对于公司来说,海外不同地区的差异化运营,往往需要积累各地的运营经验,成本通常较高。盲目的推行,又容易导致一些负面的影响。
  A/B实验支持圈选不同地区的游戏用户,可以针对不同地区的用户开展针对性的测试,能够快速的比较实验结果,确定该地区的最优方案。
  全球化发布
  全球化发布也是公司在出海过程中所不得不面临的挑战。全球化发布意味着运维成本的提高,同时多版本的管理也增加了发行的复杂性。运行中的A/B实验,支持直接转换为特性进行发布。同时支持渐进式发布、定时发布,以及回滚操作等。通过使用特性发布功能,使发布流程更加简洁,减少发布风险。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号