大数据本质与测试

发表于:2013-4-10 13:39

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:架构师Jack    来源:51Testing软件测试博客

分享:

  大数据本质是预测:只找数据相关性而不是找到准确的因果性。找因果关系的成本和难度 远大于找相关性,什么是相关性就是我知道当出现A现象时必然会出现B现。我不一定花成本去搞明白为什么,而只需要努力的提高出现A现象时一定会出现B现象的预测准确率。设计测试系统的本质是发现一堆bug数据,然后找到bug数据集与软件质量的相关性,不一定找到准确的因果性。测试设计的测试系统或测试评价模型对挖掘出的bug数据集的质量非常重要,否则在寻找bug集与质量相关性时,就会很难或不靠谱。

  大数据是对所有数据进行分析处理而不是随机样本,最有价值的数据是异常数据,对全部数据进行统计分析发现这些小概率的异常数据对其分析是大数据分析的最大价值,异常数据说明我们的认知和建模还有漏洞,从而可发现我们过去未知的新事物,完善我们的认知模型。

  大数据分析既然要全部数据就不怕数据中有错误数据的干扰 2+2=3.9也挺好的。从软件质量角度来看,只要是全部bug数集,即使有一些无效bug,但对产品发布质量的相关性准确性的负面影响 也小于 仅是随机抽样bug数据或按规则抽样bug数据进行数据分析的负面影响。

  大数据时代三大关键资源:拥有大数据资源、拥有统计算法工具、拥有大数据思维模式。对于大多数人或组织没法拥有大数据资源,也不一定精通统计算法工具,但都可以拥有大数据思维模式,依靠大数据思维模式提升工作的效率和质量。我们就曾在图片搜索中发挥大数据思维模式,成功实现了高性能(单机计算机能力1秒1个)高准确率(85%)的自动识别“文不对图”的测试系统。

版权声明:本文出自 架构师Jack 的51Testing软件测试博客:http://www.51testing.com/?293557

原创作品,转载时请务必以超链接形式标明本文原始出处、作者信息和本声明,否则将追究法律责任。

《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号