机器学习测试重点——机器学习测试(10)

发表于:2020-10-22 09:54

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:融360 AI 测试团队    来源:51Testing软件测试网原创

分享:
  8.3 机器学习测试重点
  在测试之前我们可能会有一些疑问,比如:
  1)模型能力达到怎样的标准可以部署到生产环境?
  2)如何设计测试用例才能以最小的成本完成上述标准的测试?
  3)如何获取测试数据?
  4)训练数据是不是和测试数据完全不一致,质量如何?
  5)如何评估特征的质量?
  6)测试数据能否很好地反映出模型的能力?
  7)模型的性能和健壮性是否良好?
  8)模型上线后,测试工程师如何跟踪模型的效果?
  类似的问题可以有很多,宏观上测试工程师可以从数据质量、特征质量和模型质量着手测试机器学习模型,如图8-5所示。
   
图8-5 机器学习的质量保障
  1.数据质量
  数据是机器学习建立的第一步也是最容易被忽视的。一般来说数据集包含了用于机器学习训练和检测的全部数据,这些都是历史数据,在使用之前首先要保证其可用。为了实现这个目标,测试工程师可做以下几点工作:
  ·对数据统计相关信息,如平均数、中位数和空值等;
  ·从源头梳理数据与业务的关系,检查是否存在逻辑错误;
  ·构建测试(使用脚本)检查上述统计信息和关系,并定期运行。具体可以参考7.2章节。
  2.特征质量
  特征是机器学习中最重要的部分,它是用于预测结果的变量。 
  测试工程师可从以下几点了解和测试特征,如图8-6所示。
   
图8-6 特征测试
  ·特征阈值
  可以发现每个特征的期望值都落在给定的阈值内(下限,上限)。这需要通过与产品经理或者模型算法工程师合作来确定。测试工程师需要围绕预期/阈值设计测试用例。例如,假设人类的年龄阈值的下限为0,上限为100。阈值之外的数据需要重新评估。虽然有些人超过100岁,但数量较少。
  ·特征重要性
  特征重要性的分析有助于我们发现对模型预测准确率有重大贡献的特征。在特征维数较多的时候,可根据特征重要程度剔除一些不重要的特征,提升特征计算的效率。
  ·特征与结果的相关性
  将特征与预测结果进行比较,确定特征与结果变量之间关系的变化,有助于提高模型的可解释性。
  ·特征一致性
  特征分为线上线下一致性和前后一致性:线上线下一致性指在在线和离线不同的环境使用相同的数据计算的特征理论上一致;前后一致性指的是取不同天的数据,回溯到某一天时计算出的特征一致。
  ·特征计算开销
  可以从三个方面评估特征计算的开销:RAM消耗、对上层数据的依赖性和计算时间。
  ·特征合规性
  特征的计算要合乎业务需要并且不能违背商业准则。例如,如果与客户的业务协议提到不得将其月度发票用于任何分析,则必须确保将其作为测试检查的一部分。
  ·特征计算代码单元测试
  特征计算一般比较繁琐,因此测试工程师需要开发强有力的工具自动执行相关代码的单元测试。
  ·特征计算代码检查
  应使用手动和自动方式审查计算特征的代码。如静态代码分析工具可用于评估代码的质量。
  3.模型质量
  训练后的模型最后要应用于生产环境当中,测试工程师可以从软件测试这几个角度来对模型的质量进行评估,如图8-7所示。
图8-7 模型的质量保障
  ·正确性
  模型应该利用适当的特征选择策略(例如特征重要性等)筛选出最重要的特征。此外,模型的预测准确性应达到一定的标准。即使在使用过程中出现模型预测准确度下降的意外,我们也应该能及时收到报警。
  ·可维护性
  模型应易于更新,在设计模型时就应该考虑到对上游的依赖,例如删除模型原特征或者添加新的特征。
  ·鲁棒性
  模型应考虑周全,不能因业务发展或数据病毒攻击造成意外数据的输入而引起算法的错误。
  ·安全性
  模型预测有很长的一条线路,测试工程师需要对模型的安全性进行测试和监控。
  1)数据流安全:从数据收集、数据清洗、数据采样到生成特征过程中,对数据的访问权限进行控制,避免对数据的未授权访问。
  2)数据/特征合规性:有些收集到的数据或通过数据各种操作产生的特征是不可以直接使用的。
  ·可解释性
  一个好的模型应该有较好的可解释性,即模型的预测结果是如何根据输入变量的值而变化的。
  ·预测效率
  与同类产品相比,具有较高质量的模型往往执行速度更快,占用的资源更少。测试工程师应充分衡量执行模型所需的时间和资源。
  ·数据隐私
  在模型训练和服务过程中,使用到或者产生的敏感数据应该进行打码处理。
  ·公平性
  可信赖的机器学习模型一个重要的方面是确保决策公平。当一个给定的样本仅仅在“受保护属性”(如年龄、性别或者种族等)上与另一个样本不同时,机器学习模型对这两个样本做出的决策应该是一致的。

查看《机器学习测试入门与实践》全部连载章节
版权声明:51Testing软件测试网获得人民邮电出版社和作者授权连载本书部分章节。
任何个人或单位未获得明确的书面许可,不得对本文内容复制、转载或进行镜像,否则将追究法律责任。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号