2、可靠性评估
可靠性是嵌入式系统最重要的质量指标。ISO9000国示质量标准(ISO/IEC 9126-1991)规定,软件产品的可靠性含义是:在规定的一段时间和条件下,软件能维持其性能水平的能力有关的一组属性,可用成熟性、容错性、易恢复 性三个基本子特性来度量。根据我们在评估嵌入式系统中的成功经验,一般采取以下简单有效的评估方法(可以采用百分制或十分制)。
(1)成熟性度量
① 错误发现率DDP(Defect Detection Percentage)。在测试中查找出来的错误越多,实际应用中出错的机会就越小,软件也就越成熟。
DDP=测试发现的错误数量/已知的全部错误数量
已知的全部错误数量是测试已发现的错误数量加上可能会发现的错误数量之和。
② 测试覆盖率度量。测试的覆盖率,可以用测试项目的数量和内容进行度量。除此之外,如果测试软件的数量较大,还要考虑数据量。测试的覆盖率,可以根据表2所示在测试指标进行评价。通过检查这些指标达到的程度,就可以度量出测试内容的覆盖程度。
表2 测试覆盖程度表
测试覆盖项 | 测试覆盖率指标测试描述 | 测试结果 |
界面覆盖 | 符合需求(所有界面图标、信息区、状态区) | |
静态功能覆盖 | 功能满足需求 | |
动态功能覆盖 | 所有功能的转换功能正确 | |
正常测试覆盖 | 所有硬件软件正常时处理 | |
异常测试覆盖 | 硬件或软件异常时处理(不允许的操作) | 测试结束判断 |
表3 可信度测试表
测试功能 | 甲 | 乙 | 丙 | 丁 | 平均 | 最大值-最小值 |
功能1 | ||||||
功能2 | ||||||
功能3 | ||||||
功能4 | ||||||
功能5 |
注意,对于最大值与最小值的差值超过5的情况,应该重新测试响应功能。
(2)容错性评估
容错性评估分为控制容错性评估、数据容错性评估、硬件故障恢复容错性评估:
容错性=以下各条款评分之和÷条款数
控制容错性度量
① 对并发处理的控制能力;
② 错误的可修正性和处理可继续进行能力。
数据容错性度量
① 非法输入数据的容错;
② 对相互冲突的要求和非法组合容错;
③ 输出数据是否合理容错。
硬件故障中恢复容错性度量
故障后恢复能力容错。