测试与质量的关系 测试有助于提高软件的质量,但是提高软件的质量不能依赖于测试。测试与质量的关系很象在考试中“检查”与“成绩”的关系。 学习好的学生,在考试时通过认真检查能减少因疏忽而造成的答题错误,从而“提高”了考试成绩(取得他本来就该得的好成绩)。 而学习差的学生,他原本就不会做题目,无论检查多么细心,也不能提高成绩。 所以说,软件的高质量是设计出来的,而不是靠测试修补出来的。 I love U software testing

Rational PureCoverage 使用和功能介绍

上一篇 / 下一篇  2009-12-23 15:15:44

1 概述

Rational PureCoverage 是专门进行自动化运行分析代码覆盖信息的工具,是一个单独的产品,也是 Rational PurifyPlus 家族中的一员。可用于改善应用程序可靠性和性能。在 Linux、UNIX 和 Windows 上都可使用和集成,PureCoverage 支持 C/C++、Java、.NET、Visual Basic 和 HTML。它可以实时诊断出应用程序覆盖的函数或方法(包括调用次数)和代码行信息。

PureCoverage 产品除了有自己专门的用户界面外,也可以和 Rational ClearQuest、Rational Robot、Rational Purify、IBM WebSphere Studio、Microsoft Visual Studio .NET、Microsoft Visual Studio 6 和 Microsoft Visual Basic 等无缝的集成,还可以用强大的命令行接口。所有通过图形界面的 PureCoverage 功能都可用命令行来完成,此外 PureCoverage 还为命令行提供了更多的选项和功能。

本文分别介绍了在 Linux / UNIX 和 Windows 上如何利用 PureCoverage 图形界面和通过命令行工具分析 C/C++ 程序,对分析结果的整理和报告,以及和用户环境的集成达到自动诊断和测试的目的。

  开发人员使用 PureCoverage

  开发人员通常负责创建单元测试,有时负责功能测试。这些测试的目的之一是在项目中特定区域中运用所有的。您可以手工检查源代码并编写您认为可以 覆盖整个项目的测试案例,但是这并不是可靠的或者有效的开发测试的方法。您需要一个像 PureCoverage 一样的代码覆盖工具来告诉您:您确实在这个项目的特定区域运行所有的循环和条件。记住:未测试的代码很可能就是有疑问的代码!

  一旦您创建了完全运行目标代码的单元测试,那不意味着您已经完成了编写测试。因为一旦下面的代码变更,您的测试就不可避免地会落后。它们不会运 行后来引进的新特征或者不同的代码路径。您可以通过利用 PureCoverage 来有规律地分析这个测试覆盖并在特定子系统的覆盖水平寻找漏洞。早一点发现比晚点发现要好得多:如果您在一个发布版本周期的晚期遇到了不充分的覆盖,您将 比其他人更晚编写测试。

  当编写测试时,PureCoverage 还有另一个好处:它将告诉您何时应该停止。如果过度的测试一个功能区域或者子系统是没有好处的。如果您根据观察来编写测试,而不是利用像 PureCoverage 一样的度量工具,您将在测试创建上过分投资,并且不能得到任何额外的质量回报。PureCoverage 可以告诉您什么时候是最为合适的,帮助您节省时间和资金。

  PureCoverage 对开发人员最后一个利益是,它与 Purify 的使用相结合,像一个猎手一样可以保持这个项目不受内存错误使用的影响。记住 Purify 只执行您在测试过程中实际执行的代码中的内存错误的检验。如果您的测试没有运行完所有的代码,那么您仍然不能在那些区域感受到 Purify 给您带来的好处。

  测试人员使用 PureCoverage

  一个测试套件只是与它所包含的测试质量有同样的性能。那看起来很明显,但是仅仅是负担着重复的操作。如果它不能真正运行这个项目,就没有必要花 费时间和资金来运行这个测试套件,即使能够通过它所有的测试。如果来自这个测试套件的结论不能真实地告诉您这个项目的质量,那么您只是在浪费时间和资源。

  一种度量测试质量的方法是,了解它们所运行的这个项目的区域以及(更为重要的是)它们所错过的区域。只有了解了您的测试所覆盖的范围和漏洞,您 才能够判断出测试结论的价值。没有工具,测试中的漏洞是很难识别的――一个测试的失败或者崩溃是很显然的,然而测试中的漏洞确是隐蔽的。如果您不度量您测 试的覆盖范围,您会继续运行您的测试并看到它们都通过测试,但是从来不会知道您的覆盖水平(因此这个测试运行的价值)正在恶化。

  PureCoverage 可以度量您的测试覆盖范围,并可以显示漏洞。它可以产生单线水平的报告;但是对于测试人员来说,在文档或者子目录水平通常是最容易捕捉、总结,并趋向覆盖 数据的。这样可以识别在项目整个运行时间中覆盖较少范围的区域,可以显示测试的什么位置需要按行展开有代码变更和增添新特征的区域。


2 收集覆盖信息数据

2.1 在 Linux 或 UNIX 下收集覆盖信息数据

Linux 或 UNIX 下用 PureCoverage 要用 purecov 命令 Build 用户程序,如果用户还想通过 PureCoverage 获得调用所有代码行的信息,那么用户程序还需要 Build 成 Debug 版本(如用 -g 选项)。用 purecov 封装 Build 就是在执行 cc 或 gcc, g++ 前加 purecov 即可,例如:


% purecov cc -g admetadata.cpp
PureCoverage 2003a.06.15 Solaris 2 (32-bit) (c) Copyright IBM Corp. 1992, 2005 All rights reserved.
Instrumenting: crti.o crt1.o values-xa.o admetadata.o libCstd.a...
libC_mtstubs.a. libcx.a... crtn.o Linking

然后运行封装好的可执行程序就可生成此程序所覆盖的数据,例如:


% ./a.out
**** PureCoverage instrumented a.out (pid 8480 at Mon Aug 31 04:25:00 2005)
* PureCoverage 2003a.06.15 Solaris 2 (32-bit) (c) Copyright IBM Corp. 1992, 2005 All rights reserved.
* For contact information type: "purecov -help"
* Options settings: -purecov \
-purecov-home=/usr/local/pure/releases/purecov.sol.2003a.06.15 \
-cache-dir=/usr/local/pure/releases/purecov.sol.2003a.06.15/cache
* License successfully checked out.
* Command-line: ./a.out
Hello, World
**** PureCoverage instrumented a.out (pid 8480) ****
* Preparing coverage data.. Please note this might take some time..
* Saving coverage data to /net/ma-homes/homes/gaowb/a.out.pcv.
* To view results type: purecov -view /net/ma-homes/homes/gaowb/a.out.pcv

运行完后 PureCoverage 会保存覆盖信息到一个扩展名为 pcv 的二进制文件,如果此文件已经存在, PureCoverage 缺省会更新合并此文件中的覆盖信息。

Windows 下用 PureCoverage 前先要 Build 好用户程序,如果用户还想通过 PureCoverage 获得调用所有函数和代码行的信息,那么用户程序需要 Build 成 Debug 版本。Build 好用户程序之后就可以用 PureCoverage 图形界面工具或 coverage 命令行工具加参数生成覆盖信息数据,PureCoverage 是一个实时诊断工具,所以在生成覆盖信息数据时它会执行用户程序。

2.2 在 Windows 下用 PureCoverage 图形界面收集覆盖信息数据

启动"Rational PureCoverage"后,在欢迎界面点击"Run"按钮或从文件菜单或工具条选择"Run"开始一个诊断程序,如图1:


图1 PureCoverage 开始运行对话框
图1 PureCoverage 开始运行对话框

在运行过程中 PureCoverage 会首先显示一个包含当前状态程序覆盖情况的概要窗口,如图2:


图2 PureCoverage 概要窗口
图2 PureCoverage 概要窗口

2.3 在 Windows 下用其他开发工具集成调用 PureCoverage 收集和查看覆盖信息数据

为方便用户开发和测试代码,PureCoverage 可以集成到Microsoft Visual Studio 6,Microsoft Visual Studio .NET,Microsoft Visual Basic,Rational Robot,Rational ClearQuest 和 IBM WebSphere Studio 等开发工具。要在这些集成开发环境中使用 PureCoverage 请确保安装 PureCoverage 时正确安装了和这些开发工具的集成。下面的例图3 是用 Microsoft Visual Studio 6 调用 PureCoverage 收集覆盖信息数据:


图3 在 Microsoft Visual Studio 6 中调用 PureCoverage 来收集和查看覆盖信息数据
图3 在 Microsoft Visual Studio 6 中调用 PureCoverage 来收集和查看覆盖信息数据

2.4 在 Windows 下用命令行工具收集覆盖信息数据

命令行工具用法如下:

coverage [<PureCoverage options>] <exename or modulename> [<arguments to exename>]

例如:

coverage /SaveTextData="C:\pamsglib.txt" pamsglib.exe arg1 arg2 arg3

下面是生成的结果实例:




3 查看和过滤覆盖信息数据

3.1 在 Linux 或 UNIX 下用 PureCoverage 查看器查看和过滤生成的覆盖信息数据

用 purecov -view 命令打开 PureCoverage 查看器可以显示覆盖信息,例如:


% purecov -view a.out.pcv

此命令将打开 PureCoverage 查看器图形窗口,如图4:


图4 PureCoverage 查看器
图4 PureCoverage 查看器

如果在 Build 的时候有 -g 调试选项,就可以点击 Annotated Source 按钮或从 Actions 菜单选 Show annotated source 打开源程序行覆盖信息,如图5:


图5 PureCoverage 源程序查看器
图5 PureCoverage 源程序查看器

PureCoverage 会高亮度显示未调用的行。

PureCoverage 查看器还提供了几个常用的报告脚本工具,可以从菜单 File -> Run script. 来选择使用。例如:

pc_annote:生成一个源程序分析结果的文本文件

pc_below:报告低级覆盖信息

pc_build_diff:比较一个程序新旧版本的 PureCoverage 数据

pc_diff:列出新旧覆盖数据改变的文件

pc_covdiff:比较统计输出改变源代码后的覆盖信息

pc_email:给最近编辑覆盖数据的人发送邮件报告

pc_select:识别改变源代码测试的子集

pc_ssheet:生成一个数据表格式的概要

pc_summary:生成一个制表格式的全部概要

3.2 在 Linux 或 UNIX 下用导出的文本文件查看和过滤生成的覆盖信息数据

用 purecov -export 命令可以将生成的覆盖信息数据导出到一个文本文件,例如:

% purecov -export=purecov.txt a.out.pcv

下面是导出结果的结果实例:


###############################################################################
# This is a PureCoverage export file, created 23-Aug-2005 08:39:12 AM #
# Coverage data type: adjusted. #
# #
# Summary of keys and field meanings: #
# #
# to unused-blocks blocks unused-lines lines unused-funcs funcs files dirs #
# di name unused-blocks blocks unused-lines lines unused-funcs funcs files #
# fi name unused-blocks blocks unused-lines lines unused-funcs funcs sessions #
# fu name unused-blocks blocks unused-lines lines calls #
# li line_no hits #
# bl line_no hits #
# efu name #
# efi name #
# edi name #
# #
# In all of these entries, the character separating the values is a TAB, not #
# a space. #
# #
# Values for hits, calls, and sessions stop accumulating once they reach #
# 10000, so a value of 10000 should be taken as 10000 or greater. #
# #
# 'to' -- Total coverage summary. #
# 'di' -- Coverage summary for one directory, followed by the files in the #
# directory. Repeated for each directory. #
# 'edi' -- End of information for named directory. #
# 'fi' -- Coverage summary for one file, followed by the functions in the #
# file. Repeated for each file within a directory. #
# 'efi' -- End of information for named file. #
# 'fu' -- Coverage summary for one function, followed by line and block #
# coverage information for the function. Repeated for each function #
# within the file. #
# 'efu' -- End of information for named function. #
# 'li' -- Use count for the indicated line. Repeated for each line in the #
# function. If coverage adjustments are NOT applied, then the #
# hits figure is the true hits figure for the line. If coverage #
# adjustments ARE applied, then inspected and tested lines will #
# indicate INSP or TEST as appropriate, while other used and unused #
# lines will indicate their counts. Deadcode lines do not appear #
# in export format when adjustments are applied. #
# 'bl' -- Use count for the basic block. Repeated for each block in the #
# function. Note that a single line may contain multiple blocks, #
# and that a single block may span multiple lines. #
###############################################################################
to 3 9 3 8 1 3 1 1
di /net/ma-homes/homes/gaowb/ 3 9 3 8 1 3 1
fi admetadata.cpp 3 9 3 8 1 3 1
fu void display_message(char*) 2 2 2 2 0
bl 19 0
bl 20 0
li 19 0
li 20 0
efu void display_message(char*)
fu main 1 5 1 4 1
bl 6 1
bl 7 1
bl 9 0
bl 10 1
bl 10 1
li 6 1
li 7 1
li 9 0
li 10 1
efu main
fu void display_hello_world() 0 2 0 2 1
bl 14 1
bl 15 1
li 14 1
li 15 1
efu void display_hello_world()
efi admetadata.cpp
edi /net/ma-homes/homes/gaowb/

在 PureCoverage 导出的结果中,# 开头的行表示注释,包含文件描述、数据类型和结构介绍等。

to 开头的表示覆盖结果统计信息,各字段分别是未使用块、总块数、未执行行数、总行数、未调用函数或方法的个数、总函数或方法的个数、文件数和目录数。

di 开头的表示一个目录总的覆盖信息,各字段分别是目录名、未使用块、总块数、未执行行数、总行数、未调用函数或方法的个数、总函数或方法的个数和文件数。

fi 开头的表示一个文件总的覆盖信息,各字段分别是文件名、未使用块、总块数、未执行行数、总行数、未调用函数或方法的个数、总函数或方法的个数和会话数。

fu 开头的表示一个函数或方法的覆盖信息,各字段分别是函数或方法名、未使用块、总块数、未执行行数、总行数和被调用的次数。

li 开头的表示源文件中行的覆盖信息,各字段分别是行号和执行的次数。

bi 开头的表示基本块的覆盖信息,各字段分别是行号和执行的次数。

efu、efi 和 edi 分别表示该函数或方法、文件和目录信息结束。

如果用户觉得 PureCoverage 导出的结果信息太多,可以根据自己需要再过滤,如只想得到调用过的函数或方法,可以用下面的 Perl 语句:


if ( @ARGV != 1 ) {  # Specify file name as command line argument
die "Usage: $0 <PureCoverageExportFileName>\n";
}
open iFH, $ARGV[0] or die "Can not open PureCoverage exported file $ARGV[0]: $!";
while ( <iFH> ) {
if ( /^fu\t.*\t0$/ ) { # Skip not calls function(s)
next;
} elsif ( /^fu\t(.*)\t\d+\t\d+\t\d+\t\d+\t\d+$/ ) { # Get called function(s)
print "$1\n";
}
}

3.3 在 Windows 下用 PureCoverage 图形界面查看和过滤数据

用 PureCoverage 运行完用户程序以后,选择 Coverage 浏览器窗口可以分等级按源文件显示覆盖信息数据,如图6:


图6 PureCoverage 浏览器窗口
图6 PureCoverage 浏览器窗口

选择 Coverage 函数列表窗口可以显示整个程序中函数或方法的覆盖信息数据,如图7:


图7 PureCoverage 函数列表窗口
图7 PureCoverage 函数列表窗口

缺省 PureCoverage 会过滤掉它认为一般用户不关心的数据,如操作系统模块,但用户也可以根据自己的实际需要定制过滤器,PureCoverage 提供了一个图形化的过滤管理器。从 View 菜单中选择 Filter Manager 或点击 Filter Manager 工具条打开过滤管理器窗口,如图8:


图8 PureCoverage 过滤管理器
图8 PureCoverage 过滤管理器

PureCoverage 可以在源代码中一行一行的识别覆盖情况,双击一个函数或方法,就会打开源程序查看器窗口,如图9:


图9 PureCoverage 源程序查看器
图9 PureCoverage 源程序查看器

缺省 PureCoverage 未测到的行用红色表示,已测到的行用蓝色表示,固定行用黑色表示,在多块行中部分测到用粉色表示,总报告用绿色表示。用户可根据自己的喜好定制颜色。

3.4 在 Windows 下查看和过滤用命令行工具生成的覆盖信息数据

在 PureCoverage 命令行工具生成的结果中,comment 开头的行表示注释,包含文件结构简单介绍、用户程序信息、工作路径、PureCoverage 版本信息、运行机器信息、运行时间统计、数据集大小、过滤器信息等。

CoverageData 开头的表示覆盖结果信息,CoverageData 第一行说明各字段含义,用 Tab 字符隔开;第二行是总的统计报告,包括未使用和使用的函数或方法、总函数或方法、使用函数或方法的百分比、未使用和使用的代码行数、总行数、使用行数百分 比和总调用次数等;从第三行开始是具体收集到的模块、目录、源文件和函数或方法等信息,每行都有名称、类型、父源代码、父模块、未使用和使用的函数或方 法、总函数或方法、使用函数或方法的百分比、未使用和使用的代码行数、总行数、使用行数百分比、源代码行号和总调用次数等。

SourceLines 开头的表示源程序中行号的覆盖信息。

如果用户觉得 PureCoverage 生成的结果信息太多,可以根据自己需要再过滤,如只想得到调用过的函数或方法,可以用下面的 Perl 语句:


if ( @ARGV != 1 ) {  # Specify file name as command line argument
die "Usage: $0 <PureCoverageTextDataFileName>\n";
}
open iFH, $ARGV[0] or die "Can not open PureCoverage text data file $ARGV[0]: $!";
while ( <iFH> ) {
if ( /^CoverageData\t.*\t0$/ ) { # Skip not calls function(s)
next;
} elsif ( /^CoverageData\t(.*)\tFunction\t.*/ ) { # Get called function(s)
print "$1\n";
}

4 集成

4.1 在 Linux 或 UNIX 下和用户环境的集成

只需要将 "purecov " 添加到编译器 cc、gcc 或 g++ 命令的前面即可。或增加一个 Build 规则在 Makefile 中,例如:


pc_relink:
admetadata.o: admetadata.cpp
purecov cc admetadata.cpp

如果用户环境中可执行程序被调用多次或指定程序不同的参数,PureCoverage 会自动合并生成的结果。

再用"purecov -export"命令将 .pcv 文件批量转换成覆盖信息数据文本文件,也可再进一步过滤得出恰当的结果。

4.2 在 Windows 下和用户环境的集成

只需要将 "coverage /SaveTextData " 添加到可执行程序的前面即可。如果用户环境中可执行程序被调用多次或指定程序不同的参数,那么用户可以用 /SaveMergeTextData 代替 /SaveTextData 选项来合并生成的结果。

可再进一步过滤得出恰当的结果。


}

注释

1) 本文所述的 Linux 或 UNIX 是指只要支持任何一个标准 cc、gcc 或 g++ 编译器的任何 Linux 或 UNIX。

2) 查看所有命令行选项可用 purecov -help(Linux/UNIX)或 coverage /help(Windows)命令。

3) PureCoverage 缺省监听级别是最详细的代码行级,也可以用-purecov-granularity=function 或者/CollectionGranularity=function 定制到函数或方法级或其他级别以收集到更精简或符合用户需要的数据。

4) 如果用户不能获得想要的函数或代码行,请确认程序是 Debug 版,即 Linux/UNIX 下 Build 的时候用了 -g 编译选项,如果用户用的是 MFC,请确认有 /ZI 编译选项。

5) 如果用户觉得缺省的 filter 不太合适,可以用 /FilterFiles 选项自己定制 filter。

6) PureCoverage 有自动调节行覆盖功能,例如在某些情况下不想统计某些行,用此功能可能更满足客户的需求。

7) Windows 下 coverage 是在 Rational/common 目录下,如果不能执行请检查此目录是否在 PATH 环境变量里。

8) 如果想在 Windows 下查看 Linux 或 UNIX 上生成的覆盖信息数据,可用 -view-file-format 选项生成 Windows PureCoverage 可识别的 .cfy 覆盖信息数据文件,但要注意 Linux 或 UNIX 下不会合并 .cfy 文件。



参考资料

使用 Rational PureCoverage 进行 J2EE 代码覆盖


TAG:

 

评分:0

我来说两句

日历

« 2024-04-18  
 123456
78910111213
14151617181920
21222324252627
282930    

数据统计

  • 访问量: 94965
  • 日志数: 112
  • 图片数: 1
  • 文件数: 1
  • 书签数: 1
  • 建立时间: 2007-01-16
  • 更新时间: 2010-06-28

RSS订阅

Open Toolbar