软件测试工具比较

一、JTEST

１、简介：

jtest是parasoft公司推出的一款针对java语言的自动化白盒测试工具,它通过自动实现java的单元测试和代码标准校验,来提高代码的可靠性。Jtest先分析每个java类，然后自动生成junit测试用例并执行用例，从而实现代码的最大覆盖，并将代码运行时未处理的异常暴露出来；另外，它还可以检查以DbC（Design by Contract）规范开发的代码的正确性。用户还可以通过扩展测试用例的自动生成器来添加更多的junit用例。Jtest还能按照现有的超过350个编码标准来检查并自动纠正大多数常见的编码规则上的偏差，用户可自定义这些标准，通过简单的几个点击，就能预防类似于未处理异常、函数错误、内存泄漏、性能问题、安全隐患这样的代码问题。

２、优势：

1）使预防代码错误成为可能，从而大大节约成本，提高软件质量和开发效率

2）使单元测试——包括白盒、黑盒以及回归测试成为可能

3）使代码规范检查和自动纠正成为可能

4）鼓励开发团队横向协作来预防代码错误

３、特征：

1）通过简单的点击，自动实现代码基本错误的预防，这包括单元测试和代码规范的检查

2）生成并执行junit单元测试用例，对代码进行即时检查

3）提供了进行黑盒测试、模型测试和系统测试的快速途径

4）确认并阻止代码中不可捕获的异常、函数错误、内存泄漏、性能问题、安全弱点的问题

5）监视测试的覆盖范围

6）自动执行回归测试

7）支持DbC编码规范

8）检验超过350个来自java专家的开发规范

9）自动纠正违反超过160个编码规范的错误

10）允许用户通过图形方式或自动创建方式来自定义编码规范

11）支持大型团队开发中测试设置和测试文件的共享

12）实现和IBM Websphere Studio /Eclipse IDE的安全集成

４、价格：昂贵

二、JUNIT

１、简介：

JUnit是一个开源的java测试框架，它是Xuint测试体系架构的一种实现。在JUnit单元测试框架的设计时，设定了三个总体目标，第一个是简化测试的编写，这种简化包括测试框架的学习和实际测试单元的编写；第二个是使测试单元保持持久性；第三个则是可以利用既有的测试来编写相关的测试.２、优势：

2.1)junit是完全Free的。

2.2)使用方便。在你提升程序代码的品质时JUnit测试仍允许你更快速的撰写程序2.3)JUnit非常简单撰写测试应该很简单--这是重点！如果撰写测试太复杂或太耗时间，便无法要求程序设计师撰写测试。使用JUnit你可以快速的撰写测试并检测你的程序代码并逐步随着程序代码的成长增加测试。只要你写了一些测试，你想要快速并频繁的执行测试而不至于中断建立设计及开发程序。使用JUnit执行测试就像编译你的程序代码那么容易。事实上，你应该执行编译时也执行测试。编译是检测程序代码的语法而测试是检查程序代码的完整性(integrity)。如果你是以人工比对测试的期望与实际结果那么测试是很不好玩的，而且让你的速度慢下来。JUnit测试可以自动执行并且检查他们自己的结果。当你执行测试，你获得简单且立即的回馈； 比如测试是通过或失败。而不再需要人工检查测试结果的报告。JUnit可以把测试组织成测试系列；这个测试系列可以包含其它的测试或测试系列。JUnit测试的合成行为允许你组合多个测试并自动的回归(regression)从头到尾测试整个测试系列。你也可以执行测试系列层级架构中任何一层的测试。使用Junit测试框架，你可以很便宜的撰写测试并享受由测试框架所提供的信心。撰写一个测试就像写一个方法一样简单；测试是检验要测试的程序代码并定义期望的结果。这个测试框架提供自动执行测试的背景；这个背景并成为其它测试集合的一部份。在测试少量的投资将持续让你从时间及品质中获得回收。你写的测试愈少；你的程序代码变的愈不稳定。测试使得软件稳定并逐步累积信心；因为任何变动不会造成涟漪效应而漫及整个软件。测试可以形成软件的完整结构的胶结。2.8)JUnit测试是开发者测试。JUnit测试是高度区域性(localized)测试；用以改善开发者的生产力及程序代码品质。不像功能测试(function test)视系统为一个黑箱以确认软件整体的工作性为主，单元测试是由内而外测试系统基础的建构区块。开发者撰写并拥有JUnit测试。每当一个开发反复(iteration)完成，这个测试便包裹成为交付软件的一部份提供一种沟通的方式，「这是我交付的软件并且是通过测试的。使用Java测试Java软件形成一个介于测试及程序代码间的无缝(seamless)边界。在测试的控制下测试变成整个软件的扩充同时程序代码可以被重整。Java编译器的单元测试静态语法检查可已帮助测试程序并且确认遵守软件接口的约定。
一段测试的程序代码无法单独的执行，它需要是执行环境的一部份。同时，它需要自动执行的单元测试--譬如在系统中周期性的执行所有的测试以证明没有任何东西被破坏。由于单元测试需要符合特定的准则：一个成功的测试不应该是人工检查的（那可要到天荒地老了啊），一个未通过测试的失败应可以产出文件以供诊断修改。而Junit可以提供给我们这些便利.。这样所有测试开发者所需撰写的只是测试码本身了。跟optimizeit、Jtest那些昂贵而又超级麻烦的tool比较起来，其利昭然可见！
2.9)JUnit测试是以Java写成的。
2.7)JUnit测试提升软件的稳定性。
2.6)撰写JUnit测试所费不多。
2.5)JUnit测试可以合成一个测试系列的层级架构。
2.4)JUnit测试检验其结果并提供立即的回馈。
那听起来似乎不是很直觉，但那是事实。当你使用JUnit撰写测试，你将花更少的时间除虫，同时对你程序代码的改变更俱有信心。这个信心让你更积极重整程序代码并增加新的功能。没有测试，对于重整及增加新功能你会变得没有信心；因为你不知道有甚么东西会破坏产出的结果。采用一个综合的测试系列，你可以在改变程序代码之后快速的执行多个测试并对于你的变动并未破坏任何东西感到有信心。在执行测试时如果发现臭虫，原始码仍然清楚的在你脑中，因此很容易找到臭虫。在JUnit中撰写的测试帮助你以一种极 大(extreme)的步伐撰写程序及快速的找出缺点。

３、价格：免费

三、WINRUNNER

１、简介

WinRunner:强大的企业级自动化测试工具

Mercury Interactive公司的WinRunner是一种企业级的功能测试工具，用于检测应用程序是否

能够达到预期的功能及正常运行。通过自动录制、检测和回放用户的应用操作，WinRunner能够

有效地帮助测试人员对复杂的企业级应用的不同发布版进行测试，提高测试人员的工作效率和

质量，确保跨平台的、复杂的企业级应用无故障发布及长期稳定运行。

企业级应用可能包括Web应用系统，ERP系统，CRM系统等等。这些系统在发布之前，升级之后都

要经过测试，确保所有功能都能正常运行，没有任何错误。如何有效地测试不断升级更新且不

同环境的应用系统，是每个公司都会面临的问题。

如果时间或资源有限，这个问题会更加棘手。人工测试的工作量太大，还要额外的时间来培训

新的测试人员等等。为了确保那些复杂的企业级应用在不同环境下都能正常可靠地运行，你需

要一个能简单操作的测试工具来自动完成应用程序的功能性测试。

２、特征：

１）轻松创建测试

２）插入检查点

用WinRuuner创建一个测试，只需点击鼠标和键盘，完成一个标准的业务操作流程，WinRunner

自动记录你的操作并生成所需的脚本代码。这样，即使计算机技术知识有限的业务用户轻松创

建完整的测试。你还可以直接修改测试脚本以满足各种复杂测试的需求。WinRunner提供这两种

测试创建方式，满足测试团队中业务用户和专业技术人员的不同需求。

在记录一个测试的过程中，可以插入检查点，检查在某个时刻/状态下，应用程序是否运行正

常。在插入检查点后，WinRunner会收集一套数据指标，在测试运行时对其一一验证。

WinRunner提供几种不同类型的检查点，包括文本的、GUI、位图和数据库。例如，用一个位图

检查点，你可以检查公司的图标是否出现于指定位置。

３）检验数据 

除了创建并运行测试，WinRunner还能验证数据库的数值，从而确保业务交易的准确性。例如，

在创建测试时，可以设定哪些数据库表和记录需要检测；在测试运行时，测试程序就会自动核

对数据库内的实际数值和预期的数值。WinRunner自动显示检测结果，在有更新/删除/插入的记

录上突出显示以引起注意。

４）增强测试

为了彻底全面地测试一个应用程序，需要使用不同类型的数据来测试。WinRunner的数据驱动向

导( Data Driver Wizard)可以让你简单地点击几下鼠标，就可以把一个业务流程测试转化为数

据驱动测试，从而反映多个用户各自独特且真实的行为。

以一个订单输入的流程为例，你可能希望把订单号或客户名称作为可变栏，用多套数据进行测

试。使用Data Driver Wizard，你可以选择订单号或客户名称用数据表格文件中的哪个栏目的

数据替换。你可以把订单号或客户名称输入数据表格文件，或从其它表格和数据库中导入。数

据驱动测试不仅节省了时间和资源，又提高了应用的测试覆盖率。

WinRunner还可以通过Function Generator增加测试的功能。使用Function Generator可以目

录列表中选择一个功能增加到你的测试中以提高测试能力。例如，你可以选择”calendar”，

然后从日历功能的下属目录中选择，如Calendar_select_date(),然后你可以直观地输入参数，

把这个功能插入到你的测试中。

针对相当数量的企业应用里非标准对象，WinRunner提供了Virtual Object Wizard来识别以前

未知的对象。使用Virtual Object Wizard，你可以选择未知对象的类型，设定标识和命名。在

录制使用该对象的测试时，WinRunner会自动对应它的名字，从而提高测试脚本的可读性和测试

质量。

未知的对象。使用Virtual Object Wizard，你可以选择未知对象的类型，设定标识和命名。在

录制使用该对象的测试时，WinRunner会自动对应它的名字，从而提高测试脚本的可读性和测试

质量。

５）运行测试

创建好测试脚本，并插入检查点和必要的添加功能后，你就可以开始运行测试。运行测试时，

WinRunner会自动操作应用程序，就象一个真实的用户根据业务流程执行着每一步的操作。测试

运行过程中，如有网络消息窗口出现或其它意外事件出现，WinRunner也会根据预先的设定排除

这些干扰。

６）分析结果

测试运行结束后，你需要分析测试结果。WinRunner通过交互式的报告工具来提供详尽的、易读的

报告。报告中会列出测试中发现的错误内容、位置、检查点和其它重要事件，帮助你对测试结

果进行分析。这些测试结果还可以通过Mercury Interactive的测试管理工具TestDirector来查

阅。

７）维护测试

随着时间的推移，开发人员会对应用程序做进一步的修改，并需要增加另外的测试。使用

WinRunner，你不必对程序的每一次改动都重新创建你的测试。WinRunner可以创建在整个应用

程序生命周期内都可以重复使用的测试，从而大大地节省时间和资源，充分利用你的测试投资。

每次记录测试时，WinRunner会自动创建一个GUI Map文件以保存应用对象。这些对象分层次组织

，既可以总览所有的对象，也可以查询某个对象的详细信息。一般而言，对应用程序的任何改

动都会影响到成百上千个测试。通过修改一个GUI Map文件而非无数个测试，WinRunner可以方

便地实现测试重用。

８）帮助你的应用程序为无线应用作准备

随着无线设备种类和数量的增加，你的应用程序测试计划需要同时满足传统的基于浏览器的用户

和无线浏览设备，如移动电话、传呼机和个人数字助理(PDA)。

无线应用协议是一种公开的、全球性的网络协议，用来支持标准数据格式化和无线设备信号的

传输。

使用WinRunner，测试人员可以利用微型浏览模拟器来记录业务流程操作，然后回放和检查这些

业务流程功能的正确性。 

四、LOADRUNNER

１、简介：

    LoadRunner 是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题，LoadRunner能够对整个企业架构进行测试。通过使用LoadRunner，企业能最大限度地缩短测试时间，优化性能和加速应用系统的发布周期。

    目前企业的网络应用环境都必须支持大量用户，网络体系架构中含各类应用环境且由不同供应商提供软件和硬件产品。难以预知的用户负载和愈来愈复杂的应用环境使公司时时担心会发生用户响应速度过慢，系统崩溃等问题。这些都不可避免地导致公司收益的损失。Mercury Interactive的LoadRunner能让企业保护自己的收入来源，无需购置额外硬件而最大限度地利用现有的IT资源，并确保终端用户在应用系统的各个环节中对其测试应用的质量，可靠性和可扩展性都有良好的评价。

    LoadRunner 是一种适用于各种体系架构的自动负载测试工具，它能预测系统行为并优化系统性能。LoadRunner的测试对象是整个企业的系统，它通过模拟实际用户的操作行为和实行实时性能监测，来帮助您更快的查找和发现问题。此外，LoadRunner能支持广范的协议和技术，为您的特殊环境提供特殊的解决方案。

２、特征：

１）轻松创建虚拟用户

    使用LoadRunner的Virtual User Generator，您能很简便地创立起系统负载。该引擎能够生成虚拟用户，以虚拟用户的方式模拟真实用户的业务操作行为。它先记录下业务流程(如下订单或机票预定)，然后将其转化为测试脚本。利用虚拟用户，您可以在Windows，UNIX或Linux机器上同时产生成千上万个用户访问。所以LoadRunner能极大的减少负载测试所需的硬件和人力资源。另外，LoadRunner的TurboLoad专利技术能。

    提供很高的适应性。TurboLoad使您可以产生每天几十万名在线用户和数以百万计的点击数的负载。

    用Virtual User Generator建立测试脚本后，您可以对其进行参数化操作，这一操作能让您利用几套不同的实际发生数据来测试您的应用程序，从而反映出本系统的负载能力。以一个订单输入过程为例，参数化操作可将记录中的固定数据，如订单号和客户名称，由可变值来代替。在这些变量内随意输入可能的订单号和客户名，来匹配多个实际用户的操作行为。

     LoadRunner 通过它的Data Wizard来自动实现其测试数据的参数化。Data Wizard直接连于数据库服务器，从中您可以获取所需的数据（如定单号和用户名）并直接将其输入到测试脚本。这样避免了人工处理数据的需要，Data Wizard为您节省了大量的时间。

     为了进一步确定您的Virtual user能够模拟真实用户，您可利用LoadRunner控制某些行为特性。例如，只需要点击一下鼠标，您就能轻易控制交易的数量，交易频率，用户的思考时间和连接速度等。

２）创建真实的负载

     Virtual users 建立起后，您需要设定您的负载方案，业务流程组合和虚拟用户数量。用LoadRunner的Controller，您能很快组织起多用户的测试方案。Controller的Rendezvous功能提供一个互动的环境，在其中您既能建立起持续且循环的负载，又能管理和驱动负载测试方案。

     而且，您可以利用它的日程计划服务来定义用户在什么时候访问系统以产生负载。这样，您就能将测试过程自动化。同样您还可以用Controller来限定您的负载方案，在这个方案中所有的用户同时执行一个动作---如登陆到一个库存应用程序----来模拟峰值负载的情况。另外，您还能监测系统架构中各个组件的性能----包括服务器，数据库，网络设备等----来帮助客户决定系统的配置。

     LoadRunner 通过它的AutoLoad技术，为您提供更多的测试灵活性。使用AutoLoad，您可以根据目前的用户人数事先设定测试目标，优化测试流程。例如，您的目标可以是确定您的应用系统承受的每秒点击数或每秒的交易量。

３）定位性能问题

     LoadRunner 内含集成的实时监测器，在负载测试过程的任何时候，您都可以观察到应用系统的运行性能。这些性能监测器为您实时显示交易性能数据（如响应时间）和其它系统组件包括application server, web server，网路设备和数据库等的实时性能。这样，您就可以在测试过程中从客户和服务器的双方面评估这些系统组件的运行性能，从而更快地发现问题。

     再者，利用LoadRunner的ContentCheck TM，您可以判断负载下的应用程序功能正常与否。ContentCheck在Virtual users运行时，检测应用程序的网络数据包内容，从中确定是否有错误内容传送出去。它的实时浏览器帮助您从终端用户角度观察程序性能状况。

４）分析结果以精确定位问题所在

     一旦测试完毕后，LoadRunner收集汇总所有的测试数据，并为您提供高级的分析和报告工具，以便迅速查找到性能问题并追溯原由。使用LoadRunner的Web交易细节监测器，您可以了解到将所有的图象、框架和文本下载到每一网页上所需的时间。例如，这个交易细节分析机制能

     够分析是否因为一个大尺寸的图形文件或是第三方的数据组件造成应用系统运行速度减慢。另外，Web交易细节监测器分解用于客户端、网络和服务器上端到端的反应时间，便于确认问题，定位查找真正出错的组件。例如，您可以将网络延时进行分解，以判断DNS解析时间，连接服务器或SSL认证所花费的时间。通过使用LoadRunner的分析工具，您能很快地查找到出错的位置和原因并作出相应的调整。

５）重复测试保证系统发布的高性能

     负载测试是一个重复过程。每次处理完一个出错情况，您都需要对您的应用程序在相同的方案下，再进行一次负载测试。以此检验您所做的修正是否改善了运行性能

６）Enterprise Java Beans的测试

     LoadRunner 完全支持EJB的负载测试。这些基于Java的组件运行在应用服务器上，提供广泛的应用服务。通过测试这些组件，您可以在应用程序开发的早期就确认并解决可能产生的问题。

     利用LoadRunner,您可以很方便地了解系统的性能。 它的Controller允许您重复执行与出错修改前相同的测试方案。它的基于HTML的报告为您提供一个比较性能结果所需的基准，以此衡量在一段时间内，有多大程度的改进并确保应用成功。由于这些报告是基于HTML的文本，您可以将其公布于您公司的内部网上，便于随时查阅。

７）最大化投资回报

     所有Mercury Interactive的产品和服务都是集成设计的,能完全相容地一起运作。由于它们具有相同的核心技术，来自于LoadRunner和ActiveTest TM的测试脚本，在Mercury Interactive的负载测试服务项目中，可以被重复用于性能监测。借助Mercury Interactive的监测功能－－Topaz TM和ActiveWatch TM，测试脚本可重复使用从而平衡投资收益。更重要的是，您能为测试的前期布署和生产系统的监测提供一个完整的应用性能管理解决方案。

８）支持无线应用协议

     随着无线设备数量和种类的增多，您的测试计划需要同时满足传统的基于浏览器的用户和无线互联网设备，如手机和PDA。LoadRunner支持2项最广泛使用的协议：WAP和I-mode。此外，通过负载测试系统整体架构，LoadRunner能让您只需要通过记录一次脚本，就可完全检测上述这些无线互联网系统。

９）支持Media Stream应用

     LoadRunner 还能支持Media Stream应用。为了保证终端用户得到良好的操作体验和高质量Media Stream，您需要检测您的Media Stream应用程序。使用LoadRunner，您可以记录和重放任何流行的多媒体数据流格式来诊断系统的性能问题，查找原由，分析数据的质量。

１０）完整的企业应用环境的支持

LoadRunner 支持广泛的协议，可以测试各种IT基础架构。