以知识交友,向各位求教,充实自己,不断进取。

发布新日志

  • LoadRunner分析测试结果

    2009-04-22 16:53:53Top 2

     

     LoadRunner分析测试结果

     

    要查找系统瓶颈,就必须分析LoadRunner获取的性能指标数据。在LoadRunner场景运行的同时我们获取了大量的数据,可以根据以下几种方式分析这些数据:

    1.查看Vuser Log文件,这些文件包括了场景运行过程中每个用户的跟踪数据,Vuser Log文件一般放在脚本目录中;

    2.在控制台的输出窗口查看场景的执行过程信息;

    3.使用Analysis模块分析执行结果图表;

    4.使用直接生成的图表查看原始数据——Graph Data或者Raw Data;

    5.让LoadRunner自动生成HTML或Word格式的测试报告,通过报告进行分析。

    LoadRunner的Analysis模块是分析系统的性能指标的一个主要工具,它能够直接打开场景的执行结果文件,将场景数据信息生成相关的图表显示出来。Analysis集成了数据统计分析功能,允许测试员对图表进行比较和合并等多种操作,分析后的图表能够自动生成测试员需要的测试报告文档。

    在运行方案时,数据将存储在结果文件中,扩展名为.lrr。Analysis是处理收集的结果信息并生成图和报告的实用程序。Analysis将活动图的显示信息和布局设置存储在扩展名为.lra的文件中。

    在运行方案时,默认情况下所有Vuser信息将存储在每个Vuser主机(每个运行场景的机器)中。方案执行之后,这些结果会自动进行整理或合并,即将所有主机的结果传输到结果目录中(一般可以使用TD或者其他质量管理工具进行缺陷管理工作,结果目录将因使用的软件和配置情况而异)。通过在控制台窗口中选择““Results”>““Auto Collate Results”(自动整理结果),并清除该选项旁边的复选标记,可以禁用自动整理。要手动整理结果,请选择“Results”>“Collate Results”(整理结果)。如果方案执行后这些结果还没有进行整理,在生成分析数据之前,Analysis将对其进行整理。

    文本框:  
图2-69 “General”选项卡

场景运行完毕,在结果目录下会自动保存一个扩展名为lrr的结果文件,Analysis能够打开这个结果文件,加载该文件时自动处理lrr文件内的结果信息,并自动生成相应的结果图表.

    2.3.1  配置数据选项

    在使用Analysis分析场景结果之前,首先要明确结果文件中收集了哪些信息。默认情况下,各个Vuser的执行结果数据都是存放在各个Vuser所在的机器上的,场景执行结束后,才被系统自动整理合并后放置到结果目录下,LoadRunner是否执行这个整理合并操作是受控制台中的“Auto Collate Results”选项控制的。所以要进行相应配置,下面做一简要介绍。

    选择“Tools”>“Options”,出现配置界面,分别有“General”(常规)、“Result Collection”(结果集合)、“Database”(数据库)和“Web Page Breakdown”(网页细分)四个选项卡。

    1.“General”选项卡(如图2-69所示)

    在此页面可以设置存储和显示的日期格式,一种为欧洲日期格式(dd/mm/yyyy),另一种为美国日期格式(mm/dd/yyyy)。

    如果要选择文件浏览器打开的目录位置,有“Open at most recently used directory”(打开最近一次使用目录位置)和“Open at specified directory”(在指定目录打开文件)两种形式可供选择。

    对于存储临时文件的目录位置,可以设置在Windows 临时目录中,也可以通过输入要存放的目录位置,为保存的临时文件指定存放目录。

    Analysis摘要报告包含一个事务百分比列,默认为90%的事务响应时间(90%是一个统计响应时间的参数,表明该事务所有的运行次数中,90%的次数落在这个响应时间内),此数值如没有特殊要求不用改动。

    2.“Result Collection”选项卡(如图2-70所示)

    通过“Result Collection”选项卡可以配置 Analysis 以生成和显示摘要数据或完整数据。

    图2-70 “Result Setting”选项卡

    “完整数据”指已经过处理的可以在Analysis工具内使用的结果数据,可以存储、筛选和操纵这些数据。“摘要数据”指原始的、未处理的数据。摘要图包含常规信息(如事务名和次数),而且只支持部分筛选选项。

    在“Result Collection”选项卡中,有3项需要配置,分别为“Data Source”(数据源显示情况)、“Data Aggregation”(数据聚合方式)和“Data Time Range”(设置数据时间范围)。

    下面对“Options”对话框中的“Result Setting”选项卡进行配置说明,如图2-70所示。

    首先是选择数据源的数据显示情况,3个选项的含义分别为:

    Ÿ   Generate summary data only(仅生成摘要数据):仅查看摘要数据,Analysis不会处理数据以用于筛选和分组等高级用途。

    Ÿ   Generate complete data only(仅生成完整数据):仅查看经过处理的完整数据,不显示摘要数据。

    Ÿ   Display summary while generating complete data(生成完整数据时显示摘要数据):在处理完整数据的时候,能够查看摘要数据。在处理完整数据之后,查看处理后的完整数据。

    其次是选择数据的聚合方式,如果选择生成完整数据,Analysis将通过内置数据聚合公式或定义的聚合设置来聚合生成的数据。为了减小数据库,缩短在大方案中的处理时间,必须进行数据聚合。

    在“Data Aggregation”部分的设置默认为第一项“Automatically aggregate data to optimize performance”,使用内置数据聚合公式聚合数据、第二个选项仅对Web数据进行聚合“Automatically aggregate Web data only”、还可以自定义聚合的设置,即选择第三个选项“Apply user-defined aggregation”,单击其后面的自定义配置按钮,打开“Data Aggregation Configuration”(数据聚合配置)对话框,进行自定义聚合和粒度设置,如图2-71所示。

    在图2-71所示的对话框中,首先选择要聚合的数据类型,其中列出要聚合数据的图的类型,有事务(响应时间、每秒)、Web(每秒点击次数、吞吐量、每秒页数、HTTP返回代码)、监视器、数据点和脚本错误。在各选项前面的复选框上打钩即为选中。

    然后再选择要聚合的图属性,包括Vuser ID、组名和脚本名,如果不希望聚合失败的Vuser数据,请选择“Do not aggregate failed Vusers”(不聚合失败的Vuser)。

    图2-71  数据集合配置图

    最后对图形的显示粒度进行设置,粒度的单位为秒,最小的粒度是1秒,最大的粒度是图的时间范围的一半。在此设置后,随着图形时间范围的增大,在其他地方可以对粒度进行更改,在后面会对更改粒度的方法进行简要介绍。还可以选择专门指定Web数据的自定义粒度,默认值为5秒。

    确定后,单击“OK”按钮关闭“数据聚合配置”对话框。

    在“Result Setting”选项卡页面中最后一项“Data Time Range”就是设置数据时间范围,默认的范围为“All of the Scenario”(所有方案),即显示方案整个持续时间内的数据。单击“Apply now on active session”按钮后,将当前设置应用到当前会话中。

    3.“Database”选项卡

    默认情况下,LoadRunner 将Analysis结果数据存储在Access 2000数据库中。如果Analysis结果数据超过2GB,建议用户将它存储在SQL Server或MSDE计算机上,此时可以通过如下配置进行,如图2-72所示。

    如果选择SQL Server数据库,则需要配置一下后面的选项。在“Server Name”文本框中选择或输入运行SQL Server/MSDE的计算机的名称。在此,可以勾选“Use Windows intergrated security”(使用Windows集成安全性)复选框,这种情况下将允许用户使用Windows登录,而不必手工指定SQL Server的用户名和密码。

    Ÿ   “Logical storage location”(逻辑存储位置):输入要在其中存储永久和临时数据库文件的SQL Server/MSDE计算机上的共享目录。例如,如果SQL Server的名称是fly,则输入“\\fly\<Analysis数据库>\”。

    图2-72  数据库配置选项

    存储在SQL Server/MSDE计算机上的Analysis结果仅可以在计算机的本地LAN上进行查看。

    Ÿ   “Physical storage location”(物理存储位置):输入与逻辑存储位置对应的SQL Server/MSDE计算机上的真实驱动器和目录路径。例如,如果 Analysis数据库映射到名为fly的SQL Server,并且fly映射到驱动器D,则输入“D:\<Analysis数据库>”。

    如果SQL Server/MSDE和Analysis位于同一台计算机上,则逻辑存储位置和物理存储位置是相同的。

    Ÿ   “Test Parameters”(测试参数):如果用于Access,则允许用户连接到Access数据库并验证计算机上的“列表分隔符”注册表选项与该数据库计算机上的是否相同。

    如果用于SQL Server/MSDE,则允许用户连接到SQL Server/MSDE计算机,并查看指定的共享目录是否位于服务器上,以及在该共享服务器目录上是否有写入权限。如果有,Analysis会将共享的服务器目录与物理服务器目录同步。

    Ÿ   “Compact Database”(压缩数据库):在配置和设置Analysis会话时,包含结果的数据库可能变得零碎。因此,可能使用过多的磁盘空间。通过“Compact database”(压缩数据库)按钮可以修复和压缩这些结果并且优化Access数据库。

    4.“Web Page Breakdown”选项卡(如图2-73所示)

    在此选项卡中选择URL的形式,可以选择单独显示每个URL(Display individual URLs)或者显示合并URL的平均值(Display an average of merged URLs),即将来自同一脚本步骤的URL合并成一个URL,然后使用合并(平均)数据点显示它。测试人员可以根据实际需求做相应的设置。

    图2-73 “Web Page Breakdown”选项卡

    文本框:  
图2-74  打开图列表

2.3.2  图表分析说明

    当把各种数据结果生成分析图表时,为了更好地对结果进行分析,需要对这些分析图表进行筛选,合并或者关联,便于测试人员得到想要的数据,所以下面介绍几个常用的分析图表的技巧。

    1.打开图。除了系统提示的默认的图表外,测试人员还可以查看其他包含数据的图表。方法是:

    在如图2-74的图表列表中双击“New Graph”,弹出“Open a new Graph”对话框,对话框中所有名称为蓝色的图表均为包含数据的图表,如图2-75所示。

    左边窗口显示能够获得数据的图形列表,右边显示在左边窗口列表中所选择图形的基本信息。选中要打开的图形,单击“Open Graph”按钮,将在数据图列表中显示出该图,选择完毕后,单击“Close”按钮关闭此对话框。

    在整个分析结果界面分为三部分,如图2-76所示。在图2-76所示页面中,上面左半部分为要显示的数据名称列表,右半部分为整个场景数据的图形显示,下面则显示运行监控数据。每打开一个新图,在数据名称列表中都将添加对应的指标。

    图2-75  打开一个新图

    图2-76  分析结果页面

    2.在图形显示的区域单击鼠标右键将弹出图2-77所示的菜单,下面将对此菜单所提供的功能做一下介绍。

    (1)设置筛选条件(Set Filter/Group By)

    选择“View”(视图)>“Set Filter/Group By”(设置筛选器/分组方式),出现筛选器的对话框,例如打开事务摘要的筛选器,如图2-78所示。

       

    图2-77  图形区域的右键菜单                      图2-78  图形设置

    在图2-78所示对话框中为“Criteria”(条件)和“Values”(值)字段选择值。

    Ÿ   Criteria:选择“=”(等号)或“<>”(不等号)。

    Ÿ   Values:从“Values”列表中选择一个值。筛选条件分为三种值类型(离散、连续和基于时间)。

    ¡ 离散值是一个明确的整数值,例如“事务名”或“Vuser ID”。要求在已经包含在筛选器中的固有值中选取,不可以自定义该数值。

    注释:可以使用“Transaction Hierarchical Path”(事务父树路径)条件来筛选子事务。选择<事务名>可以筛选此事务的子事务;选择“无”可以筛选父事务;选择“未知”可以筛选所有父级未知的子事务(这种情况通常由会话期间的嵌套错误引起)。

    ¡ 连续值是一个变量维度,可以在最小值和最大值范围限制内取任何值,例如“事务响应时间”。可以在“设置维度信息”对话框中设置每个度量的维度信息。

    ¡ 基于时间的值是基于相对于方案开始时间的值。“Scenario Elapsed Time”(方案已用时间)是使用基于时间值的唯一条件。可以在“Scenario Elapsed Time”对话框中指定基于时间的值。

    Ÿ   Group By(分组方式):使用这些设置来对图显示按组排序。

    Ÿ   Available groups(可用组):选择排序所依据的组,单击右箭头可以将该组加入到“选定组”内。

    Ÿ   Selected groups(选定组):显示所有选定组的列表,结果将按这些组排序。要删除某个组,可以选择该组并单击左箭头。要更改结果分组的顺序,请选择要移动的组,并单击向上或向下箭头,直到它们按所需顺序排列。

    Ÿ   Set Default(设置默认值):设置每个筛选条件的默认条件和值。

    Ÿ   Cancel(全部清除):删除用户在对话框中输入的所有信息。

    文本框:  
图2-79  设置时间粒度

(2)Set Granularity(设置或更改粒度)

    在图2-77所示的菜单单击“Set Granularity”选项,将出现图2-79所示的对话框,在此框可设置时间粒度。

    通过更改X轴的粒度(比例),可以使图便于阅读和分析。为确保可读性和清晰性,Analysis 在大于等于500秒的范围内自动调整图的最小粒度。如果要使数据库减小,可增加粒度。如果要重点关注更详细的结果,可减少粒度。

    在图2-80中,使用不同的粒度(1、5,10)来显示每秒点击次数,其中Y轴表示在粒度间隔内的每秒点击次数。对于粒度1,Y轴显示方案中每1秒期间的每秒点击次数(如图2-80(a)所示)。对于粒度5,Y轴显示方案中每5秒期间的每秒点击次数(如图2-80(b)所示)。

     

    (a)                                       (b)

    图2-80  不同的粒度每秒点击次数图

    (c)

    图2-80  不同的粒度每秒点击次数图(续)

    文本框:  
图2-81  选择查看的原始数据时间段

从图2-80可以看出,粒度越低,结果越详细。例如,在图2-80中使用较低的粒度,可以看到没发生点击的间隔。使用更高粒度有助于研究整个方案中的总体Vuser行为。通过使用更高粒度来查看同一个图,可以很容易地发现,总体上大约平均每秒点击1次。

    (3)View Raw Data(查看原始数据)

    在图2-77所示的右键菜单中单击“View Raw Data”,将弹出“Raw Data”对话框。

    首先设置显示时间范围,如图2-81所示。单击“OK”按钮确定后,将在分析结果页面的数据列表区域,根据所选择的时间范围显示出原始数据,如图2-82所示。

    图2-82  显示的原始数据

    (4)Auto Correlate(自动关联图)

    在图2-77所示的右键菜单中选择“Auto Correlate”,打开“Auto Correlate”(自动关联)对话框,如图2-83所示,图中显示的数据范围为选定的度量,如不选定则显示整个运行结果的度量。

    通过“Auto Correlate”对话框中的“Time Range”(时间范围)选项卡,可以为相关联的度量图指定方案时间范围。

    首先要在“Measurement to Correlate”下拉列表中选择要关联的度量,单击“Display”按钮显示关联整个方案时间范围的值。在“Suggest Time Range by”下拉列表框中可以选择三种时间范围的方式(即Analysis自动划分方案中度量的最重要时间段),依次为:

    Ÿ   趋势:选择关联度量值变化趋势相对稳定的一段时间范围。

    Ÿ   功能:选择关联度量值变化相对稳定时间段内,选择其中一小段大体与整个趋势相似的时间范围。

    Ÿ   最佳:选择关联度量值发生明显变化趋势的一段时间范围。

    图2-83  自动关联时间范围

    指定方案时间范围也有两种方式,一种是手动填写具体的开始和结束时间,另一种是使用绿色和红色的垂直拖动条来指定起止时间。

    通过“Auto Correlate”对话框中的“Correlation Options”(关联选项)选项卡,可以设置要关联的图、数据间隔和输出选项,如图2-84所示。

    首先,要在左边的窗口(Select Graphs for Correlation)中选择希望其度量与选定度量相关联的图。然后,在“Data Interval”单组合框中选择计算关联度量轮询之间的间隔,可以设置为自动值(Automatic),还可以输入一个具体的值。最后,在“Output”组合框中选择显示输出的级别。

    图2-84  设置自动关联选项

    (5)Comments(注释添加与编辑)

    首先,选择要添加注释的位置,选择图2-77中“Comments”菜单下的“Add Comment”(添加注释)选项,打开“Add Comments”对话框,如图2-85所示。

    在“Text”框中输入要添加注释的内容。在“Add Comments”对话框中可以选择插入注释的位置及设置注释框的大小,还可以通过Format(格式)、Text(文本)、Gradient(渐变)和Shadow(阴影)等选项卡,对所添加的注释进行编辑、调整和格式化。

    如果想修改或删除注释,请选中该注释,然后选择“Comments”>菜单中的“Edit Comments”选项,打开“Edit Comments”对话框,如图2-86所示。

                  

    图2-85  添加注释                               图2-86  编辑注释

    对注释进行编辑和删除,编辑完后关闭此对话框即可。

    3.在图2-75所示的数据列表区域单击鼠标右键将弹出如图2-87所示的菜单,下面简单介绍此菜单上的各选项。

    (1)Show:显示图中某个度量。

    (2)Hide:隐藏图中某个度量。

    (3)Show only selected:只突出显示所选择的度量。

    (4)Show all:显示图中所有可用的度量。

    (5)Configure measurements(设置度量):单击此项将打开“Measurement Options”(度量选项)对话框,如图2-88所示,通过该对话框可以配置度量选项(例如,设置颜色和度量比例)。

                   

    图2-87  数据列表右键菜单                         图2-88  度量选项

    在“Measurement”下拉列表内选择要配置的度量,还可以单击“Change Color”按钮改变其显示的颜色,在下面的“Scale”组合框中可以设置度量的比例,其选项依次为:

    Ÿ   Set measurement scale to(将度量比例设置为X):设置度量的比例。

    Ÿ   Set automatic scale for all measurements(为所有度量设置自动比例):使用优化的自动比例来显示图中每个度量。

    Ÿ   Set scale 1 for all measurements(为所有度量设置比例=N):将图中所有度量的比例设置为1。

    Ÿ   View measurement trends for all measurements(查看所有度量的度量趋势):按照以下公式对图中Y轴的值归一化:

    新Y值=(以前的Y值-以前值的平均值)/以前值的STD。

    (6)Show measurement description(显示度量描述):单击此项将弹出“Measurement Description”(度量描述)对话框,其中包括名称、监视器类型以及选定度量的描述,如图2-88所示。

    (7)Animate selected line(激活选定线):将选定度量显示为闪烁线。当选中此菜单项后,每当选择一个度量值后,该线形的显示有一个从粗到细的过程。

    图2-89  度量描述

    (8)Configure columns(配置列):选择此菜单将打开“Legend Column Options”(图例列选项)对话框,如图2-90所示,通过该对话框可以配置图2-76页面中“Legend”选项卡中显示的列。

    图2-90  图例列选项

    在“Legend Columns Options”对话框中可以选择要查看的列、每列的宽度以及列的排序方法。在左边的窗口(Available Columns)中显示可用于选定度量的列。默认情况下,将显示所有可用列。在右边显示所选定列的名称及长度,还可以对宽度进行修改。在“Sort By”组合框中可选择所选列的排序方式:升序(Ascending)和降序(Descending)。但在排序前应先选择度量数据进行排序所依据的列。

    4.合并图

    使用Analysis可以将同一方案的两个图的结果合并到一个图中。通过合并,可以一次比较几个不同的度量。例如,可以制作一个合并图,以已用时间的函数的形式显示网络延迟和正在运行的Vuser的数量。

    要合并图,这些图的X轴的度量单位必须相同。例如,可以合并“Web吞吐量和每秒点击次数”图,因为它们具有公用的X轴:方案的已用时间。

    首先创建合并图:在树视图中选择一个图或选择其选项卡,将其激活。选择“视图”>“合并图”,或者单击“合并图”。将打开“合并图”对话框,显示活动图的名称。

    显示X轴与当前图相同的活动图,Analysis提供三类合并方式:

    (1)叠加:重叠共用同一X轴的两个图的内容。合并图左侧的Y轴显示当前图的值。右侧的Y轴显示已合并图的值。叠加图的数量没有限制。叠加两个图时,这两个图的Y轴分别显示在图的右侧和左侧。覆盖两个以上的图时,Analysis只显示一个Y轴,相应地缩放不同的度量。

    在图2-92中,“吞吐量-每秒点击次数”图被另一个图叠加。

    (2)平铺:查看在平铺布局(一个图位于另一个之上)中共用同一个X轴的两个图的内容。在图2-93中,“吞吐量-每秒点击次数”图将被平铺(一个在另一个之上)。

    (3)关联:绘图时区分两个图彼此的Y轴。活动图的Y轴变为合并图的X轴。被合并图的Y轴作为合并图的Y轴。

    在图2-94中,“吞吐量-每秒点击次数”图彼此关联。X轴显示每秒的字节数(“吞吐量”度量),Y轴显示每秒的点击次数。

              

    图2-91  合并图                      图2-92  叠加的“吞吐量-每秒点击数”图

             

    图2-93  平铺的“吞吐量-每秒点击数”图                    图2-94  合并关联

    合并图的标题:输入合并图的标题。此标题将出现在 Analysis 窗口左窗格的树视图中。

    2.3.3  分析报告类型

    Analysis提供了非常详尽的分析结果报告。除了前面提到的分析摘要报告(Analysis Summary)外,Analysis还提供了事务活动报告(Activity Report)、事务性能报告(Performance Reports)、HTML与Word报告等三大类报告。

    1.分析摘要报告

    分析摘要报告提供有关执行方案的一般信息。此报告始终存在于树视图中,也可选择Analysis窗口中的“Analysis Summary”选项卡获取此报告。

    摘要报告列出关于方案运行的统计信息,并提供指向下列各图的链接:正在运行的Vuser、吞吐量、每秒点击次数、每秒HTTP响应数、事务摘要和平均事务响应时间,如图2-95所示。

    在Analysis Summary页面底部,显示包含方案的事务数据的表。该数据中包含一个“90 Percent”列,指示90%的事务的最大响应时间。

    图2-95 “分析摘要报告”页面

    2.事务活动报告

    事务活动报告提供关于Vuser数量和方案运行期间执行的事务数量的信息。可用的活动报告有“方案执行报告”、“失败的事务报告”和“失败的Vuser报告”三种。

    (1)Scenario Execution Report(方案执行报告)

    方案执行报告是一种活动报告,提供关于在方案运行期间发生的主要事件的详细信息,其中包括每个Vuser的信息。在报告中可以看到每组Vuser的执行主机名称、就绪时间、开始执行时间、持续时间、终止/结束时状态等,如图2-96所示。

    在分析结果时,方案执行报告主要用于了解用户的整体情况。

    (2)Failed Transaction Report(失败的事务报告)

    失败的事务报告是一种活动报告,提供已完成但失败了的事务的开始时间、结束时间和持续时间的详细信息,如图2-97所示。

    在通过此报告查找到哪些事务在执行期间发生问题后,还可以结合应用程序的日志、数据库变化情况等对问题进一步定位。

    图2-96  方案执行报告

    图2-97  失败的事务报告(按Vuser)

    (3)失败的Vuser报告(Failed Vusers Report)

    失败的Vuser报告是一种活动报告,提供关于方案执行期间处于“错误”、“停止”或“已完成:失败”状态下的所有Vuser的详细信息,如图2-98所示。报告中的“Ready At”和“Running At”与计算机的系统时钟有关。

    图2-98  失败的Vuser报告

    与方案执行报告相比,失败的Vuser报告显示的是出现问题的Vuser的执行情况,可以进一步分析哪些用户出现问题。

    3.事务性能报告

    事务性能报告用于分析Vuser性能和事务时间。可用的性能报告有“数据点”报告、“详细的事务(按Vuser)”报告和“事务性能摘要(按Vuser)”报告三种。

    (1)“数据点”报告

    使用LoadRunner记录自己的分析数据时可以记录外部函数或变量的值。LoadRunner将使用收集的数据创建数据点图和报告。

    “数据点”报告是一种性能报告,它列出每个组的各个Vuser数据点的名称、值以及记录该值的时间,如图2-99所示。

    图2-99 “数据点”报告

    通过报告中的部分数据点,可以了解随机数的取值情况,进而深入分析程序的执行情况。

    (2)“详细的事务(按Vuser)”报告

    “详细的事务(按Vuser)”报告是一种性能报告,提供方案运行期间每个Vuser执行的所有事务的列表,以及每个事务执行时间的详细信息,如图2-100所示。

    图2-100 “详细的事务(按Vuser)”报告

    “详细的事务(按Vuser)”报告详细地描述了用户执行事务的先后顺序以及具体细节。此报告针对某一具体事务还提供如下一些值:

    Ÿ   Start time(起始时间):事务开始时的系统时间。

    Ÿ   End time(结束时间):事务结束时的实际系统时间,包括思考时间和浪费的时间。

    Ÿ   Duration(持续时间):采用以下格式的事务持续时间,时:分:秒:毫秒,该值包括思考时间,但不包括浪费的时间。

    Ÿ   Think time(思考时间):在事务期间发生延迟的Vuser思考时间。

    Ÿ   Wasted time(浪费的时间):不属于事务时间或思考时间的LoadRunner内部处理时间(主要是RTE Vuser)。

    Ÿ   Result(结果):最后的事务状态(“通过”或“失败”)。

    通过详细的事务报告分析人员就能了解每个Vuser的执行细节。

    (3)“事务性能摘要(按Vuser)”报告

    “事务性能摘要(按Vuser)”报告是一种性能报告,显示每个Vuser在方案运行期间执行事务所需的时间。该报告表明事务是否成功,以及每个Vuser的最小、最大和平均时间,如图2-101所示。当方案具有多种不同类型的Vuser,并且需要具体描述每种类型的性能时,通过此报告可以查看每种类型用户的性能。

    图2-101 “事务性能摘要(按Vuser)”报告

    4.HTML与Word报告

    HTML报告的内容与Analysis窗口中显示的报告内容相同。分析摘要报告就是典型的HTML报告。在Analysis窗口中打开结果分析文件,添加或删除图表的操作,以此来确定HTML报告的保存内容。指定报告路径和文件名后即可保存HTML报告。以后打开报告网页即打开该报告。

    在生成的Word报告中,通常以图和表的形式自动汇总并显示测试中的重要数据。此外,它还可以显示和描述当前Analysis会话中的所有图。同样,在Analysis窗口中打开的结果分析文件,通过添加或删除图表的操作,可以确定HTML报告的保存内容。

    单击菜单栏“Reports”>“Microsoft Word Reports”打开报告格式设置对话框,如图2-102所示。

    该对话框有三个选项卡:“格式”、“主内容”和“其他图”。

    (1)“格式”选项卡

    在“格式”选项卡中,可以指定报告的路径和名字,还可以输入报告标题、作者、公司徽标等信息。报告中还包含一些可选项,其含义如下:

    Ÿ   标题页:将封面附加到报告。

    Ÿ   目录:将目录附加到报告,并置于封面之后。

    Ÿ   图详细信息:显示图的详细信息,包括图筛选器和粒度。这些详细信息还显示在图下方的“描述”选项卡中。

    Ÿ   图描述:显示图的简短描述。该描述内容与 Analysis 窗口“Details”(描述)选项卡中显示的描述内容相同。

    Ÿ   度量描述:将各类型监视度量的描述附加在报告附录中。

    (2)“主内容”选项卡

    “主内容”选项卡中提供的选项能够使报告收录最重要性能数据的图表,还可以收录一份高级执行摘要以及方案信息,以提供对该测试的概述,其界面如图2-103所示。报告中包含以下几个选项:

    Ÿ   执行摘要:包括LoadRunner测试高级摘要或总结,适用于高级管理。执行摘要通常将性能数据与企业目标相比较,以非技术性语言说明重要的结果和结论,并提出建议。

     

    图2-102  Word报告“格式”选项卡界面       图2-103  Word报告“主内容”选项卡界面

    Ÿ   方案配置:定义测试的基本架构,包括结果文件的名称、控制台计划程序信息、脚本和运行时设置。

    Ÿ   用户的影响:帮助用户查看Vuser负载对性能时间的总体影响的图,此项功能最适用于分析渐进负载测试。

    Ÿ   每秒点击次数:适用于Web测试,显示在负载测试的每秒期间,Vuser在Web服务器上的点击次数。它可以帮助您根据点击次数来评估Vuser产生的负载。

    Ÿ   服务器性能:显示服务器上资源使用率的摘要图。

    Ÿ   网络延迟:显示计算机之间网络路径的延迟。

    Ÿ   Vuser负载方案:显示负载测试的每秒期间,执行Vuser脚本的Vuser数及其状态。该图有助于确定服务器在特定时刻的Vuser负载。

    Ÿ   事务响应时间:显示在负载测试的每秒期间,执行事务所花费的平均时间。该图帮助您确定服务器性能是否在设定的事务性能可接受时间范围之内。

    Ÿ   术语:对报告中特殊词汇的解释。

    (3)“其他图”选项卡

    “其他图”选项卡中的选项用于设置在报告中收录当前Analysis会话中生成的图,其界面如图2-104所示。

    图2-104  Word报告“其他图”选项卡界面

    在报告中包含以下几个选项:

    Ÿ   图注释:选择该选项,以包括Analysis窗口“用户注释”选项卡中为图输入的文本。

    Ÿ   添加:添加Analysis会话尚未生成的其他LoadRunner图。所选择的图将被生成并添加到Word报告中。

    Ÿ   删除:删除Analysis会话已经生成的其他LoadRunner图。

    Ÿ   向上:可以调整所选定内容的位置,每点击一次向上移动一项。

    Ÿ   向下:可以调整所选定内容的位置,每点击一次向下移动一项。

    Ÿ   选中选定内容:选择所选的一项内容,该项显示在蓝色框中,单击该按钮该项前的复选框显示对号,即为选中。

    Ÿ   取消选中选定内容:选择已选的一项内容,该项显示在蓝色框中,单击该按钮该项前的复选框中对号消失,即取消该内容的选择。

    配置好后单击“OK”按钮,将开始生成Word报告。

  • LoadRunner分析测试结果

    2009-04-22 16:53:53Top 2

     

     LoadRunner分析测试结果

     

    要查找系统瓶颈,就必须分析LoadRunner获取的性能指标数据。在LoadRunner场景运行的同时我们获取了大量的数据,可以根据以下几种方式分析这些数据:

    1.查看Vuser Log文件,这些文件包括了场景运行过程中每个用户的跟踪数据,Vuser Log文件一般放在脚本目录中;

    2.在控制台的输出窗口查看场景的执行过程信息;

    3.使用Analysis模块分析执行结果图表;

    4.使用直接生成的图表查看原始数据——Graph Data或者Raw Data;

    5.让LoadRunner自动生成HTML或Word格式的测试报告,通过报告进行分析。

    LoadRunner的Analysis模块是分析系统的性能指标的一个主要工具,它能够直接打开场景的执行结果文件,将场景数据信息生成相关的图表显示出来。Analysis集成了数据统计分析功能,允许测试员对图表进行比较和合并等多种操作,分析后的图表能够自动生成测试员需要的测试报告文档。

    在运行方案时,数据将存储在结果文件中,扩展名为.lrr。Analysis是处理收集的结果信息并生成图和报告的实用程序。Analysis将活动图的显示信息和布局设置存储在扩展名为.lra的文件中。

    在运行方案时,默认情况下所有Vuser信息将存储在每个Vuser主机(每个运行场景的机器)中。方案执行之后,这些结果会自动进行整理或合并,即将所有主机的结果传输到结果目录中(一般可以使用TD或者其他质量管理工具进行缺陷管理工作,结果目录将因使用的软件和配置情况而异)。通过在控制台窗口中选择““Results”>““Auto Collate Results”(自动整理结果),并清除该选项旁边的复选标记,可以禁用自动整理。要手动整理结果,请选择“Results”>“Collate Results”(整理结果)。如果方案执行后这些结果还没有进行整理,在生成分析数据之前,Analysis将对其进行整理。

    文本框:  
图2-69 “General”选项卡

场景运行完毕,在结果目录下会自动保存一个扩展名为lrr的结果文件,Analysis能够打开这个结果文件,加载该文件时自动处理lrr文件内的结果信息,并自动生成相应的结果图表.

    2.3.1  配置数据选项

    在使用Analysis分析场景结果之前,首先要明确结果文件中收集了哪些信息。默认情况下,各个Vuser的执行结果数据都是存放在各个Vuser所在的机器上的,场景执行结束后,才被系统自动整理合并后放置到结果目录下,LoadRunner是否执行这个整理合并操作是受控制台中的“Auto Collate Results”选项控制的。所以要进行相应配置,下面做一简要介绍。

    选择“Tools”>“Options”,出现配置界面,分别有“General”(常规)、“Result Collection”(结果集合)、“Database”(数据库)和“Web Page Breakdown”(网页细分)四个选项卡。

    1.“General”选项卡(如图2-69所示)

    在此页面可以设置存储和显示的日期格式,一种为欧洲日期格式(dd/mm/yyyy),另一种为美国日期格式(mm/dd/yyyy)。

    如果要选择文件浏览器打开的目录位置,有“Open at most recently used directory”(打开最近一次使用目录位置)和“Open at specified directory”(在指定目录打开文件)两种形式可供选择。

    对于存储临时文件的目录位置,可以设置在Windows 临时目录中,也可以通过输入要存放的目录位置,为保存的临时文件指定存放目录。

    Analysis摘要报告包含一个事务百分比列,默认为90%的事务响应时间(90%是一个统计响应时间的参数,表明该事务所有的运行次数中,90%的次数落在这个响应时间内),此数值如没有特殊要求不用改动。

    2.“Result Collection”选项卡(如图2-70所示)

    通过“Result Collection”选项卡可以配置 Analysis 以生成和显示摘要数据或完整数据。

    图2-70 “Result Setting”选项卡

    “完整数据”指已经过处理的可以在Analysis工具内使用的结果数据,可以存储、筛选和操纵这些数据。“摘要数据”指原始的、未处理的数据。摘要图包含常规信息(如事务名和次数),而且只支持部分筛选选项。

    在“Result Collection”选项卡中,有3项需要配置,分别为“Data Source”(数据源显示情况)、“Data Aggregation”(数据聚合方式)和“Data Time Range”(设置数据时间范围)。

    下面对“Options”对话框中的“Result Setting”选项卡进行配置说明,如图2-70所示。

    首先是选择数据源的数据显示情况,3个选项的含义分别为:

    Ÿ   Generate summary data only(仅生成摘要数据):仅查看摘要数据,Analysis不会处理数据以用于筛选和分组等高级用途。

    Ÿ   Generate complete data only(仅生成完整数据):仅查看经过处理的完整数据,不显示摘要数据。

    Ÿ   Display summary while generating complete data(生成完整数据时显示摘要数据):在处理完整数据的时候,能够查看摘要数据。在处理完整数据之后,查看处理后的完整数据。

    其次是选择数据的聚合方式,如果选择生成完整数据,Analysis将通过内置数据聚合公式或定义的聚合设置来聚合生成的数据。为了减小数据库,缩短在大方案中的处理时间,必须进行数据聚合。

    在“Data Aggregation”部分的设置默认为第一项“Automatically aggregate data to optimize performance”,使用内置数据聚合公式聚合数据、第二个选项仅对Web数据进行聚合“Automatically aggregate Web data only”、还可以自定义聚合的设置,即选择第三个选项“Apply user-defined aggregation”,单击其后面的自定义配置按钮,打开“Data Aggregation Configuration”(数据聚合配置)对话框,进行自定义聚合和粒度设置,如图2-71所示。

    在图2-71所示的对话框中,首先选择要聚合的数据类型,其中列出要聚合数据的图的类型,有事务(响应时间、每秒)、Web(每秒点击次数、吞吐量、每秒页数、HTTP返回代码)、监视器、数据点和脚本错误。在各选项前面的复选框上打钩即为选中。

    然后再选择要聚合的图属性,包括Vuser ID、组名和脚本名,如果不希望聚合失败的Vuser数据,请选择“Do not aggregate failed Vusers”(不聚合失败的Vuser)。

    图2-71  数据集合配置图

    最后对图形的显示粒度进行设置,粒度的单位为秒,最小的粒度是1秒,最大的粒度是图的时间范围的一半。在此设置后,随着图形时间范围的增大,在其他地方可以对粒度进行更改,在后面会对更改粒度的方法进行简要介绍。还可以选择专门指定Web数据的自定义粒度,默认值为5秒。

    确定后,单击“OK”按钮关闭“数据聚合配置”对话框。

    在“Result Setting”选项卡页面中最后一项“Data Time Range”就是设置数据时间范围,默认的范围为“All of the Scenario”(所有方案),即显示方案整个持续时间内的数据。单击“Apply now on active session”按钮后,将当前设置应用到当前会话中。

    3.“Database”选项卡

    默认情况下,LoadRunner 将Analysis结果数据存储在Access 2000数据库中。如果Analysis结果数据超过2GB,建议用户将它存储在SQL Server或MSDE计算机上,此时可以通过如下配置进行,如图2-72所示。

    如果选择SQL Server数据库,则需要配置一下后面的选项。在“Server Name”文本框中选择或输入运行SQL Server/MSDE的计算机的名称。在此,可以勾选“Use Windows intergrated security”(使用Windows集成安全性)复选框,这种情况下将允许用户使用Windows登录,而不必手工指定SQL Server的用户名和密码。

    Ÿ   “Logical storage location”(逻辑存储位置):输入要在其中存储永久和临时数据库文件的SQL Server/MSDE计算机上的共享目录。例如,如果SQL Server的名称是fly,则输入“\\fly\<Analysis数据库>\”。

    图2-72  数据库配置选项

    存储在SQL Server/MSDE计算机上的Analysis结果仅可以在计算机的本地LAN上进行查看。

    Ÿ   “Physical storage location”(物理存储位置):输入与逻辑存储位置对应的SQL Server/MSDE计算机上的真实驱动器和目录路径。例如,如果 Analysis数据库映射到名为fly的SQL Server,并且fly映射到驱动器D,则输入“D:\<Analysis数据库>”。

    如果SQL Server/MSDE和Analysis位于同一台计算机上,则逻辑存储位置和物理存储位置是相同的。

    Ÿ   “Test Parameters”(测试参数):如果用于Access,则允许用户连接到Access数据库并验证计算机上的“列表分隔符”注册表选项与该数据库计算机上的是否相同。

    如果用于SQL Server/MSDE,则允许用户连接到SQL Server/MSDE计算机,并查看指定的共享目录是否位于服务器上,以及在该共享服务器目录上是否有写入权限。如果有,Analysis会将共享的服务器目录与物理服务器目录同步。

    Ÿ   “Compact Database”(压缩数据库):在配置和设置Analysis会话时,包含结果的数据库可能变得零碎。因此,可能使用过多的磁盘空间。通过“Compact database”(压缩数据库)按钮可以修复和压缩这些结果并且优化Access数据库。

    4.“Web Page Breakdown”选项卡(如图2-73所示)

    在此选项卡中选择URL的形式,可以选择单独显示每个URL(Display individual URLs)或者显示合并URL的平均值(Display an average of merged URLs),即将来自同一脚本步骤的URL合并成一个URL,然后使用合并(平均)数据点显示它。测试人员可以根据实际需求做相应的设置。

    图2-73 “Web Page Breakdown”选项卡

    文本框:  
图2-74  打开图列表

2.3.2  图表分析说明

    当把各种数据结果生成分析图表时,为了更好地对结果进行分析,需要对这些分析图表进行筛选,合并或者关联,便于测试人员得到想要的数据,所以下面介绍几个常用的分析图表的技巧。

    1.打开图。除了系统提示的默认的图表外,测试人员还可以查看其他包含数据的图表。方法是:

    在如图2-74的图表列表中双击“New Graph”,弹出“Open a new Graph”对话框,对话框中所有名称为蓝色的图表均为包含数据的图表,如图2-75所示。

    左边窗口显示能够获得数据的图形列表,右边显示在左边窗口列表中所选择图形的基本信息。选中要打开的图形,单击“Open Graph”按钮,将在数据图列表中显示出该图,选择完毕后,单击“Close”按钮关闭此对话框。

    在整个分析结果界面分为三部分,如图2-76所示。在图2-76所示页面中,上面左半部分为要显示的数据名称列表,右半部分为整个场景数据的图形显示,下面则显示运行监控数据。每打开一个新图,在数据名称列表中都将添加对应的指标。

    图2-75  打开一个新图

    图2-76  分析结果页面

    2.在图形显示的区域单击鼠标右键将弹出图2-77所示的菜单,下面将对此菜单所提供的功能做一下介绍。

    (1)设置筛选条件(Set Filter/Group By)

    选择“View”(视图)>“Set Filter/Group By”(设置筛选器/分组方式),出现筛选器的对话框,例如打开事务摘要的筛选器,如图2-78所示。

       

    图2-77  图形区域的右键菜单                      图2-78  图形设置

    在图2-78所示对话框中为“Criteria”(条件)和“Values”(值)字段选择值。

    Ÿ   Criteria:选择“=”(等号)或“<>”(不等号)。

    Ÿ   Values:从“Values”列表中选择一个值。筛选条件分为三种值类型(离散、连续和基于时间)。

    ¡ 离散值是一个明确的整数值,例如“事务名”或“Vuser ID”。要求在已经包含在筛选器中的固有值中选取,不可以自定义该数值。

    注释:可以使用“Transaction Hierarchical Path”(事务父树路径)条件来筛选子事务。选择<事务名>可以筛选此事务的子事务;选择“无”可以筛选父事务;选择“未知”可以筛选所有父级未知的子事务(这种情况通常由会话期间的嵌套错误引起)。

    ¡ 连续值是一个变量维度,可以在最小值和最大值范围限制内取任何值,例如“事务响应时间”。可以在“设置维度信息”对话框中设置每个度量的维度信息。

    ¡ 基于时间的值是基于相对于方案开始时间的值。“Scenario Elapsed Time”(方案已用时间)是使用基于时间值的唯一条件。可以在“Scenario Elapsed Time”对话框中指定基于时间的值。

    Ÿ   Group By(分组方式):使用这些设置来对图显示按组排序。

    Ÿ   Available groups(可用组):选择排序所依据的组,单击右箭头可以将该组加入到“选定组”内。

    Ÿ   Selected groups(选定组):显示所有选定组的列表,结果将按这些组排序。要删除某个组,可以选择该组并单击左箭头。要更改结果分组的顺序,请选择要移动的组,并单击向上或向下箭头,直到它们按所需顺序排列。

    Ÿ   Set Default(设置默认值):设置每个筛选条件的默认条件和值。

    Ÿ   Cancel(全部清除):删除用户在对话框中输入的所有信息。

    文本框:  
图2-79  设置时间粒度

(2)Set Granularity(设置或更改粒度)

    在图2-77所示的菜单单击“Set Granularity”选项,将出现图2-79所示的对话框,在此框可设置时间粒度。

    通过更改X轴的粒度(比例),可以使图便于阅读和分析。为确保可读性和清晰性,Analysis 在大于等于500秒的范围内自动调整图的最小粒度。如果要使数据库减小,可增加粒度。如果要重点关注更详细的结果,可减少粒度。

    在图2-80中,使用不同的粒度(1、5,10)来显示每秒点击次数,其中Y轴表示在粒度间隔内的每秒点击次数。对于粒度1,Y轴显示方案中每1秒期间的每秒点击次数(如图2-80(a)所示)。对于粒度5,Y轴显示方案中每5秒期间的每秒点击次数(如图2-80(b)所示)。

     

    (a)                                       (b)

    图2-80  不同的粒度每秒点击次数图

    (c)

    图2-80  不同的粒度每秒点击次数图(续)

    文本框:  
图2-81  选择查看的原始数据时间段

从图2-80可以看出,粒度越低,结果越详细。例如,在图2-80中使用较低的粒度,可以看到没发生点击的间隔。使用更高粒度有助于研究整个方案中的总体Vuser行为。通过使用更高粒度来查看同一个图,可以很容易地发现,总体上大约平均每秒点击1次。

    (3)View Raw Data(查看原始数据)

    在图2-77所示的右键菜单中单击“View Raw Data”,将弹出“Raw Data”对话框。

    首先设置显示时间范围,如图2-81所示。单击“OK”按钮确定后,将在分析结果页面的数据列表区域,根据所选择的时间范围显示出原始数据,如图2-82所示。

    图2-82  显示的原始数据

    (4)Auto Correlate(自动关联图)

    在图2-77所示的右键菜单中选择“Auto Correlate”,打开“Auto Correlate”(自动关联)对话框,如图2-83所示,图中显示的数据范围为选定的度量,如不选定则显示整个运行结果的度量。

    通过“Auto Correlate”对话框中的“Time Range”(时间范围)选项卡,可以为相关联的度量图指定方案时间范围。

    首先要在“Measurement to Correlate”下拉列表中选择要关联的度量,单击“Display”按钮显示关联整个方案时间范围的值。在“Suggest Time Range by”下拉列表框中可以选择三种时间范围的方式(即Analysis自动划分方案中度量的最重要时间段),依次为:

    Ÿ   趋势:选择关联度量值变化趋势相对稳定的一段时间范围。

    Ÿ   功能:选择关联度量值变化相对稳定时间段内,选择其中一小段大体与整个趋势相似的时间范围。

    Ÿ   最佳:选择关联度量值发生明显变化趋势的一段时间范围。

    图2-83  自动关联时间范围

    指定方案时间范围也有两种方式,一种是手动填写具体的开始和结束时间,另一种是使用绿色和红色的垂直拖动条来指定起止时间。

    通过“Auto Correlate”对话框中的“Correlation Options”(关联选项)选项卡,可以设置要关联的图、数据间隔和输出选项,如图2-84所示。

    首先,要在左边的窗口(Select Graphs for Correlation)中选择希望其度量与选定度量相关联的图。然后,在“Data Interval”单组合框中选择计算关联度量轮询之间的间隔,可以设置为自动值(Automatic),还可以输入一个具体的值。最后,在“Output”组合框中选择显示输出的级别。

    图2-84  设置自动关联选项

    (5)Comments(注释添加与编辑)

    首先,选择要添加注释的位置,选择图2-77中“Comments”菜单下的“Add Comment”(添加注释)选项,打开“Add Comments”对话框,如图2-85所示。

    在“Text”框中输入要添加注释的内容。在“Add Comments”对话框中可以选择插入注释的位置及设置注释框的大小,还可以通过Format(格式)、Text(文本)、Gradient(渐变)和Shadow(阴影)等选项卡,对所添加的注释进行编辑、调整和格式化。

    如果想修改或删除注释,请选中该注释,然后选择“Comments”>菜单中的“Edit Comments”选项,打开“Edit Comments”对话框,如图2-86所示。

                  

    图2-85  添加注释                               图2-86  编辑注释

    对注释进行编辑和删除,编辑完后关闭此对话框即可。

    3.在图2-75所示的数据列表区域单击鼠标右键将弹出如图2-87所示的菜单,下面简单介绍此菜单上的各选项。

    (1)Show:显示图中某个度量。

    (2)Hide:隐藏图中某个度量。

    (3)Show only selected:只突出显示所选择的度量。

    (4)Show all:显示图中所有可用的度量。

    (5)Configure measurements(设置度量):单击此项将打开“Measurement Options”(度量选项)对话框,如图2-88所示,通过该对话框可以配置度量选项(例如,设置颜色和度量比例)。

                   

    图2-87  数据列表右键菜单                         图2-88  度量选项

    在“Measurement”下拉列表内选择要配置的度量,还可以单击“Change Color”按钮改变其显示的颜色,在下面的“Scale”组合框中可以设置度量的比例,其选项依次为:

    Ÿ   Set measurement scale to(将度量比例设置为X):设置度量的比例。

    Ÿ   Set automatic scale for all measurements(为所有度量设置自动比例):使用优化的自动比例来显示图中每个度量。

    Ÿ   Set scale 1 for all measurements(为所有度量设置比例=N):将图中所有度量的比例设置为1。

    Ÿ   View measurement trends for all measurements(查看所有度量的度量趋势):按照以下公式对图中Y轴的值归一化:

    新Y值=(以前的Y值-以前值的平均值)/以前值的STD。

    (6)Show measurement description(显示度量描述):单击此项将弹出“Measurement Description”(度量描述)对话框,其中包括名称、监视器类型以及选定度量的描述,如图2-88所示。

    (7)Animate selected line(激活选定线):将选定度量显示为闪烁线。当选中此菜单项后,每当选择一个度量值后,该线形的显示有一个从粗到细的过程。

    图2-89  度量描述

    (8)Configure columns(配置列):选择此菜单将打开“Legend Column Options”(图例列选项)对话框,如图2-90所示,通过该对话框可以配置图2-76页面中“Legend”选项卡中显示的列。

    图2-90  图例列选项

    在“Legend Columns Options”对话框中可以选择要查看的列、每列的宽度以及列的排序方法。在左边的窗口(Available Columns)中显示可用于选定度量的列。默认情况下,将显示所有可用列。在右边显示所选定列的名称及长度,还可以对宽度进行修改。在“Sort By”组合框中可选择所选列的排序方式:升序(Ascending)和降序(Descending)。但在排序前应先选择度量数据进行排序所依据的列。

    4.合并图

    使用Analysis可以将同一方案的两个图的结果合并到一个图中。通过合并,可以一次比较几个不同的度量。例如,可以制作一个合并图,以已用时间的函数的形式显示网络延迟和正在运行的Vuser的数量。

    要合并图,这些图的X轴的度量单位必须相同。例如,可以合并“Web吞吐量和每秒点击次数”图,因为它们具有公用的X轴:方案的已用时间。

    首先创建合并图:在树视图中选择一个图或选择其选项卡,将其激活。选择“视图”>“合并图”,或者单击“合并图”。将打开“合并图”对话框,显示活动图的名称。

    显示X轴与当前图相同的活动图,Analysis提供三类合并方式:

    (1)叠加:重叠共用同一X轴的两个图的内容。合并图左侧的Y轴显示当前图的值。右侧的Y轴显示已合并图的值。叠加图的数量没有限制。叠加两个图时,这两个图的Y轴分别显示在图的右侧和左侧。覆盖两个以上的图时,Analysis只显示一个Y轴,相应地缩放不同的度量。

    在图2-92中,“吞吐量-每秒点击次数”图被另一个图叠加。

    (2)平铺:查看在平铺布局(一个图位于另一个之上)中共用同一个X轴的两个图的内容。在图2-93中,“吞吐量-每秒点击次数”图将被平铺(一个在另一个之上)。

    (3)关联:绘图时区分两个图彼此的Y轴。活动图的Y轴变为合并图的X轴。被合并图的Y轴作为合并图的Y轴。

    在图2-94中,“吞吐量-每秒点击次数”图彼此关联。X轴显示每秒的字节数(“吞吐量”度量),Y轴显示每秒的点击次数。

              

    图2-91  合并图                      图2-92  叠加的“吞吐量-每秒点击数”图

             

    图2-93  平铺的“吞吐量-每秒点击数”图                    图2-94  合并关联

    合并图的标题:输入合并图的标题。此标题将出现在 Analysis 窗口左窗格的树视图中。

    2.3.3  分析报告类型

    Analysis提供了非常详尽的分析结果报告。除了前面提到的分析摘要报告(Analysis Summary)外,Analysis还提供了事务活动报告(Activity Report)、事务性能报告(Performance Reports)、HTML与Word报告等三大类报告。

    1.分析摘要报告

    分析摘要报告提供有关执行方案的一般信息。此报告始终存在于树视图中,也可选择Analysis窗口中的“Analysis Summary”选项卡获取此报告。

    摘要报告列出关于方案运行的统计信息,并提供指向下列各图的链接:正在运行的Vuser、吞吐量、每秒点击次数、每秒HTTP响应数、事务摘要和平均事务响应时间,如图2-95所示。

    在Analysis Summary页面底部,显示包含方案的事务数据的表。该数据中包含一个“90 Percent”列,指示90%的事务的最大响应时间。

    图2-95 “分析摘要报告”页面

    2.事务活动报告

    事务活动报告提供关于Vuser数量和方案运行期间执行的事务数量的信息。可用的活动报告有“方案执行报告”、“失败的事务报告”和“失败的Vuser报告”三种。

    (1)Scenario Execution Report(方案执行报告)

    方案执行报告是一种活动报告,提供关于在方案运行期间发生的主要事件的详细信息,其中包括每个Vuser的信息。在报告中可以看到每组Vuser的执行主机名称、就绪时间、开始执行时间、持续时间、终止/结束时状态等,如图2-96所示。

    在分析结果时,方案执行报告主要用于了解用户的整体情况。

    (2)Failed Transaction Report(失败的事务报告)

    失败的事务报告是一种活动报告,提供已完成但失败了的事务的开始时间、结束时间和持续时间的详细信息,如图2-97所示。

    在通过此报告查找到哪些事务在执行期间发生问题后,还可以结合应用程序的日志、数据库变化情况等对问题进一步定位。

    图2-96  方案执行报告

    图2-97  失败的事务报告(按Vuser)

    (3)失败的Vuser报告(Failed Vusers Report)

    失败的Vuser报告是一种活动报告,提供关于方案执行期间处于“错误”、“停止”或“已完成:失败”状态下的所有Vuser的详细信息,如图2-98所示。报告中的“Ready At”和“Running At”与计算机的系统时钟有关。

    图2-98  失败的Vuser报告

    与方案执行报告相比,失败的Vuser报告显示的是出现问题的Vuser的执行情况,可以进一步分析哪些用户出现问题。

    3.事务性能报告

    事务性能报告用于分析Vuser性能和事务时间。可用的性能报告有“数据点”报告、“详细的事务(按Vuser)”报告和“事务性能摘要(按Vuser)”报告三种。

    (1)“数据点”报告

    使用LoadRunner记录自己的分析数据时可以记录外部函数或变量的值。LoadRunner将使用收集的数据创建数据点图和报告。

    “数据点”报告是一种性能报告,它列出每个组的各个Vuser数据点的名称、值以及记录该值的时间,如图2-99所示。

    图2-99 “数据点”报告

    通过报告中的部分数据点,可以了解随机数的取值情况,进而深入分析程序的执行情况。

    (2)“详细的事务(按Vuser)”报告

    “详细的事务(按Vuser)”报告是一种性能报告,提供方案运行期间每个Vuser执行的所有事务的列表,以及每个事务执行时间的详细信息,如图2-100所示。

    图2-100 “详细的事务(按Vuser)”报告

    “详细的事务(按Vuser)”报告详细地描述了用户执行事务的先后顺序以及具体细节。此报告针对某一具体事务还提供如下一些值:

    Ÿ   Start time(起始时间):事务开始时的系统时间。

    Ÿ   End time(结束时间):事务结束时的实际系统时间,包括思考时间和浪费的时间。

    Ÿ   Duration(持续时间):采用以下格式的事务持续时间,时:分:秒:毫秒,该值包括思考时间,但不包括浪费的时间。

    Ÿ   Think time(思考时间):在事务期间发生延迟的Vuser思考时间。

    Ÿ   Wasted time(浪费的时间):不属于事务时间或思考时间的LoadRunner内部处理时间(主要是RTE Vuser)。

    Ÿ   Result(结果):最后的事务状态(“通过”或“失败”)。

    通过详细的事务报告分析人员就能了解每个Vuser的执行细节。

    (3)“事务性能摘要(按Vuser)”报告

    “事务性能摘要(按Vuser)”报告是一种性能报告,显示每个Vuser在方案运行期间执行事务所需的时间。该报告表明事务是否成功,以及每个Vuser的最小、最大和平均时间,如图2-101所示。当方案具有多种不同类型的Vuser,并且需要具体描述每种类型的性能时,通过此报告可以查看每种类型用户的性能。

    图2-101 “事务性能摘要(按Vuser)”报告

    4.HTML与Word报告

    HTML报告的内容与Analysis窗口中显示的报告内容相同。分析摘要报告就是典型的HTML报告。在Analysis窗口中打开结果分析文件,添加或删除图表的操作,以此来确定HTML报告的保存内容。指定报告路径和文件名后即可保存HTML报告。以后打开报告网页即打开该报告。

    在生成的Word报告中,通常以图和表的形式自动汇总并显示测试中的重要数据。此外,它还可以显示和描述当前Analysis会话中的所有图。同样,在Analysis窗口中打开的结果分析文件,通过添加或删除图表的操作,可以确定HTML报告的保存内容。

    单击菜单栏“Reports”>“Microsoft Word Reports”打开报告格式设置对话框,如图2-102所示。

    该对话框有三个选项卡:“格式”、“主内容”和“其他图”。

    (1)“格式”选项卡

    在“格式”选项卡中,可以指定报告的路径和名字,还可以输入报告标题、作者、公司徽标等信息。报告中还包含一些可选项,其含义如下:

    Ÿ   标题页:将封面附加到报告。

    Ÿ   目录:将目录附加到报告,并置于封面之后。

    Ÿ   图详细信息:显示图的详细信息,包括图筛选器和粒度。这些详细信息还显示在图下方的“描述”选项卡中。

    Ÿ   图描述:显示图的简短描述。该描述内容与 Analysis 窗口“Details”(描述)选项卡中显示的描述内容相同。

    Ÿ   度量描述:将各类型监视度量的描述附加在报告附录中。

    (2)“主内容”选项卡

    “主内容”选项卡中提供的选项能够使报告收录最重要性能数据的图表,还可以收录一份高级执行摘要以及方案信息,以提供对该测试的概述,其界面如图2-103所示。报告中包含以下几个选项:

    Ÿ   执行摘要:包括LoadRunner测试高级摘要或总结,适用于高级管理。执行摘要通常将性能数据与企业目标相比较,以非技术性语言说明重要的结果和结论,并提出建议。

     

    图2-102  Word报告“格式”选项卡界面       图2-103  Word报告“主内容”选项卡界面

    Ÿ   方案配置:定义测试的基本架构,包括结果文件的名称、控制台计划程序信息、脚本和运行时设置。

    Ÿ   用户的影响:帮助用户查看Vuser负载对性能时间的总体影响的图,此项功能最适用于分析渐进负载测试。

    Ÿ   每秒点击次数:适用于Web测试,显示在负载测试的每秒期间,Vuser在Web服务器上的点击次数。它可以帮助您根据点击次数来评估Vuser产生的负载。

    Ÿ   服务器性能:显示服务器上资源使用率的摘要图。

    Ÿ   网络延迟:显示计算机之间网络路径的延迟。

    Ÿ   Vuser负载方案:显示负载测试的每秒期间,执行Vuser脚本的Vuser数及其状态。该图有助于确定服务器在特定时刻的Vuser负载。

    Ÿ   事务响应时间:显示在负载测试的每秒期间,执行事务所花费的平均时间。该图帮助您确定服务器性能是否在设定的事务性能可接受时间范围之内。

    Ÿ   术语:对报告中特殊词汇的解释。

    (3)“其他图”选项卡

    “其他图”选项卡中的选项用于设置在报告中收录当前Analysis会话中生成的图,其界面如图2-104所示。

    图2-104  Word报告“其他图”选项卡界面

    在报告中包含以下几个选项:

    Ÿ   图注释:选择该选项,以包括Analysis窗口“用户注释”选项卡中为图输入的文本。

    Ÿ   添加:添加Analysis会话尚未生成的其他LoadRunner图。所选择的图将被生成并添加到Word报告中。

    Ÿ   删除:删除Analysis会话已经生成的其他LoadRunner图。

    Ÿ   向上:可以调整所选定内容的位置,每点击一次向上移动一项。

    Ÿ   向下:可以调整所选定内容的位置,每点击一次向下移动一项。

    Ÿ   选中选定内容:选择所选的一项内容,该项显示在蓝色框中,单击该按钮该项前的复选框显示对号,即为选中。

    Ÿ   取消选中选定内容:选择已选的一项内容,该项显示在蓝色框中,单击该按钮该项前的复选框中对号消失,即取消该内容的选择。

    配置好后单击“OK”按钮,将开始生成Word报告。

  • 软件测试中服务器稳定性测试方法(摘录)

    2009-05-21 12:38:26

    软件测试中服务器稳定性测试方法 - 51Testing软件测试网-中国软件测试人的精神家园
    http://www.51testing.com/html/77/n-81777.html
  • 测试相关语句

    2009-02-01 00:00:12

    .静态测试:Non-Execution-Based Testing或Static testing  代码走查:Walkthrough
      代码审查:Code Inspection 
      技术评审:Review
    2.动态测试:Execution-Based Testing
    3.白盒测试:White-Box Testing
    4.黑盒测试:Black-Box Testing
    5.灰盒测试:Gray-Box Testing
    6.软件质量保证SQA:Software Quality Assurance
    7.软件开发生命周期:Software Development Life Cycle 
    8.冒烟测试:Smoke Test
    9.回归测试:Regression Test
    10.功能测试:function..Testing
    11.性能测试:Performance Testing
    12.压力测试:Stress Testing
    13.负载测试:Volume Testing
    14.易用性测试:Usability Testing
    15.安装测试:Installation Testing
    16.界面测试:UI Testing
    17.配置测试:Configuration Testing 
    18.文档测试:Documentation Testing
    19.兼容性测试:Compatibility Testing
    20.安全性测试:Security Testing
    21.恢复测试:Recovery Testing
    22.单元测试:Unit Tes
    23.集成测试:Integration Test
    24.系统测试:System Test
    25.验收测试:Acceptance Test
    26.测试计划应包括:
      测试对象:The Test Objectives,
      测试范围: The Test Scope, 
      测试策略: The Test Strategy 
      测试方法: The Test Approach, 
      测试过程: The test procedures, 
      测试环境: The Test Environment, 
      测试完成标准:The test Completion criteria
      测试用例:The Test Cases
      测试进度表:The Test Schedules
      风险:Risks 
    27.主测试计划:a master test plan
    28.需求规格说明书:The Test Specifications
    29.需求分析阶段:The Requirements Phase 
    30.接口:Interface
    31.最终用户:The End User
    31.正式的测试环境:Formal Test Environment
    32.确认需求:Verifying The Requirements
    33.有分歧的需求:Ambiguous Requirements
    34.运行和维护:Operation and Maintenance. 
    35.可复用性:Reusability
    36.可靠性: Reliability/Availability
    37.电机电子工程师协会IEEE:The Institute of Electrical and Electronics Engineers)  
    38.要从以下几方面测试软件:
      正确性:Correctness  
      实用性:Utility 
      性能:Performance  
      健壮性:Robustness
      可靠性:Reliability

    关于Bugzilla:
    1.Bug按严重程度(Severity)分为:
      Blocker:阻碍开发和/或测试工作
      Critical:死机,丢失数据,内存溢出
      Major:较大的功能缺陷
      Normal:普通的功能缺陷
      Minor:较轻的功能缺陷
      Trivial:产品外观上的问题或一些不影响使用的小毛病,如菜单或对话框中的文字拼写或字体问题等等
      Enhancement:建议或意见
    2.Bug按报告状态分类(Status)
      待确认的(Unconfirmed)  
      新提交的(New)
      已分配的(Assigned)  
      问题未解决的(Reopened)
      待返测的(Resolved)  
      待归档的(Verified)
      已归档的(Closed)
    3.Bug处理意见(Resolution)
      已修改的(Fixed)
      不是问题(Invalid)
      无法修改(Wontfix)
      以后版本解决(Later)
      保留(Remind)
      重复(Duplicate)
      无法重现(Worksforme)
  • 测试相关英语

    2009-01-29 00:58:59

    1) Clicking a button on the toolbar, It poped up an error message.

    单击工具栏上的一个按钮,一个错误消息弹出;

    The mobile was restarted after sending 10 pieces of SMS.

    发送10条消息后,手机自动重起;

     

    2) Being a tester, you should be very patient to your testing work.

    作为一名测试员,你应该对测试工作十分耐心;
    It’s unable to send an MMS with a picture over 1MB in size.

    无法将超过1MB 的图片插入彩信,并发送出去。

     

    3) BIOS ——基本输入输出系统                  

       OS  ——操作系统

       GUI ——图形用户界面                              

       GSM  ——全球移动通信系统

       GPRS ——通用分组无线业务                 

       ROM ——只读存储器

       POP——邮局协议,用于电子邮件的接收   

       SMTP —— 简单邮件传输协议

       java scrīpt ——java                             

       ASAP ——加速SAP软件实施的一种方法和工具   

       RAM ——随机存储器

     

    4) If “OK” button is clicked, this window will be closed.

    The USB communication is lost when the new USB device is connected.

    The “COM1” port is still occupied even if user removes the COM1

    When user inputs an incorrect password, the software cannot forbid user to login.

     

    译文:如果点击确定,这个窗口将被关闭。
    译文:当连接上新的USB设备时,USB通讯信息丢失。
    译文:即使用户移除COM1端口,COM1端口仍旧被占用。
    译文:当用户输入错误的密码,该软件不能禁止用户登录。

     

    5) About Requirements

    A requirements document should be complete, consistent, correct, and unambiguous. One step is to validate the requirements against the project/product objectives (i.e. the statement of “why” the project is being done).This ensures that the right set of functions is being defined.

     

    关于需求
    一个需求文档应该是完整的,前后一致的,正确的,清楚地。其中一个步骤就是要使用项目/产品目标验证需求(也就是,“为什么”项目完成了?)。这样可以保证正确的功能集被定义。

     

    6) Don’t forget the User!

    Developers often design for what they know, not what the users know. This age-old problem occurs in many others areas of software development, such as testing, documentation, and the like. It is even more pernicious in the interface because it immediately makes the user feel incapable of using the product. Avoid this error diligently.

     

    不要忘记用户!
    开发员经常设计适合于他们自己所知道的,而不适合于用户所知道的(软件产品)。这个古老的问题发生在软件开发的许多其它领域,例如测试,文档,诸如此类等。界面上的此类问题甚至更加有害,因为用户立刻就会感觉到他们无法使用这个产品。务必持续的避免这种错误。

     

     

  • 新手上路

    2009-01-29 00:46:57

    今天刚刚在51testing安家,新手上路,多多指教!

数据统计

  • 访问量: 4551
  • 日志数: 6
  • 图片数: 2
  • 建立时间: 2009-01-29
  • 更新时间: 2009-05-21

RSS订阅

Open Toolbar