文档测试

1、文档范围

¨         用户文档：用户手册

              操作手册

              维护修改建议

¨         开发文档：软件需求说明书

              数据库设计说明书

              概要设计说明书

              详细设计说明书

              可行性研究报告

¨         管理文档：项目开发计划

              测试计划

              测试报告

              开发进度月报

              开发总结报告

2、用户文档测试要点

读者群、术语、正确性、完整性、一致性、易用性、图表与界面截图、样例和示例、语言、印刷和包装

3、针对用户手册的测试

¨         准确的按照手册描述使用程序

¨         尝试每一条建议

¨         检查每条陈述

¨         查找容易误导用户的内容

4、针对在线帮助测试

准确性、帮助索引、超链接、链接的意义、帮助的风格、程序的可靠性

网络测试

1、网络测试指标

TCP/IP网络检查指标：吞吐量、丢包率、延时、背靠背性能

背靠背：检验被测设备能够在帧和帧间隔为最小间隔（以太网情况下是96bit，也就是线速）情况下，一次能够转发的最多的数据帧。

2、网络测试类型

网络可靠性测试、网络可接受性测试、网络瓶颈测试、网络容量规划测试、网络升级测试、网络功能/特性测试、网络吞吐量测试、网络响应时间测试、衰减测试、网络配置规模测试、网络设备评估测试

安全测试

1、测试内容

¨         用户认证机制：数字证书、智能卡、双重认证、安全电子交易SET协议

¨         加密机制

¨         安全防护策略：安全日志、入侵检测、隔离防护（隔离网和防火墙）、漏洞扫描

¨         数据备份与恢复手段：

存储设备（磁盘列阵、磁带机、光盘、SAN设备）

        存储优化（DAS、NAS、SAN）

        存储保护（磁盘列阵、双机容错、集群、备份与恢复）

        存储管理（数据库备份与恢复、文件与卷管理、复制、SAN管理）

¨         防病毒系统

2、安全防护体系7层次

¨         实体安全：基础设施物理安全

¨         平台安全：网络平台、计算机操作系统、基础通用平台安全

¨         数据安全：系统数据机密性、完整性

¨         通信安全：系统之间数据通信和会话访问不被非法侵犯

¨         应用安全：业务逻辑访问控制、业务交往不可抵赖性、业务数据真实性、业务实体身份鉴别

¨         运行安全：对系统安全的动态维护和保障

¨         管理安全：对相关人员、技术和操作进行管理

3、安全测试方法

¨         功能验证

¨         漏洞扫描：自动检测远程或本地主机安全性漏洞

主机漏洞扫描器：在本地运行检测系统漏洞

网络漏洞扫描器：在远程检测目标网络和主机系统漏洞

¨         模拟攻击试验

¨         侦听技术

4、软件产品安全测试

侧重方面：用户对数据或业务功能的访问、数据存储、数据通信的远程安全控制

1）用户管理和访问控制

¨         用户权限控制：注意是否采用三层架构的管理模式、用户名是否唯一

¨         操作系统安全性的测试：

是否关闭或卸载了不必要的服务和程序；是否存在不必要的账户；权限设置是否合理；安装相应的安全补丁；操作系统日志管理。

¨         数据库权限测试

超级用户口令不为空或默认口令；数据库中应用软件用户权限和口令的表哥加密存储；开发人员设置复杂密码。

2）通信加密（VPN、对称加密算法、非对称加密算法、HASH算法）

对称加密和非对称加密包括RSA（非对称加密、可用于数字签名、加密速度慢）、DSA（数字签名算法）、DES（对称加密、加密速度快）等

3）安全日志测试

记录所有用户访问系统的操作内容包括：用户名、登录时间、浏览数据动作、修改数据动作、删除数据库动作、退出时间、登录IP等。

测试检查日志完整性和正确性、是否是由了智能分析和进行日志统计。

5、计算机信息系统安全保护等级

¨         用户自主保护级：普通内联网用户

¨         系统审计保护级：商务保密非重要单位

¨         安全标记保护级：国家机关、金融机构、通信、交通

¨         结构化保护级：中央国家机关、社会应急服务、尖端科技企业、国防

¨         访问验证保护级：国防关键部门

兼容测试

1、硬件兼容测试

¨         最低配置是否能满足系统运行的需要

¨         推荐配置下系统响应速度

¨         考察软件对运行硬件环境有误特殊说明

¨         能否在多种硬件配置下运行，且满足设计要求

2、软件兼容测试

¨         与操作系统的兼容性（Windows、Unix、Linux、Macintosh）

¨         与数据库的兼容性（完整性测试、应用系统测试、性能测试）

¨         与中间件的兼容性

¨         与浏览器的兼容性

¨         与其他软件的兼容性（支持软件、同类软件、非同类软件）

3、数据兼容测试

¨         不同数据格式的兼容性

¨         XML符合性

4、平台化软件兼容测试

¨         跨硬件平台能力

¨         跨操作系统能力

¨         支持多种数据库系统

¨         客户端兼容性

¨         数据兼容性

几乎覆盖所有软硬件测试的全部领域

5、新旧系统数据迁移测试

数据迁移三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。

易用性测试

1、安装测试

¨         安装手册评估

¨         安装自动化程度测试

¨         安装选项和设置的测试

¨         安装过程的中断测试

¨         安装顺序测试

¨         多环境安装测试

¨         安装的正确性测试

¨         修复安装测试与卸载测试

2、功能易用性测试

¨         业务符合性

¨         功能制定性

¨         业务模块集成度

¨         数据共享能力：一次输入多处应用

¨         约束性：流程业务的前后关系

¨         交互性：用户操作的可见性和系统对用户的反馈

¨         错误提示

3、用户界面测试

分为整体界面测试和界面元素测试

¨         界面整体测试指：规范性测试、一致性测试、合理性测试、界面定制性测试

¨         界面元素测试指：窗口测试、菜单测试、图标测试、鼠标测试、文字测试

4、辅助系统测试

¨         帮助测试：前后一致性、内容完整性、可理解性、方便性。

¨         导向测试：导向是否正确、导向连接是否存在、是否每步有导向说明、导向是否一致、导向是否直观

¨         信息提示：提示信息是否可理解；对重要破坏性的命令时候有确认措施；信息是否具有判断色彩；信息提示是否具有统一标记颜色等（风格一致）

可靠性测试

1、 可靠性定义：

¨         可靠性：产品在规定的条件下和规定的时间内完成规定功能的能力。

（可靠性分为固有可靠性和使用可靠性）

¨         软件可靠性：在规定的条件下和规定的时间内，软件不引起系统失效的概率；在规定的时间周期内，在所述条件下程序执行所要求的功能的能力。

2、 软件可靠性的定量描述

¨         规定时间（自然时间、运行时间、执行时间－CPU执行程序时间总和）

度量可靠性用使用时间比较准确

¨         失效概率：F（0）=0，软件运行初始时刻为0

              F（t）在（0，正无穷）单调递增

              F（正无穷）=1，失效概率在运行时间不断增长时趋向1

¨         可靠度：软件系统中规定的条件下和规定的时间内不发生失效的概率

            R（t）=1- F（t）

¨         失效强度：f（t）=F’（t）

3、 软件可靠性测试目的

¨         发现软件系统中需求、设计、编码、测试、实施等方面的各种缺陷

¨         为软件的使用和维护提供可靠性数据

¨         确认软件是否达到可靠性的定量要求

4、 计算

串联系统的失效率＝n*F(t)

串联系统的可靠度＝R(t)的n次方

 

查看(694) 评论(0) 收藏 分享 管理

1、Web应用设计测试

根据Web应用构架分为总体构架测试、客户端设计测试、服务器端设计测试

¨         总体构架测试：采用瘦客户端或胖胖客户端是否适合需求

                  确定Web构架的组成部分是否满足需求

                  服务器配置及分布是否满足需求

¨         客户端设计测试：功能设置的测试

                    信息组织结构设计的测试（确保发布的信息按功能主题分类、直观）

                    页面设计测试（一致性、多种浏览器、页面命名体系、布局、导航）

¨         服务器端设计测试：容量规划测试（点击率、延迟和流量、服务器资源消耗）

                      安全系统设计测试（安全策略、加密技术、防火墙、防毒体系）

                      数据库设计测试

2、Web开发测试

¨         代码测试：代码分析、链接测试、框架测试、表格测试、图形测试

¨         组件测试：表单测试、Cookies测试、脚本测试、CGI测试、ASP测试、ActiveX控件测试

¨         Junit单元测试

3、Web运行测试

¨         功能测试：考虑到Web特点还需注意客户端选择、浏览器配置和客户端显示设置

¨         易用性测试：界面测试、辅助功能测试、图形测试

¨         压力负载测试：

一般压力测试包含如下步骤：

²        确定交易执行响应时间

²        估计Web系统能够承受的最大并发用户数量

²        模拟用户请求，逐步增加模拟用户直到系统不能承受为止

²        如果没有达到需求，应该优化这个Web程序

¨         客户端配置与兼容性测试

²        浏览器的配置测试

²        平台兼容性测试

²        浏览器兼容性测试

¨         安全性测试

²        安全体系测试

²        应用安全：注册与登录、在线超时、操作留痕、备份与恢复

    ²      传输安全：HTTPS和SSL测试、服务器端脚本漏洞检查、防火墙测试

1、测试策略：性能调优和性能评测

性能评测：在真实环境下检查系统服务等级满足情况，评估整个系统性能。

                      对系统的未来容量作出预测和规划。

                     是性能调优的前提。

性能调优：查找性能瓶颈原因。

                     进行性能调整和优化。

                     评估性能调整的效果。

2、负载测试

逐步增加系统负载，测试系统性能变化。并确定在满足性能指标时的最大负载量。为了测试系统在某一负载级别上的性能，保证正常工作。

3、压力测试

逐步增加负载，测试系统性能变化。并确定在什么负载条件下系统性能处于失效状态，获得系统可以提供的最大服务级别。为了测试系统的限制和故障恢复能力。

压力测试是一种特定的负载测试。

（负载测试：测试响应为1秒时，系统最大并发数量；压力测试：测试系统在多大并发数量时响应时间不可接受如超过1分钟）

4、并发性能测试

增加并发用户直到系统瓶颈或者不能接受的性能点，分析交易指标、资源等确定系统并发性能。

考虑3个方面：

¨         应用在客户端性能的测试

¨         应用在网络上性能的测试

¨         应用在服务器上性能的测试

5、疲劳强度测试

系统稳定运行情况下能够支持的最大并发用户数或者日常运行用户数，执行一段时间保证达到系统疲劳强度需求的业务量。

6、大数据量测试

包括独立数据量测试和综合数据量测试。

独立数据量测试：针对某些系统存储、传输、查询、统计等业务进行大数据量测试。

综合数据量测试：和压力性能测试、负载性能测试等相结合的综合测试。

7、负载压力测试目的

¨         在真实环境下检测系统性能、评估性能

¨         预见系统负载压力承受力、评估性能

¨         分析系统瓶颈、优化系统

8、常见指标

¨         并发用户数

¨         交易处理指标（事务响应时间、平均事务响应时间、每秒事务数）

¨         Web请求指标（每秒点击数、吞吐量trans/s、每秒HTTP响应数、每秒连接数）

¨         页面组件指标（页面组件细分、页面下载时间细分、已下载组件细分）

9、其他概念

并发用户：某一物理时刻同时向系统提交请求的用户数。

在线用户：某段时间内访问系统的用户数，这些用户并不一定同时向系统提交请求。

交易吞吐量：系统服务器每秒可以处理完成的交易数。

交易响应时间：系统完成事务执行准备和完成该事务后采集的时间错之间的时间。

测试估算：80%的业务在20%的时间内完成

1、软件问题分类

软件错误：指软件生存期内的人为错误。

软件缺陷：指代码或数据文件中，不希望或者不可接受的偏差。

软件故障：指程序运行时，产生的不希望或者不可接受的内部状态。

软件失效：指软件运行时，产生的不希望或者不可接受的外部结果。

2、软件测试与软件质量

软件测试：在规定的条件下对程序进行操作，以发现错误，对软件质量进行评估

软件质量：软件特性的总和，软件满足规定或潜在用户需求的能力

3、软件测试阶段

1）单元测试、集成测试、确认测试、系统测试、验收测试

2）开发方测试、用户测试、第三方测试

3）白盒测试、黑盒测试、灰盒测试

软件测试模型：V、W、H、X、前置测试模型

单元测试内容：模块接口测试、局部数据结构测试、路径测试、错误处理测试、边界测试

集成测试内容：模块接口数据是否丢失

一个模块对另一模块是否产生不利影响

各个子功能组合起来能否达到父功能

全局数据结构测试

单个模块的误差累积起来是否会放大

集成测试组装方式：一次性组装方式、增值式组装（自顶向下、自底向上、混合）

确认测试内容：有效性测试、软件配置复查

4、软件V&V过程

过程分析、评价、评审、审核、评估和测试

1、软件质量管理

需求（用户观点）------------使用质量（质量特性的组合效应）

规格说明书（外部观点）---外部质量（外部性质）

设计和开发（内部观点）---内部质量（软件内部性质）

质量模型：功能性：适合性、准确性、互操作性、保密安全性、功能性依从性

                      可靠性：成熟性、容错性、易恢复性、可靠性依从性

                      易用性：易理解性、易学性、易操作性、吸引性、易用性依从性

                      效率：时间特性、资源利用、效率依从性

                      维护性：易分析性、易改变性、稳定性、易测试性、维护依从性

                      可移植性：适应性、易安装性、共存性、易替换性、可移植性依从性

使用质量模型：有效性、生产率、安全性、满意度

2、软件过程管理

评价过程特性：可重复性、可再现性、公正性、客观性

通用评价过程：确定评价需求、规定评价、设计评价、执行评价

评价过程由下列5个活动组成：

¨         确立软件评价需求------评价需求（评价过程文档）-------测试需求（测试过程文档）

¨         编制评价规格说明------评价规格说明（评价过程文档）---测试规格说明（测试过程文档）

¨         制定评价计划------------评价计划（评价过程文档）-------测试计划（测试过程文档）

¨         评价执行计划------------评价记录（评价过程文档）-------测试记录（测试过程文档）

¨         作评价结论---------------评价报告（评价过程文档）-------测试报告（测试过程文档）

1）评价需求分析子活动：

          请求者提出评价需求建议

                       请求者说明评价覆盖范围

                       评价者分析评价原因和描述评价需求来响应请求者

                       评价者解释评价的保密范围和严格程度

                       评价者同意评价需求

2）评价规格说明子活动：

          分析产品的描述

                       规定对产品及部件执行的测量

                       按照评价需求验证编制的规格说明

3）制定评价计划子活动：

          把评价方法编制成文档，起草计划

                       优化评价计划

                       根据可用资源安排评价动作的进度

4）评价执行计划：

       管理请求者提供的产品部件

                 管理评价动作产生的数据

                 管理评价执行动作的工具

5）评价结论：包括评价报告的评审和评价数据的处理

3、软件配置管理

基本活动：

    配置项标识

          配置项控制

          配置状态报告

          配置审计

4、测试组织与人员管理

测试人员选择、测试人员激励、测试职业发展、测试人员培训

5、软件风险管理

软件分析分析：发生的可能性、影响的严重性

应急措施：增加资源、缩小范围、减少质量过程

6、测试成本管理

测试成本控制：

      测试准备成本控制（测试实施成本）

              测试执行成本控制（测试实施成本）

              测试结束成本控制（测试实施成本）

              降低测试实施成本

              降低测试维护成本

质量成本：一致性成本+非一致性成本

一致性成本：预防成本+测试预算

非一致性成本：软件错误引起的成本+测试过程故障引起的成本

DDP（缺陷探测率）：BUGtester/（BUGtester+BUGcustomer）

软件中的BUG数：（测试1发现的BUG数+测试2发现的BUG数）/共同发现的BUG数