2.评测指标
TPC-C测试规范经过两年的研制,于1992年7月发布。几乎所有在OLTP市场提供软硬件平台的厂商都发布了相应的TPC-C测试结果,随着计算机技术的不断发展,这些测试结果也在不断刷新。
TPC-C的测试结果主要有两个指标:
● 流量指标(Throughput,简称tpmC)
按照TPC的定义,流量指标描述了系统在执行Payment、Order-status、Delivery、Stock-Level这四种交易的同时,每分钟可以处理多少个New-Order交易。所有交易的响应时间必须满足TPC-C测试规范的要求。
流量指标值越大越好!
● 性价比(Price/Performance,简称Price/tpmC)
即测试系统价格(指在美国的报价)与流量指标的比值。
性价比越小越好!
3.结果发布
各厂商的TPC-C测试结果都按TPC组织规定的两种形式发布:测试结果概要(Executive Summary)和详细测试报告(Full Disclosure Report)。测试结果概要中描述了主要的测试指标、测试环境示意图以及完整的系统配置与报价,而详细测试报告中除了包含上述内容外,还详细说明了整个测试环境的设置与测试过程。
二、SPEC
1、什么是SPEC测试
SPEC(The Standard Performance Evaluation Corporation)标准性能评测机构,是国际上对系统应用性能进行标准评测的权威组织,它旨在确立、修改以及认定一系列服务器应用性能评估的标准。目前包括8大测试规范、26种测试模型。
该组织成立于1988年,是由斯坦福大学、清华大学、微软、等全球几十所知名大学、研究机构、IT企业组成的第三方测试组织。SPEC经过多年的发展积累,该测试标准得到了全球众多用户的广泛认可。
SPEC2004服务器应用性能测试是一个全面衡量Web应用中Java企业应用服务器性能的基准测试,是SPEC2002的升级版本,一个新的行业标准基准测试。
SPEC2004测试采用JOPS(每秒总的操作次数)作为测试结果的衡量标准(SPEC2002测试结果的衡量标准与此相同,但表示为TOPS),JOPS为订单事务数加上制造工作订单数,再除以以秒为单位的测试时间。
SPEC2004与SPEC2002相比,具有实质区别,它更为严格和完善,更为复杂。 SPEC2004 的测试模型基于一个规模庞大、极为复杂、足以代表现实世界电子商务系统的分布式应用程序。模拟电子化业务工作模型体现了软、硬件平台整体解决方案的性能指标全面衡量应用服务器、数据库服务器硬件各子系统的性能被众多用户作为选择硬件设备的选型指标。
2、SPEC2004测试的价值
SPEC服务器应用性能测试是目前业界最标准和权威的基准测试之一。SPEC2004测试的对象是一个可以在实际中直接应用的完整解决方案,包括硬件、操作系统和中间件三个层次。SPEC评测理念核心,即通过平台及方案评测能够给应用提供具有重要参考意义的数据,而不是为了评测而评测。SPEC测试完全模拟现实使用需求,讲求参测系统整体上的性能和在实际应用中的表现,这样用户在购买产品的时候能够根据SPEC的评测数据更真实地了解到自己选择的产品到底在实际应用中表现如何,而不再是只能看到一堆厂商提供的宣传参数。
SPEC服务器应用性能测试的测试成绩可以为如下行业应用的系统采购提供重要的参考指标。
1. 银行:银行综合业务系统、银行证券交易系统、信用卡业务系统、综合业务计算机网络系统等
2. 金融证券:国税统一税收征管系统、基金注册和交易系统平台建设、证券集中交易系统
3. 保险:保险企业综合业务系统建设
4. 电信:电信计费系统、综合计费帐务系统、客服系统平台建设、用户认证和管理系统、移动计费营业系统、联通综合客服系统、宽带运维系统
5. 政府:大中型电子政务系统