大数据量分页存储过程效率测试附代码(上)

发表于:2010-7-29 11:45

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:未知    来源:51Testing软件测试网采编

  OK,至此,存储过程创建完毕,我们分别在每页10条数据的情况下在第2页,第1000页,第10000页,第100000页,第199999页进行测试,耗时单位:ms 每页测试5次取其平均值

  存过 第2页耗时 第1000页耗时 第10000页耗时 第100000页耗时 第199999页耗时 效率排行

  1.用not in 0ms 16ms 47ms 475ms 953ms 3
  2.用select max 5ms 16ms 35ms 325ms 623ms 1
  3.中间变量 966ms 970ms 960ms 945ms 933ms 5
  4.row_number 0ms 0ms 34ms 365ms 710ms 2
  5.临时表 780ms 796ms 798ms 780ms 805ms 4

  测试结果显示:select max >row_number>not in>临时表>中间变量

  于是我对效率最高的select max方法用2分法进行了扩展,代码取自互联网,我修改了ASC排序时取不到值的BUG,测试结果:

  2分法 156ms 156ms 180ms 470ms 156ms 1*

  从测试结果来看,使用2分法确实可以提高效率并使效率更为稳定,我又增加了第159999页的测试,用时仅296ms,效果相当的不错!

  下面是2分法使用select max的代码,已相当完善。

view source
print?
001    --/*-----存储过程 分页处理 孙伟 2005-03-28创建 -------*/
002    --/*-----存储过程 分页处理 浪尘 2008-9-1修改----------*/
003    --/*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/
004     
005    alter PROCEDURE proc_paged_2part_selectMax
006    (
007    @tblName nvarchar(200), ----要显示的表或多个表的连接
008    @fldName nvarchar(500) = '*', ----要显示的字段列表
009    @pageSize int = 10, ----每页显示的记录个数
010    @page int = 1, ----要显示那一页的记录
011    @fldSort nvarchar(200) = null, ----排序字段列表或条件
012    @Sort bit = 0, ----排序方法,0为升序,1为降序(如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段不加排序标记)--程序传参如:' SortA Asc,SortB Desc,SortC ')
013    @strCondition nvarchar(1000) = null, ----查询条件,不需where
014    @ID nvarchar(150), ----主表的主键
015    @Dist bit = 0, ----是否添加查询字段的 DISTINCT 默认0不添加/1添加
016    @pageCount int = 1 output, ----查询结果分页后的总页数
017    @Counts int = 1 output ----查询到的记录数
018    )
019    AS
020    SET NOCOUNT ON
021    Declare @sqlTmp nvarchar(1000) ----存放动态生成的SQL语句
022    Declare @strTmp nvarchar(1000) ----存放取得查询结果总数的查询语句
023    Declare @strID nvarchar(1000) ----存放取得查询开头或结尾ID的查询语句
024     
025    Declare @strSortType nvarchar(10) ----数据排序规则A
026    Declare @strFSortType nvarchar(10) ----数据排序规则B
027     
028    Declare @SqlSelect nvarchar(50) ----对含有DISTINCT的查询进行SQL构造
029    Declare @SqlCounts nvarchar(50) ----对含有DISTINCT的总数查询进行SQL构造
030     
031    declare @timediff datetime --耗时测试时间差
032    select @timediff=getdate()
033     
034    if @Dist = 0
035    begin
036     set @SqlSelect = 'select '
037     set @SqlCounts = 'Count(*)'
038    end
039    else
040    begin
041     set @SqlSelect = 'select distinct '
042     set @SqlCounts = 'Count(DISTINCT '+@ID+')'
043    end
044          
046    if @Sort=0
047    begin
048     set @strFSortType=' ASC '
049     set @strSortType=' DESC '
050    end
051    else
052    begin
053     set @strFSortType=' DESC '
054     set @strSortType=' ASC '
055    end

相关链接:
大数据量分页存储过程效率测试附代码(下)
33/3<123
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号