SQL数据库与Lucene数据库性能测试报告

SQL数据库与Lucene数据库性能测试报告

一、       测试目的

本测试试图对用相同数据制作的SQL数据库与Lucene数据库对语义相同的查询语句的性能作一个简单的比较与分析，以找出各自的优缺点，并讨论其各自的适用场合。

 

二、       测试环境

       CPU：AMD Atholon64 3200+，2.0G

      内存：896MB

       OS：Windows 2003

       Jre版本：1.6.0_01

       Jdk版本：1.5.0_06

       Lucene版本：2.2.0

       JDBC版本：Microsoft SQL Server 2005JDBC Driver 1.2

 

三、       测试数据设计

本次测试采用的数据来自校讯通的真实运营数据，原始数据是SQL数据库的一张数据表，该表共有33个字段，各字段名称及类型描述如下：

 

其中，本测试选取了ID、senderName、msgBody、msgTo四列来测试。ID代表了已做索引的int型字段；senderName代表varchar型的短文本字段；msgBody代表nvarchar型长文本字段；msgTo代表保存为varchar型的数值字段。

原始数据共有5623689组，占用约2GB的硬盘空间。在本测试中，分别选取其中前100万组数据和前491万组数据来参与测试。相同数据量的Lucene索引使用自写的RDB2Lucene Java包生成。对所有的列都进行了索引化和词元化。

设计测试数据时，考虑到以下几个方面的对比：

ü        不同字段的查询的对比；

ü        不同结果集规模的对比；

ü        不同查询数据规模的对比；

ü        同一项测试连续进行多次的前后效率对比

 

具体测试数据及测试结果见以下两个统计表：

100万组数据测试统计表：

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

		SQL			Lucene
用例	搜索字段	搜索词	结果集	用时	搜索词	结果集	用时	结果集
1	ID	%1%	491542	10906				不同
2	ID	1%	153660	1250	1*	153660	24502	相同
3	ID	1234	1	1453	1234	1	2047	相同
4	ID	2%	110981	1109	2*	110981	16845	相同
5	ID	3%	108023	1094	3*	108023	3672	相同
6	ID	111_	10	1437	111?	10	63	相同
7	ID	1%2%	66133	1578	1*2*	66133	1907	相同
8	ID	7%8%	44493	1531	7*8*	44493	2750	相同
9	ID	4_5_	100	1406	4?5?	100	735	相同
10	senderName	林%	4753	1235				不同
11	senderName	%林%	9124	1141	林	9124	281	相同
12	senderName	%林雨%	6	1141	林雨	6	78	相同
13	senderName	%家长%'	103	1141	家长	103	32	相同
14	msgBody	%林%'	17579	14767	林	17579	219	相同
15	msgBody	%林雨%	46	14595	林雨	46	78	相同
16	msgBody	%家长%	532790	10798	家长	532790	3406	相同
17	msgBody	%家长%	532790	10501	家长	532790	375	相同
18	msgBody	'%小学%	61657	14861	小学	61679	890	不同
19	msgBody	%小%	132968	14439	小*	132968	32	相同
20	msgBody	小%孩%	3666	1359	小*孩*	0	16	不同
21	msgBody	%你的孩子已于 相关阅读: 字符，字节和编码（一） (davidwang_2004, 2008-1-16) CString ,BSTR ,LPCTSTR之间关系和区别 (davidwang_2004, 2008-1-29) 数据类型转换：static_cast,const_cast等用法(转载） (davidwang_2004, 2008-1-29) ANSI、Unicode和宽字符之间的转换 (davidwang_2004, 2008-1-30) Q: How to convert between ANSI and UNICODE strings? (davidwang_2004, 2008-1-30) Hits per Second 的真正含义 (davidwang_2004, 2008-1-30) MultiByte和Unicode转换Sample(msdn) (davidwang_2004, 2008-1-31) IIS 6 新特性 (davidwang_2004, 2008-2-19) 如何解决 SQL Server 应用程序的性能问题 (davidwang_2004, 2008-2-21) 使用 SQL 事件探查器 (davidwang_2004, 2008-2-26) 收藏 举报 TAG: 与目前工作有关的杂项 查看全部评论   -5 -3 -1 - +1 +3 +5 评分：0 我来说两句 验证 提交评论 davidwang_2004 用户菜单 给我留言 加入好友 发短消息 我的介绍 论坛资料 空间管理 我的栏目 架构测试 安全测试 LoadRunner QTP 旧资料 Windows tcl/tk linux MySQL 嵌入式 旧日志 标题搜索 日历 « 2024-04-27   日 一 二 三 四 五 六   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30         我的存档 2010年05月 2010年04月 2010年03月 2010年02月 2010年01月 2009年12月 2009年11月 2009年10月 2009年09月 2009年08月 2009年07月 2009年06月 2009年05月 2009年04月 2009年03月 2009年02月 2009年01月 2008年12月 2008年11月 2008年10月 2008年09月 2008年08月 2008年07月 2008年06月 数据统计 访问量: 248422 日志数: 137 建立时间: 2007-08-14 更新时间: 2010-05-25 RSS订阅 清空Cookie - 联系我们 - 51Testing软件测试网 - 交流论坛 - 空间列表 - 站点存档 - 升级自己的空间 Powered by 51Testing © 2003-2021 沪ICP备05003035号 Open Toolbar