发布新日志

  • DB2中的数据仓库和OLAP服务

    2009-04-22 14:24:30

    Question:

    这种表表工具能够在大数据量的生产系统中能够得到良好的数据分析效果和反应速度?

    Answer:

    如果基于MOLAP,运算/产生Cube的过程比较慢,但是生成Cube后,能够在数据量的生产系统中能够得到良好的数据分析效果和反应速度。

    基于动态查询/EIS等,就要看你查看的数据室如何组织的,数据量如何,表的join是不是很多,以及针对数据库物理方面的一些索引、分区、I/O并行、数据库cache等了,这方面不一定能够在大数据量的生产系统中能够得到良好的数据分析效果和反映速度。

    附:OLAP基本知识

    联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。以下是odd提出OLAP的12条准则来描述OLAP系统:

     准则1 OLAP模型必须提供多维概念视图

     准则2 透明性准则

     准则3 存取能力推测

     准则4 稳定的报表能力

     准则5 客户/服务器体系结构

     准则6 维的等同性准则

     准则7 动态的稀疏矩阵处理准则

     准则8 多用户支持能力准则

     准则9 非受限的跨维操作

     准则10 直观的数据操纵

     准则11 灵活的报表生成

     准则12 不受限的维与聚集层次

    =============================

    OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。[当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。]

    =============================

    OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。[“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension),使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。]

    OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等。[·钻取是改变维的层次,变换分析的粒度。它包括向上钻取(roll up)和向下钻取(drill down)。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而drill down则相反,它从汇总数据深入到细节数据进行观察或增加新维。

    ·切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个,则是切块。

    ·旋转是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。]

    =============================

    OLAP有多种实现方法,根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。

    MOLAP表示基于多维数据组织的OLAP实现(Multidimensional OLAP)。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成"立方块(Cube)"的结构,在MOLAP中对"立方块"的"旋转"、"切块"、"切片"是产生多维数据报表的主要技术。

    =============================

    OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如,一个企业在考虑产品的销售情况时,通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础,可形式化表示为(维1,维2,……,维n,度量指标),如(地区、时间、产品、销售额)。多维分析是指对以多维形式组织起来的数据采取切片(Slice)、切块(Dice)、钻取(Drill-down和Roll-up)、旋转(Pivot)等各种分析动作,以求剖析数据,使用户能从多个角度、多侧面地观察数据库中的数据,从而深入理解包含在数据中的信息。

    =============================

    Excel 便是一种不错的OLAP工具:

    Built into Excel is the ability to connect to a variety of external data sources: Microsoft Access databases, Microsoft SQL Server databases, OLAP cubes, Jet databases, and any other OLE DB data source for which there is an OLE DB provider. This versatility in connecting to so many data sources gives users just the power they need to browse almost any data they want. It is easy to use Excel to connect to an existing OLAP cube in Microsoft SQL Server 2000 Analysis Services.Finally,You can“Slicing and Dicing” Data with PivotTable and PivotChart Reports.

    Excel可以连接多种数据源,包括Microsoft SQL Server 2000 Analysis Services 中的OLAP cubes(立方体),从而实现OLAP的基本多维分析操作如钻取(roll up和drilldown)、切片(slice)和切块(dice)、以及旋转(pivot)等。

    参考:

    http://www.olapreport.com/fasmi.htm

数据统计

  • 访问量: 10426
  • 日志数: 17
  • 文件数: 1
  • 建立时间: 2008-12-11
  • 更新时间: 2009-06-19

RSS订阅

Open Toolbar