第三章-数据分类汇总

1、ClientServer结构Client: 联机事物处理(OLTP)Server: 联机分析处理(OLAP)联机分析处理联机分析处理数据数据分类汇总分析的意义和分类汇总分析的意义和作用作用数据数据分类汇总的三种分类汇总的三种方法方法数据透视数据透视表表2当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重

2、决策支持，并且提供直观易懂的查询结果。3数据仓库数据仓库抽取抽取转换转换加载加载更新更新OLAP引擎引擎分析分析查询查询报表报表数据挖掘数据挖掘监测集监测集成成元数元数据据数据源数据源(OLTP)前端工具前端工具数据集市数据集市操作数据库操作数据库其它数据源其它数据源数据存储数据存储OLAP 服务器服务器数据仓库的体系结构图数据仓库的体系结构图5OLTP也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答,也称为实时系统。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现

3、为实时响应时间，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。6OLTP 系统中的数据主要被组织为支持如下事务：记录来自销售点终端或通过网站输入的订单。当库存量降到指定级别时，订购更多的货物。在制造厂中将零部件组装为成品时对零部件进行跟踪。记录雇员数据。7随着数据库技术的广泛应用，企业信息系统产生了大量的数据，如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。传统的企业数据库系统(管理信息系统)即联机事务处理系统（On-Line Transaction Proce

4、ssing,简称OLTP）作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。数据仓库（Data Warehouse）技术就是在这样的背景下发展起来的。8业界公认的数据仓库概念创始人W. H. Inmon在Building the Data Warehouse一书中对数据仓库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合”。ETL: 构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的OLTP数据库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。9联机分析处理（OLAP）系统是数据仓库系统最主要的应用

5、，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。10联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。11OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对

6、数据的更深入了解的一类技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是维这个概念。“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。12在过去的二十年中，大量的企业利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(OLTP)应用，它所存储的数据被称为操作数据或者业务数据

7、。随着市场竞争的日趋激烈，企业更加强调决策的及时性和准确性，这使得以支持决策管理分析为主要目的的应用迅速崛起，这类应用被称为联机分析处理(OLAP)，它所存储的数据被称为信息数据。13联机分析处理的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时，从不同的角度来审视业务的衡量指标是一种很自然的思考模式。例如分析销售数据，可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽然可以通过报表来反映，但每一个分析的角度可以生成一张报表，各个分析角度的不同组合又可以生成不同的报表，使得IT人员的工作量相当大，而且往往难以跟上管理决策人员思考的步伐

8、。14联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。15事实上，随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广

9、泛的内容。概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确分析，辅助做出更好的商业决策的系统。它本身包括三部分内容：161、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中心信息数据库中。2、应用层：通过联机分析处理，甚至是数据挖掘等应用处理，实现对信息数据的分析。3、表现层：通过前台分析工具，将查询报表、统计分析、多维联机分析和数据挖掘的结论展现在用户面前。17从应用角度来说，数据仓库系统除了联机分析处理外，还可以采用传统的报表，或者采用数理统计和人工智能等数据挖掘手段，涵盖的范围更广；就应用范围而言，联机分析处理往往根据

10、用户分析的主题进行应用分割，例如：销售分析、市场推广分析、客户利润率分析等等，每一个分析的主题形成一个OLAP应用，而所有的OLAP应用实际上只是数据仓库系统的一部分。18获得销售额分类汇总值获得销售额分类汇总值获得各类销售额排行榜获得各类销售额排行榜获得各类销售额的时间序列获得各类销售额的时间序列获得获得各经济量之间的各经济量之间的相关性相关性获得获得各种产品需求量的频率分布各种产品需求量的频率分布19利用分类汇总，可以获得不同地区的销售额、不同类别产利用分类汇总，可以获得不同地区的销售额、不同类别产品的库存量、不同生产人员的次品数量、不同客户的运货品的库存量、不同生产人员的次品数量、不同客

11、户的运货费、不同类型贷款的客户数等信息费、不同类型贷款的客户数等信息20利用分类汇总，企业可以利用分类汇总，企业可以获得销售额获得销售额排行榜、各种商品质排行榜、各种商品质量指标排行榜、销售人员完成销售任务排行榜、各种产品量指标排行榜、销售人员完成销售任务排行榜、各种产品库存量与库存积压资金排行库存量与库存积压资金排行榜榜21利用分类汇总，企业可以获得某产品销售数量的时间序列、利用分类汇总，企业可以获得某产品销售数量的时间序列、某地区销售额的时间序列或客户订货量的时间序列某地区销售额的时间序列或客户订货量的时间序列22利用分类汇总，企业可以获得获得各经济量之间利用分类汇总，企业可以获得获得各经

12、济量之间的相关性信息的相关性信息23利用分类汇总，企业可以获得利用分类汇总，企业可以获得获得获得获得各种产品需求量的获得各种产品需求量的频率分布频率分布24数据透视数据透视表：小数据表：小数据TableauTableau：大数据：大数据25数据列表被定义为数据列表被定义为“包含相关数据的一系列包含相关数据的一系列工作表数据行工作表数据行”。数据数据列表的首行为字段名，首行下的各行是列表的首行为字段名，首行下的各行是各个各个记录。记录。数据数据列表中不能出现列表中不能出现空行。空行。数据数据列表可以像数据库中的表一样使用，行列表可以像数据库中的表一样使用，行对应于表中的记录，列对应用于表中的字段

13、。对应于表中的记录，列对应用于表中的字段。26排序排序功能功能可以可以按照某个字段的升序或降序对数据列表中的按照某个字段的升序或降序对数据列表中的所有记录进行所有记录进行排序。排序。筛选筛选功能功能筛选就是通过设定条件，挑选出满足条件的筛选就是通过设定条件，挑选出满足条件的记录：记录：l自动自动筛选筛选功能；功能；l高级高级筛选筛选功能。功能。p高级筛选需首先在工作表中设定筛选条件。高级筛选需首先在工作表中设定筛选条件。27Pivot TablePivot Table创建创建数据透视数据透视表容易，且可以表容易，且可以对数据透视对数据透视表进行旋转、变换汇总角度表进行旋转、变换汇总角度，选择，

14、选择各种汇各种汇总形式总形式，求和，求和、计数、计数、求平均值等。、求平均值等。数据数据透视表使用方便透视表使用方便、汇总、汇总能力能力强强。28数据透视表汇总数据数据透视表汇总数据数据透视表的灵活性数据透视表的灵活性数据透视图的灵活性数据透视图的灵活性利用数据透视表生成时间序列利用数据透视表生成时间序列统计各销量组销售次数的频率分布统计各销量组销售次数的频率分布计算计算百分比百分比29【例例3-33-3】利用利用ExcelExcel获取外部数据功能，获取外部数据功能，获取获取ABCABC公司公司20102010年年的销售数据，使用的销售数据，使用ExcelExcel数据透视表功能，数据透视表

15、功能，制作分类制作分类汇总汇总表。表。3031创建创建数据透视图的灵活性数据透视图的灵活性利用利用数据列表创建数据数据列表创建数据透视图；透视图；直接直接创建数据创建数据透视图；透视图；3233按照一定时间间隔汇总的数据序列按照一定时间间隔汇总的数据序列，称为，称为时间序列时间序列。时间序列时间序列可以帮助企业了解经营状况、预可以帮助企业了解经营状况、预测未来的变化测未来的变化趋势趋势。数据数据透视表能从不同的角度汇总数据透视表能从不同的角度汇总数据，它，它也是生成时间序列的也是生成时间序列的有效工具有效工具。34【例【例3-53-5】利用】利用数据透视表，对数据透视表，对NorthwindN

16、orthwind公司公司的销售数据按月的销售数据按月汇总各产品的销汇总各产品的销售额。售额。35频率信息可以帮助管理人频率信息可以帮助管理人员预测未来情况，合理安员预测未来情况，合理安排生产和销售排生产和销售活动活动。【例例3-63-6】利用数据透视】利用数据透视表，对表，对NorthwindNorthwind公司的公司的销售数据按照产品、年月销售数据按照产品、年月汇总，统计各规模销量组汇总，统计各规模销量组销售次数的频率分布。销售次数的频率分布。36【例【例3-73-7】NorthwindNorthwind公司计划，根据客户总销售额，公司计划，根据客户总销售额，将客户划分为不同级别。销售额超过将客户划分为不同级别。销售额超过1000010000元的客户元的客户为重要客户，为重要客户， 10000 10000元以下的为普通客户元以下的为普通客户。请请利用如图利用如图3-923-92所示的数据透视表，按照客户级别，所示的数据透视表，按照客户级别，汇总销售额、销售额占总销售额的百分比、销售次汇总销售额、销售额占总销售额的百分比、销售次数占总销售次数的的百分比，并绘制数据透视图。数占总销售次数的的百分比，并绘制数据透视图。37数