如何提高数据仓库的性能及优化设计

如何提高数据仓库的性能及优化设计

目录

1.序言..........................................................................1

2.合理的数据模型设计..........................................................2

2.1.10种主数据模型设计示例..................................................2

2.1.1.人员主数据模型.......................3

2.1.2.账户主数据模型......................................................5

2.1.3.组织主数据续型.......................6

2.1.4.客商主数据埃型......................................................8

2.1.5.客户主数据埃型.......................8

2.1.6.供应商主数据模型....................................................9

2.1.7.渠道主数据续型.......................10

2.1.8.产品主数据埋型.....................................................11

2.1.9.物料主数据续型......................13

2.1.10.项目主数据模型....................................................14

2.1.11.容码主数据管理平台内置模板.........16

3.有效的数据抽取和转换........................................................16

4.优化数据存储和查询..........................................................17

1.序言

随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出，如何

提高数据仓库的性能，除了在设计阶段对其逻辑结构和物理结构进行优化设计

外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。

本系统主要功能是利用。racle9i所提供的技术：分区、实体化视图和查询

重写来实现数据仓库的性能优化：用户自己建表、视图并进行查询比较；匕较

是否采用优化技术和直接查询的时间，体现优化程度。

随着计算机技术的飞速发展和企业界不断提出新的需要，数据仓库技术应

运而生。当前的数据史理可以大致地划分为两大类：操作型处理和分析型处

理。操作型处理也叫事务处理，是指对数据库联机地日常操作，人们关心地是

响应时间、数据的安全性和完整性。分析型处理又叫信息型处理，用于管理人

第1页共17页

员的决策分析。两者之间的巨大差异使得操作型处理和分析型处理的分离成为

必然。数据库系统作为数据管理手段，主要用于事务处理。而数据仓库有助于

把数据转变成信息，为用户提供决策支持。但是必须注意的是：即使可以建立

一个数据仓库来帮助制定决策，仍然有可能在具有完美数据的情况下作出坏的

决策。

随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出，如何

提高数据仓库的性能进行优化，除了在设计阶段对其逻辑结构和物理结构进行

优化设计，使之在满足需求条件的情况下，系统性能达到最佳，系统开销达到

最小外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。

在Oracle9i中，使用关系数据库存储数据仓库中的数据，数据仓库中包含

大量的数据，对数据的提取和更新操作需要花费大量的时间和资源，为了能够

管理好这些大表，同时提高访问大表的查询速度和执行效率，就需要用到并行

处理和分区。

在数据仓库中，为了提高性能，使用的一项技术是创建汇总，汇总使特定

类型的聚集视图，通过在执行和存储数据到表以前，预先计算大的连接和聚

集，提高查询性能的视图。在数据仓库中，可以使用实体化视图预先计算聚集

数据，并把计算结果存储起来，实体化视图通常是通过查询重写机制进行访问

的.查询重写用于基于成本的优化.

2.合理的数据模型设计

确定业务需求：在设计数据仓库之前，深入了解企业的业务需求和数据分

析目标，明确需要支持的查询和报表。这有助于构建合理的数据模型，满足实

际的业务需求。

规范化设计：采用规范化的设计可以消除数据冗余，并保持数据一致性。

通过合理地划分表和定义关系，避免数据更新异常和不一致问题。

考虑性能需求：在设计数据模型时，需要预估数据量和查询复杂度，并根

据业务需求进行适当的优化。例如，选择合适的索引和分区策略，提高查询效

率。

2.1.10种主数据模型设计示例

第2页共17页

主数据模型是主数据管理的基础，一个完整的、可扩展的、相对稳定的主

数据模型对于主数据管理的成功起着重要的作用。规划、创建主数据模型的过

程，是梳理主数据管理体系的过程，目的是建立一个良好的资源目录结构，划

分合理的资源粒度。

2.1.1.人员主数据模型

人员主数据是企业基础和核心的主数据之一，我们在人力资源管理系统及

相关的模块中都要使用，如招聘•、培训、考核、薪资等模块。另外，0A系

统、业务系统也会使用人员主数据。

第3页共17页

序号属性名称数据类型维护方式属性类型填写说明

编码方案参照

1人员编码（工号）字符W填写用础属性人力资源管理部

门相关规定

2姓名字符型填写基础屈性

参照选项为

3性别参照型卜•拉选项盛础属性

男、女、其他

4出生日期字符型填写基础属性

参照选项为身

5证件类型参照理卜拉选项基础属性份证、军官证、

护照

按照证件上的

6证件号码字符型填写基础屈件

号码进行填写

7手机号码字符型填写基础属性

8办公电话字符型填写基础属性

9电子邮件字符型填写基础屈性

参照选项为在

10人员状态参照型卜.拉选项业务属性职、离职、退休、

实习生、临时匚

11岗位信息字符理填写业务属性对照岗位档案

12职级参照型卜.拉选项业务属性对照职级档案

对照企业人员

13人员类别参照型下拉选项业务属性类别档案（如管

理类、技术类等）

对应管理组织

14所属管理组织马照型下拉选项业务屈件

主数据

对应管理部门

15所属管理部门参照型卜拉选项业务属性

主数据

16—

表1人员主数据模型示例

表1是人员主数据的常规模型，基本上包含了人员档案的相关信息。这个

人员主数据模型包含了人员档案的基木属性信息（第一项至第九项）、业务属性

第4页共17页

信息（第十项至第十五项），对应着参照数据、枚举数据，以及引用的其他主数

据。

2.1.2.账户主数据模型

账户的定义是「企业信息系统的使用者」，同时我们希望能够从企业视角

进行统一的账户主数据管理。

序号属性名称数据类型维护方式填写说明

用户身份认证时所需要输入

1用户名字符型填写

的名称

2■M字符利9s

3密级

4密码策略

5用户所属管理组织参照型下拉选项对应管理组织主数据

6用户所属管理部门参照型下拉选项对应管理部门主数据

参照选项为1.本企业人员

7用户类别参照型卜一拉选项账户；2.本企业角色账户；3.非

本企业人员账户

8对应人员编码参照型下拉选项

9对应人员姓名字符型填写

10证件类型参照型F拉选项

当用户类型为“1”时.字

11证件号码字符型填写

段信息与人员主数据的信息

12不机号码字符型填写

保持一致

13办公电话字符型填写

14电子邮件字符型填写

15岗位信息字符型填写

16白定义项।字符型填写

4**.1-/Y■；、・

17—

表2账户主数据模型示例

账户主数据的常规模型，基本上包含了系统中「账户」档案的主要属性字

段。企业在构建账户主数据模型时可以以此为参考。

在账户主数据模型中，我们可以看到「对应人员编码」一对应人员姓

第5页共17页

名」，以及一些对应人员的其他相关字段，这些字段的内容来源于对应的人员

主数据。此种设计没有完全遵循数据库设计的三范式，因为在数据模型中冗余

了部分人员主数据的属性。而在很多应用系统中，账户模型和人员模型被构建

在同一个表中，这是为了让各个系统能够很好地使用账户主数据模型才采用的

折中设计方法，当然也可以根据企业实际情况进行针对性设计。

2.1.3.组织主数据模型

企业中的组织是指企业为了实现一定的目标，互相协作结合而成的团体。

通常组织既包含公司层级的内容又包含公司里的多级部门甚至小组的内容。而

这样的组织也会由于视角的不同产生多个版本，如行政组织、财务组织、股权

组织、法人组织等。

行政组织是从企业管理的视角进行划分的组织结构；财务组织是完全以财

务的视角进行核算、统计、考核，从而建立的组织结构；其他组织则是从各自

的视角进行划分的组织结构。大型集团型企业的组织主数据较多，单体型企业

的组织主数据相对少一些。

第6页共17页

序号属性名称数据类型维护方式填写说明

用户身份认证时所需要输入

1组织编码字符型填写

的名称

2组织名称字符型填写

3上级组织字符暨填写

4组织类别字符型填写1.单位；2.部门

5组织负责人编码字符型填写

6地址字符型填写

7电话字符型填写

8邮箱字符型填写

9传真字符型填写

10生效时间字符型填写

11失效时间字符型填写

12备用字段1IIL/'，•'•••三••ipx,

表3行政组织模型示例

在组织主数据模型设计中需要关注以下特点：

(1)组织主数据是树形结构，除了根节点，每个节点都有上级节点。

(2)组织通常包括公司和部门两个大的层级。

(3)组织主数据通常会关联人员主数据。

组织主数据通常会设定组织负责人属性，在进行人力部门负责人或干部调

整时，需要在组织主数据中进行对应维护。

(4)组织主数据通常指行政主数据，这也是使用得最为广泛的一种组织主数

据。

企业中的组织可能存在很多版本，数据结构大致相似，但是所描述的内容

和视角差异很大，也正是由于视角的不同，数据内容也可能存在差异。

(5)组织主数据需要注意版本管理和时效性。

组织会在年度或业务需要时进行调整，新的组织会产生，旧的组织可能消

亡，这其中还包含组织的合并和拆分，这些动作都应该在组织主数据中进行记

第7页共17页

录，并为后续的业务动作或业务统计提供信息支持。

(6)其他组织主数据模型。

其他组织，如财务组织、法人组织、股权组织等主数据模型的设计可以参

考行政组织主数据模型，模型架构变化不大，但承载的内容有不同的视角。

2.1.4.客商主数据模型

政府机构及事业

生产、蛭镯企业蜃停刀生机构KIX腕务企立个人其健

组织机构代叫瞪织机构代1加织机构代码。份证2国家

川段机内代的客商名你客商名称容向4%IIIUWI构代叼护照，网川惬机构代用

Utt

客禽名称氏疗机构执♦许可让西晶始”许可证客育名线齐窗幺你客曲名你

校务登记，,巾♦4位法人M.段务检记号我木庖址

EM营业执黑注册，角业执照注钟♦执照注册9行♦执照注册¥机守就■并也执照注册9

展性%业中位法人让弓不♦执照住所ifffiJfcM.固定电话造解地址

JC他If明

今翁分类今嫡分类客商分类客商分先客曲分类客曲分类客曲分类

14«⑶*国*方〃第市IN*ff/!*(««

城市行“陪市tr/ftm曲/跳1市行/「(情市城市

营业执照住所城市城南城市皆♦执黑住所城市1:锻单位

共5wt

生产许嵋鹏4)宿业执照住所设仪评可城匹L援外位ttM风足松小

第二类投疗器核经营

经行许可if号1:拔单位风险《2示3提示风心提小

稿案凭if，

阿a物；上级不位经济类F

经吞场所机构类国3提示

上巳争值华联类电

及q提示自利索利经吞场所

典学属性

经侪类型公文/%何史育区能合作用历

生产地址执业场所

是杏生产厂*

备注备注番注备注mt溶荏''Ail

表4客商主数据模型

表4模型示例是以某区药企业的客商主数据模型为数据示例，根据企业的

经营情况，对客商主数据进行进一步的细分，同时根据细分的种类添加更加明

确的描述字段内容。此模型的描述偏重于实体的客观基本属性描述。

2.1.5.客户主数据模型

客户主数据模型可以适当突出企业的服务关注点，同时在客户数据的管理

和维护上考虑内容的可维护性。

第8页共17页

序号属性名称英文名称数据类型备注

1客户编号nserNo字符型

2客户姓名uscrNanie字符型

3性别sex字符型

4手机号码phone字符用

5联系电话tell字符型

6证件号码idcard字符型

7跟办人vperson字符型

8首次跟进日期kfirstdatc日期

9最新跟进日期knewdate日期

10城市city字符型

11具体地址address字符型

12邮编addresscode字符型

13微信号wx字符型

14传真taxAccouiH字符型

15电子邮箱email字符型

表5客户主数据模型示例

2.1.6.供应商主数据模型

供应商主数据模型需要充分考虑企业采购的即肃性，对供应商主数据的收

集应当相对充分和准确，为后续供应商管理及评级等工作奠定基础。

第9页共17页

序号属性名称属性性质数据类型填写说明

系统按编码规则自动生成

1供应商主数据编码必填项字符“

（具体参见编码规则）

2供应商名称唯一性字符型按照工商营业执照上的名称

3供应商简称字符型按照日常习惯形成的简称

A供应商类型必填项枚举型个人供应商，组织供应商

种子代制商、种子供应商、

制种土地供应商（村委会、个

5供应商分类枚举利体农户,对应生产方面的自

办或自制业务）、包装供应商、

IT供应商和其他供应商

6法人代表必填项字符型T.商注册法人代表

主数据

7所在国家必填项工商注册所在国家.如中国

参照股

主数据

8所在省份必填项取向行政区域表

参照我

主数据

9所在城市必填项取自行政区域表

参照型

组织供应商：按照营业执照

10注册地址必填项字符型

上的地址填写

必填项为企业供应商：组织

组织机构代码/

机构代码；行政组织机构供应

11行政机构代码/身唯一性字符型

商：行政机构代码；个人供应

份证号

商:身份证号

12联系人字符型公司联系人姓名

13联系电话字符型联系人手机号码

14联系地址字符型联系人地,娴—IB

表6供应商主数据模型

2.1.7,渠道主数据模型

渠道主数据可以相对考虑内部管理及服务需求，构建内部对应管理及服务

部门、岗位、人员等内容，突出企业对渠道的拓展及服务属性。

第10页共17页

序号属性名称属性性质数据类型填写说明

渠道主数据系统按编码规则自动牛.成（具

1必填项字符型

编码体参见编码规则）

字符慧-

2梁道名称唯一性按照1：商营业执照上的名称

3客户经理名称字符型按照日常习惯形成的简称

4渠道类型必以项枚举型个人供应商,组织供应商

种子代制新、种子供应商、制

种土地供应商（村委会、个体

5不道级别枚举壁农户.对应生产方面的自办或

自制业务）、包装供应商、IT供

应商和其他供应商

6法人代表必填项字符划「•商注册法人代表

主数据

7所在国家必填项工商注册所在国家.如中国

叁照型

主数据

8所在省份必填项取自行政区域表

参照型

主数据

9所在城市必则取自行政区域表

参黑型

组织供应商:按照营业执照

10注册地址必填项字符型

上的地址填写

必填项为企业供应商：组织

组织机构代码

机构代码;行政组织机构供应

II/行政机构代码/唯一性字符徵

商：行政机构代码；个人供应商：

号份证号

身份证号

12联系人字符以公司联系人姓名

13联系电话字符型联系人手•机号码

14联系地址字符型联系人地址！

表7渠道主数据模型示例

2.1.8.产品主数据模型

产品主数据是一个带有行业特征的主数据。产品主数据涉及的行业很多，

尤其是流通性企业、消钳品企业、制造型企业等。产品是企业的核心，很多企

第11页共17页

业中所有的业务线条都是围绕产品来运转的，从产品的设计、生产，到营销、

销售、服务等。如果产品主数据做不好，那么围绕这个产品的统计分析就会失

真和不准确，同时我们也很难观察到这个产品的全貌。

家具企业产品主数据模型（示例）如图1所示。

图1家具企业产品主数据模型（示例）

医药流通企业产品主数据模型（示例）如表8所示。

第12页共17页

1234

用性名称化学黑料前中种材中药饮片药用辅料

蛆挨

笈膏玛统讨玛运ST玛统计码运普玛统计玛运分码统计髭

蚓川名

M川/通川/品名M名iV.«晶名M%

名/产必名曲

密品名曲晶名商品名

mm规格战格规格WW妮用Mtffi

生产厂家铲厂家生产厂家生产厂充生产厂窜生产厂家生产厂家

产地产施

受托厂*W«受托厂*

中苗

唯性计情事位计城承位计毓小位什依曲位计出小位泞量小位itWVR

公司

包装政情过装数依包装敢试包装数3

避现税率边俯校中进”!役小

tn项蜕不俯邛!校奉WVfi税率价项税率体中税率

正常儡M/正•育正客商时/正常商圈

鹏

IIAI,MIA/»r（v./IVA

OTC类%

批准更枇准文号枇滞更，,横淮文号批滞文号枇准文9批滞支，；

注册证号/注册*外/注加*号/

令案凭证号备案凭证，备案凭逐号

中谛

正•性本位研小做研水位叼

公，

外文名称外文2学外文名作外文名你外文名你

商船状£向&.状奉商总状七而从状令商乩状W

是否体外冷

斯试剂

M古今优是有华n无伸冷睡

Ait统计普通/特糜

总M分析行品

■伊冷僦/贴有冷核/显有冷咳/

冷冻商品冷於前膈冷冻解热

阚梨

枇件Mt怖

明细类明哪假类别明消柳

集“In产，如win产/*Mfl第WIA产/集团日产/

外蜘外船产/外Si外购外鞫

国产/

W产/送n町/曲国产,道”

iSH

做非他

是ft

总多Mft电行出口必用出11M杏出口是杳出“

出［1

M别NMNMIH别3别

M育网*在

保“术

、、•、1(/,'=三u.!CZZ必・心；

,、

本为物

表8医药流通企业产品主数据模型（示例）

2.1.9.物料主数据模型

物料主数据是一种类型主数据，也就是说，物料是一种类型，是存在颗粒

度划分的。我们可以在企业中定义一种类型，然后把所有物料都归入这一个类

型中，也可以把物料划分为10万个种类，然后把每种物料的实物归集到各细

第13页共17页

分的种类中。

通常我们采用多级树形结构对物料进行种类划分。某材料的分类如下表所

7J\o

分类编码分类名称

01纺织服装

02医药及器械

03苗木绿化料

04机械设备

05五金备件

06电器仪表

07建材装修

08信息耗材

09化工料能源

!0办公劳保

物料主数据在进行模型定义时需要关注各个层级类别的划分，尽量遵守类

别划分的统一原则（一种视角，全覆盖，不交叉），尤其是在不同层级之间，应

尽量不要转换视角。然而，即使我们尽量遵守分类原则，也难以避免物料划分

的重复性，因为物料实在太多了。所以，我们还需要编制相应的填报规范，对

实物归类进行具体的指导，这样才能够避免使用过程中的问题。

同时，当一种物品符合两种或两种以上的分类时，也可以依照该物品的使

用用途或目的进行划分，或者做替代品选项。

2.1.10.项目主数据模型

项目主数据是以项目为运营模式的企业最关注的内容。

项目管理作为专业学科己经相对成熟和普及，但是在不同的以项目为核心

的企业中，由于其各自所处的行业不同，项目主数据模型的差异也非常大。我

们以地产企业项目主数据管理为例进行说明。

第14页共17页

字段属性

序号实体字段填写方式数据说明备注

类型性质

系统唯一标示.

根据编码规则

1项目编码符型必填F「抄写规则后续需要统

生成

一进行管理

注册公司名称.

霜要取得对应的

2所属公司今照型必填档案选抒公司目录选择

公司名称进行

选择

公司目录选

投资公司投资该项目的

3符型必要F「垃写择，是否在财务

名称公司名称