数据仓库技术

1、数据仓库技术/10/271知识管理与数据分析试验室1/24主要内容从数据库到数据仓库数据仓库体系结构数据仓库构建数据仓库关键技术数据仓库技术应用主流厂商及产品值得注意问题数据仓库技术发展前景/10/27知识管理与数据分析试验室22/24从数据库到数据仓库数据库：由计算机代替手工操作，来收集、存储、管理业务操作数据。问题：传统的数据库应用系统是面向业务操作设计的，不能很好的支持决策。数据仓库：将大量的数据集成到数据仓库中，以从这些大量杂乱无章的业务数据中提取有用的信息，帮助决策者在业务管理和发展上做出及时、正确的判断。/10/27知识管理与数据分析试验室33/24数据仓库定义概念提出： 由著名数

2、据仓库教授W.H.Inmon1992年出版著作Building the Data Warehouse一书中提出。数据仓库定义： 数据仓库（Data Warehouse）是一个面向主题（Subject Oriented）、集成（Integrate）、相对稳定（Non-Volatile）、反应历史改变（Time Variant）数据集合，用于支持管理决议。/10/27知识管理与数据分析试验室44/24数据仓库特点面向主体集成性相对稳定反映历史变化支持决策/10/27知识管理与数据分析试验室55/24数据仓库面向主体性/10/27知识管理与数据分析试验室66/24数据仓库集成性/10/27知识管理与

3、数据分析试验室77/24数据仓库相对稳定性和反应历史改变/10/27知识管理与数据分析试验室88/24数据仓库与传统数据库区分/10/27知识管理与数据分析试验室9数据起源数据目标数据内容数据结构数据访问与使用对应时间数据库企业外部面向应用，支持日常业务操作动态改变，时常更新高度结构化，适合操作计算使用频率高，单次使用数据量小要求对应及时，以秒为单位数据仓库内部数据，外部数据，历史数据，Internet等面向决议相对稳定，极少更新结构简单统一使用频率较低，访问数据量大较宽松，以小时为单位9/24数据仓库基本体系结构（一）/10/27知识管理与数据分析试验室1010/24数据仓库基本体系结构（二

4、）源数据：数据仓库数据起源多个不一样数据源， 它能够是通常数据库系统， 也能够是非传统数据， 如文件、HTML 文件、知识库等。仓库管理系统：负责数据仓库内部维护和管理，提供服务包含数据存放组织、数据维护、数据分发及数据仓库例行维护等。/10/27知识管理与数据分析试验室1111/24数据仓库基本体系结构（三）数据仓库：存放已经按企业级视图转换数据，供分析处理用。分析工具：用于完成实际决议问题所需要各种查询检索工具、多维数据OLA P 分析工具、DM 数据挖掘工具等，以实现决议支持系统各种要求。/10/27知识管理与数据分析试验室1212/24数据仓库数据组织结构（一）/10/27知识管理与数

5、据分析试验室1313/24数据仓库数据组织结构（二） 源数据经过综合后，首先进入当前细节级，并依据详细需要进行深入综合，从而进入轻度综合级乃至高度综合级，老化数据将进入早期细节级。由此可见，数据仓库中存在着不一样综合级别，普通称之为“粒度”。粒度越大，表示细节程度越低，综合程度越高。/10/27知识管理与数据分析试验室1414/24数据仓库构建/10/27知识管理与数据分析试验室1515/24数据仓库关键技术数据抽取：经过抽取过程将数据从联机事务处理系统、外部数据源、脱机数据存放介质中导入数据仓库。数据存放和管理：对大量数据存放和管理；并行处理；决议支持查询优化。联机分析处理（OLAP）技术：

6、钻取、旋转、切片。数据挖掘技术：在从大量、不完全、有噪声、含糊、随机数据中，提取隐含在其中、人们事先不知道、但又是潜在有用信息和知识。/10/27知识管理与数据分析试验室1616/24OLAP分析钻取/10/27知识管理与数据分析试验室1717/24OLAP分析旋转/10/27知识管理与数据分析试验室1818/24OLAP分析切片/10/27知识管理与数据分析试验室1919/24数据仓库技术应用（一）数据仓库在客户服务方面应用 同Internet和电子商务、多媒体技术教授系统和智能和呼叫中心等信息技术结合，为CRM提供技术基础，实现企业识别、保留及挽回最具价值客户。数据仓库在营销领域应用 把数

7、据库采掘与预测模型以及台式显示工具结合起来，帮助市场营销人员对客户行为作深入洞察分析。/10/27知识管理与数据分析试验室2020/24数据仓库技术应用（二）数据仓库在证券业应用 处理客户分析、账户分析、证券交易数据分析和非资金交易分析等多个业界关心问题，这是证券业扩大经营和防范风险预警行动。数据仓库在银行领域应用 银行能够建立企业客户群和个人客户群数据库，并对企业结构、经营、财务及市场竞争等多个数据源进行统一组织，形成一个一体化存放结构，为决议分析奠定基础。数据仓库在税务领域应用 制订有效征税计划/10/27知识管理与数据分析试验室2121/24主流厂商及产品IBMParallel Edit

8、ionInformixExtended Parallel Server(XPS)Meta Cube OLAP中间件MicrosoftSQL ServerPlatoData Transformation ServicesNCRTeradata Scalable Warehouse/10/27知识管理与数据分析试验室2222/24值得注意问题数据仓库的依赖问题元数据的标准化问题数据仓库的安全问题/10/27知识管理与数据分析试验室2323/24数据仓库技术发展前景技术数据抽取：它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。数据管理：将明确推出数据仓库引擎，作为服务器产品与数据库服务器并驾齐驱。数据表现：数理统计的算法和功能将普遍集成到联机分析产品中，同时与Internet/Web技术紧密结合，推出适用于Intranet、终端免维护的数据仓库访问前端。应用数据管理的传统领域：金融、保险、电信等行业中的特定应用。数据仓库的应用商业模式的变革将进一步普及和深