chapter4-数据资源.ppt

UIBE,第4章 数据资源管理 创建商务智能 2019年7月10日,UIBE,主要内容,商务智能 关系数据库模型 数据库管理工具 数据仓库和数据挖掘 组织中的数据资源管理,UIBE,商务智能关于客户、竞争对手、合作者的，以及竞争环境和内部环境的知识。 两类信息（知识）处理工具： OLTP 事务信息的处理。 OLAP 支持决策制定的信息处理。,一、商务智能,UIBE,IBM 的 BI,知识就是力量。 BI 系统收集客户的相关信息并加以分析，以帮助确定商机和创建可以满足客户需求的战略。 数据仓库、数据挖掘和决策支持中的先进技术创建大量的BI工具。,UIBE,商业智能解决方案的应用,1 电子商务 分析商品销售，协助改善网站经营状况；实时分析客户行为、消费倾向，从而实施更具针对性和高效的商业战略；帮助决策者优化经营模式、发现新市场，提高用户忠诚度。 2 税务部门 查出应税未报者和瞒税漏税者，并对其进行跟踪；对不同行业、产品和市场中纳税人的行为特征进行描述，找出普遍规律，谋求因势利导的税务征稽策略；对不同行业、产品和市场应收税款进行预测，制定最有效的征收计划。 3 零售业 按条目对每种商品、每个分店进行销售趋势分析，购买趋势、时令特点和定价策略都一目了然，帮助经营者及时准确地作出决策。 4 电信业 客户呼叫行为分析，客户信用分析（欺诈检测），销售和渠道的效益分析；市场竞争、营销手段效果分析。 5 保险业 新保业务分析（预收、承保），保全业分析（续期、失效复效、保单变更、给付），理赔分析（赔付率），险种相关分析，分支机构及代理点经营分析，财务指标分析等。,UIBE,举例,1 银行业 信贷业务分析管理，银行资产分析，资金运用管理等。 银行商业智能系统提供丰富的经济数学模型，全面、直观地分析银行存贷款的分布和业务变动趋势，展现业务发展、运做成本与经营利润的增长曲线，通过总量控制、流动性、安全性赢利等指标体系的数据反映促进银行业务的稳健发展和最优化运做，帮助用户识别风险，预测业务发展情况。 2 保险商业智能系统 保险商业智能系统BI.INSURANCE帮助保险公司全面提高风险控制能力和经营决策能力，促进业务和利润的增长，提高市场竞争力，迎接以客户为中心的经营模式的转变。BI.INSURANCE建立量化、动态的保险业务综合考核体系和风险控制体系。,UIBE,商业示例-Versace范思哲,品牌主要服务对象 是皇室贵族和明星。 设计风格非常鲜明 独特的美感极强的艺术先锋 强调快乐与性感，领口常开到腰部以下 拮取了古典贵族风格的豪华、奢丽，又能充分考虑穿着舒适及恰当的显示体型。 其他业务 经营香水、眼镜、丝巾、领带、内衣、包袋、皮件、床单、台布、瓷器、玻璃器皿、羽绒制品、家具产品等 时尚产品已渗透到了生活的每个领域。,UIBE,UIBE,UIBE,Panorama NovaView,减少通过数据查找重要信息的时间 使用NovaView的交互智能和逻辑，揭示隐藏的、重要的信息 使所有者整体成本更低,UIBE,UIBE,UIBE,从2001年-2003年在上海恒隆广场成功实施,Versace用户问题 自动销售规划 在所有分店追踪客户购买行为 绩效考核 多维度分析（按产品类别、生产线等） 解决方案- Panorama NovaView 3.0（BI的解决方案） 实施效果与客户证言 实施效果 各级主管能透视公司的问题可以解决，而后使美洲及亚洲的业务快速发展 客户证言 评估过多家BI解决方案公司后, 我们选择了Panorama，因为他们能帮助我们提高生产力，提供最佳客户关系管理方法。,UIBE,构造商务智能技术平台,UIBE,二、数据库,一组相关数据的集合（DB）； 由人操作软件（DBMS）管理数据； 目的：提供有用的商务信息和信息管理的一般方法。,UIBE,1、数据库应用举例,商场的积分卡 银行储蓄记录 售票系统 销售记录 客户记录 ,其中包括大批量数据吗,？,UIBE,2、数据库管理的优点,实现数据共享* 减少数据的冗余度* 数据的一致性和完整性好* 数据和程序之间的独立性好* 有较高的数据安全性* 并发控制性好* 实现数据库恢复*,UIBE,3、三个世界的概念,现实世界 现实世界的事物及事物之间存在着联系 事物本身的性质 概念世界 客观事物及其联系的一种抽象描述 实体 、属性和联系 数据世界 将概念世界中的事物数据转化计算机中数据结构 数据库、表、记录,UIBE,不同世界概念的对应关系,UIBE,不同世界概念的对应关系（示例）,UIBE,数据抽象的基本过程,UIBE,3、E-R方法 (Entity-Relationship Approach),实体-联系方法：通过E-R图表示信息世界中实体、属性、关系的模型 反映客观世界事物、事物的特征以及事物之间的关系 导出关系数据模型。,UIBE,E-R信息模型的设计,E-R图中三要素：实体、属性、联系 实体用方框表示 属性用椭圆框表示 联系用菱形框表示 框内填写相应的实体名、属性名、联系名,UIBE,E-R的使用方法,画单个的实体图（实体+属性） 确定实体之间的联系方式 联系方式（1：1、1：m、m：n） 如果m：n，通过插入实体的方法改成 1:m n:1方式 画出综合的E-R图,UIBE,订购关系的属性, , ,UIBE,4、关系数据库模型,数据库 是一个集合，在这个集合中可以按照数据的逻辑结构对其进行组织和存取。 关系数据库模型- 二维表形式 关系 两个二维表之间的联系,UIBE,信息的组织,物理组织,技术 界面,逻辑组织,字节,位,字Word,Character 字符,Field 字段,Record 记录,File 文件,database 数据库,data warehouse 数据仓库,字节Byte,位Bit,UIBE,组成： 以二维表、文件、关系形式保存的具体信息 信息的逻辑结构-数据的逻辑特征,关系型数据库 -Todays Major Application,UIBE,关系型数据库 收集信息,一个数据库文件包含一个或更多的文件 文件之间有相关性或联系,UIBE,关系数据库构成模块,实体 Entity 与二维表名对应,代表客观事物 属性 Attribute 是用来描述实体的特征 实例 Instance 是实体的具体描述,实例的集合构成实体,订单、雇员、客户等表,订单（订单ID、客户、雇员、订购日期）,10987、中通、刘英玫、1996-3-4,UIBE,数据库表及组件,数据库表由交叉的行和列组成，其中表的行和列具有如下特征： 为每个属性命名一个列，其中包含了该列所表 示的属性的属性值 每行由一个称为主键的属性唯一确定 主键： 能唯一确定一条记录的的属性或多个属性的集合 外键： 两个表之间的关系通过外键确定，一个表的外键是在表中与所指向的主键相匹配的属性,UIBE,关系型数据库举例（ACCESS） 创建逻辑结构,客户ID是主键,在字段属性中可以定义每个字段的格式、有效性等,UIBE,列-字段,行-记录,UIBE,再谈关系类型,一对一（1：1）：两个实体是一一对应的关系，例如员工号和员工。 一对多（1：M）：一个表中的记录可能与另一个表中多个记录有对应关系。如部门与雇员之间的关系。一对多是关系数据库设计的标准。 多对多（N：M）：两个表中的记录出现多对应的关系。例如，订单与产品。 多对多关系可以通过复合表的方法转变为两个一对多的关系。,UIBE,关系型数据库 关系图例,UIBE,关系的转化-减少数据冗余,订单,产品,订单,产品,M：N,M,1,1,M,订单细节,UIBE,5、数据库管理系统DBMS,定义数据逻辑结构 DBMS引擎 数据定义子系统：数据的逻辑结构 数据操作子系统：挖掘数据/更改信息 应用程序生成子系统：开发数据库的应用程序 数据管理子系统：管理数据库 例如ACCESS软件、Oracle、informix、sysbase DB,UIBE,DBMS 构成,数据库,DBMS,工具,数据定义,数据处理,应用系统生成,数据管理,建立并修改数据库的逻辑结构,查询以及编辑信息,生成菜单、窗体、报表等,使用者的权限、数据备份和恢复等,UIBE,DBMS 引擎- 接收来自其他子系统的逻辑查询请求，并将逻辑请求换成其对应的物理形式,数据库管理系统工具,UIBE,数据库管理系统工具,数据定义子系统 帮助定义、维护数据字典，定义数据库文件的结构 数据操作子系统 帮助添加、更改、删除数据库中的信息，挖掘有用的数据库信息 包括QBE和 SQL,UIBE,数据库管理系统工具 数据定义子系统,信息逻辑结构 字段类型 类型 格式 缺省值 有效范围 输入约束 可否重复,UIBE,数据库管理系统工具 数据操作子系统-视图,使用望远镜发现信息,UIBE,数据库管理系统工具 数据操作子系统-报表生成器（打印）,UIBE,UIBE,数据库管理系统工具 数据操作子系统-范例查询工具,Query-by-example (QBE)范例查询工具 以图表的方式设计问题的答案,UIBE,数据库管理系统工具 数据操作子系统-范例查询工具,QBE网格,查询条件,UIBE,Structured query language (SQL) 在DBMS工具中经常使用的第四代查询语言. 格式 SELECT Part.Part Number, Part.Cost, Employee.Employee Name, Employee.Employee Number FROM Part, Employee WHERE (Part.Cost)10);,数据库管理系统工具 数据操作子系统-范例查询工具,UIBE,select 语句示例,选择表中的列 select from 表名; select peopcode,peopname,sex from people; 选择表中的行 select from 表名 where 行所需要满足的条件; select * from people where salary1700; select * from people order by salary; update 语句示例： update 表名 set 列名=, where 逻辑表达式; update people set award=award+500 where job=处长 or job=经理;,UIBE,数据库管理系统工具 数据生成子系统,Application generation subsystem 帮助我们建立面向事物处理的应用程序 数据输入屏幕 DBMS-选择特定的 程序设计语言 利用程序设计语言设计公共的交互界面,UIBE,数据库管理系统工具 数据管理子系统,Data administration subsystem 数据库备份、数据恢复、优化查询功能,UIBE,6、数据库管理系统与Excel比较,数据库系统有逻辑结构和物理结构 数据库文件中表之间有联系 数据库系统可以建立查询、报表、窗体等帮助客户 数据库系统可以优化、备份、恢复,UIBE,数据库、数据库管理系统、数据库系统的关系,先购买和安装数据库管理系统DBMS； 使用这个DBMS去设计数据库DB； 再用DBMS实现统计等应用； 计算机、OS、用户、管理员、DB、DBMS共同构成DBS,UIBE,三层WEB体系结构,数据,服务器,WEB SERVER,应用SERVER,数据库 SERVER,HTTP,Browser,UIBE,二层结构,数据,服务器,WEB 和应用SERVER,数据库 SERVER,HTTP,Broser,UIBE,7、数据库的应用类型,事务处理（OLTP） 支持繁忙的事务信息处理，需要高的并发性及高读率的处理好技术； 决策支持（OLAP） 挖掘数据种的信息，需要好的查询算法和查询优化技术。,UIBE,电子商务应用（支持电子商务活动） 预售活动 销售过程 销售付款 交付产品及相关活动 客户支持和售后服务,UIBE,电子目录：提供浏览和搜索功能（产品、供应商、分销商、零售商，运货商等） 市场（客户、帐号、价格） 反向拍卖市场 拍卖 交易（例如股票、债券交易） 订单结算（帐务、产品、服务）,举例,UIBE,UIBE,UIBE,UIBE,数据库小结,举例，以Access为工具，建立小型数据库管理系统，参见NORTHWIND管理系统 引出三个概念 数据库 数据库管理系统 数据库系统（人、硬件、软件、数据库）,UIBE,四、数据仓库和数据挖掘 什么是数据仓库,Data warehouse 是数据的逻辑集合，这个数据来自不同的业务数据库和不同时期的数据库。其中的数据用于建立商务智能，以便支持企业的业务活动和决策。 强调： 来源：历史的、多样的 用途：支持决策制定,UIBE,1、数据仓库的定义,数据仓库之父W.H.Inmon将其定义为： 数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变化的、持久的数据集合 。,UIBE,数据仓库和数据挖掘 什么是数据仓库,UIBE,数据 加载器,查询/分析工具,数据仓库,数据源3,数据源1,数据源2,2、数据仓库体系结构,UIBE,查询和 分析工具,数据仓库,数据净化过程,数据提取过程,关系数据库,层次数据库,网状数据库,扁平文件,电子表格,最终用户访问,UIBE,3、数据仓库的关键要素,何时及如何收集数据 数据清理（纠正和预处理） 数据模式 数据源的更新 汇总何种数据,UIBE,4、数据仓库模式-星型结构,日期信息,商店信息,产品信息,客户信息,销售信息,UIBE,5、数据仓库技术的特点,数据仓库将来自不同数据库的数据集合在一起 数据仓库是多维的，是一个超立体结构；例如：区域、年份、顾客、信誉度、生产线、商品等 数据仓库是为决策服务的而不是为事务处理,UIBE,6、数据挖掘工具,Data mining tools 在数据仓库中进行信息查询的软件工具 包括 查询和报告工具 - QBE tools, SQL, and report generators. 智能代理 - 模糊逻辑、神经网络形成OLAP的信息查询基础.,UIBE,7、数据挖掘工具类型,多维分析 (MDA) tools ： slice-and-dice （一片一层）techniques that allow you to view multidimensional information from different perspectives. 统计工具 ： help you apply various mathematical models to the information stored in a data warehouse to discover new information.,UIBE,8、数据挖掘技术定义（Data Mining）,数据挖掘(Data Mining)是从数据集中识别出有效的、新颖的、潜在有用的以及最终可理解模式的高级处理过程。 从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。,UIBE,9、了解数据挖掘理论基础,数理统计 排序，计算最大值、最小值、平均值、局部汇总，同期比较、前期比较，比重分析，20/80分析。 频数分布、累计频率分布、样本均值（标准差，变异系数）、抽样技术、区间估计与假设检验 。 多元统计 聚类分析、主成分分析、因子分析 、判别分析、 相关分析、典型相关分析、对应分析、回归分析。,有的财富掌握在的人的手里； 所有的的收入来自于去年在的时间里所付出的努力（所以你去年真正工作的时间只有） 一年当中的快乐也是来自于的时间等等,UIBE,趋势预测 移动平均法、一次指数平滑法、 二次指数平滑法、最小二乘法、自适应过滤以及自动组合预测。 运筹学 马尔可夫、博奕理论、网络计划、统计决策、排队模型、因果分析图、反馈系统模型。 数学规划 人工智能与专家系统,数据挖掘理论基础（续）,UIBE,10、数据挖掘的应用,DM应用于金融业保险业 对客户进行信用等级评价 对金融市场预测和分析 信用卡模式、用户分析 确定不同行业、不同年龄、处于不同社会层次的人的保险金 险种关联分析 预测新险种的客户群 ,UIBE,DM的应用（续）,DM应用于商业 顾客购买习惯分析（尿布与啤酒） 销售商品构成分析（市场定位、商品定价） 商品销售预测、零售店选择等等 DM应用于通信服务业 用户细分 网络规划的用户预测 资费分析、新业务发展预测 客户信用分析及反欺诈 ,UIBE,常用的数据挖掘技术,人工神经网络 仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。 决策树 代表着决策集的树形结构。通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。 遗传算法 基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。寻找最优的算法。,UIBE,数据挖掘的任务,关联分析(association analysis) 关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。 聚类分析(clustering) 聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。 分类(classification) 分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。,UIBE,预测(predication) 预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。 时序模式(time-series pattern) 时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。 偏差分析(deviation) 在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。,UIBE,数据挖掘流程,定义问题：定义出业务问题，确定数据挖掘的目的。 数据准备： 数据准备包括：选择数据-在大型数据库和数据仓库目标中提取数据挖掘的目标数据集； 数据预处理-进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 结果分析：对数据挖掘结果进行解释和评价，转换成为能够最终被用户理解的知识。 知识的运用：将分析所得到的知识集成到业务信息系统的组织结构中去。,UIBE,五、企业信息资源的管理 谁来管理企业的信息资源,Chief information officer (CIO) 负责信息化战略的制定、技术方向、信息资源的宏观管理。 Chief knowledge officer(CKO)-是CIO的提升 Data administration 规划、监视和管理组织的信息资源。 Database administration 负责信息管理中偏技术方面的工作，例如建立何种数据库、怎么加密、压缩等。,UIBE,企业信息资源的管理 技术变化将对信息的组织和管理哪些影响？,技术改变? 查询工具的集合? 信息所有权? 道德规范?,UIBE,Syntellects 在线事务处理系统,UIBE,CASE-汇园ERP中的数据库,公司情况： 创建于1992年6月，是目前国内知名度很高的大型果汁饮料生产企业之一。 主要从事各种果蔬汁的开发、生产和销售，年生产成品果蔬汁饮料50万吨，产品有6大类、90多个品种，果汁饮料生产规模位居全国第一。 据中国饮料协会提供的数据：2000年全国果汁饮料的总产量为97万吨，其中汇源果汁占了22万吨左右，以23%的市场份额雄居第一。 从1998年开始就已经选用了浪潮通软公司基于Sybase数据库系统的Windows版财务管理软件，并且取得了良好的效果,UIBE,财务到ERP,2001年，技术人员对汇源果汁财务、竞争力、管理、组织结构及市场环境等状况进行了认真的调查研究，并与汇源公司的各层人员进行了沟通，对该公司各方面状况有了比较深入的了解。在放眼全局、把握行业和公司特色的基础上，IT公司为汇源果汁量身定制