资料仓储与资料探勘课件

资料仓储与资料探勘1感谢你的观看2019年9月21资料仓储与资料探勘1感谢你的观看2019年9月21资料仓储之介绍资料仓储的目的是希望藉由整合公司内部的资料并综合各种外部资料，进而对公司重要决策者提供一个整体的、广泛的讯息认知、以供完成一策略性的决策根据MetaGroup在1993年的调查，仅有5%的公司对资料仓储有兴趣。到了1994年已上升至90%，可见未来几年资料仓储是一极为重要的成长领域2感谢你的观看2019年9月21资料仓储之介绍资料仓储的目的是希望藉由整合公司内部的资料并综资料仓储之介绍(续)根据MetaGroup的调查，资料仓储的软件硬件服务与市场规模将由1996年的20亿美金成长到2000年的120亿美金，使得如IBM、Oracle等知名大厂纷纷投入此一领域根据IDC在1996年对62家公司所作的研究显示，资料仓储的投资报酬率最高可达到600%，且有一半财务利益来自于决策的制定，显示资料仓储确实可以支援组织的决策之制定3感谢你的观看2019年9月21资料仓储之介绍(续)根据MetaGroup的调查，资料仓储资料仓储之定义资料仓储之父BillInmon认为资料仓储为决策支援系统的核心BillInmon和ChuckKelley认为资料仓储不仅为数据库、且具有下列特性：整合性：包含应用程序、数据库、计算机系统主题导向：回答组织特定问题时间变量：随时间变化的动态资料非变动性：4感谢你的观看2019年9月21资料仓储之定义资料仓储之父BillInmon认为资料仓储为资料仓储之定义(续)JohnvandenHoven认为资料仓储是经改良过的决策支援系统，可产生高阶的(high-level)、整合的(Integrated)、系统化的(organized)、结构化的(structured)资料以应用于协助商业决策综上所述，资料仓储是经由建立集合式的资料仓库，从多个分散的资料来源中搜集资料，配合分析工具，支援决策者的决策制定5感谢你的观看2019年9月21资料仓储之定义(续)JohnvandenHoven认为资料仓储之特性传统数据库着重于单一时间之单一资料处理(onerecordatatime)、偏重于撷取详细之资料以供参考、注意资料档的构成及资料正规化(normalization)，且使用者多为中阶经理人员资料仓储注重某一段时间内之综合资料(summarydataonagiventimeperiod)、注重大批资料提供之走向趋势、注重资料本身所内涵之意义及讯息，且使用者为决策支援系统和高阶主管信息系统的使用者6感谢你的观看2019年9月21资料仓储之特性传统数据库着重于单一时间之单一资料处理(one资料仓储之技术资料储存(DataStore)现在资料仓储中之资料储存可称为作业型资料储存(OperationalDataStore)，一种储存机制依资料时效性区分，可将资料区分为实时的(Real-time)、接近实时的(NearReal-time)、与某时点(Point-in-time)的资料一般资料仓储储存都是历史资料，可称为时点性的资料(Point-in-timedata)，其应用范围包括简单的查询到复杂的资料提炼等7感谢你的观看2019年9月21资料仓储之技术资料储存(DataStore)7感谢你的观看资料仓储之技术(续)资料提炼(DataMining)资料提炼是属于发现导向(discovery-basedapproach)方式，从不同资料来源搜集大量资料，经过详确的分析后，提供有价值的信息给使用者，一般用于营销决策上。资料提炼常可发掘出超越归纳范围的关系，与传统OLAP(On-LineAnalyticalProcessing)大不相同，可用于个人化营销。8感谢你的观看2019年9月21资料仓储之技术(续)资料提炼(DataMining)8感谢资料仓储之优缺点优点有形的优点可整合企业各部门的资料及减少作业成本企业内部文件趋向单一规格化，便于储存与查阅。此一企业内文件规格之整合乃是一极大优势9感谢你的观看2019年9月21资料仓储之优缺点优点9感谢你的观看2019年9月21资料仓储之优缺点(续)无形的优点资料来源可由各部门取得，充分运用组织资源确保日常作业不受干扰提升企业的效率与生产力可充分运用组织所掌控的信息来获竞争优势10感谢你的观看2019年9月21资料仓储之优缺点(续)无形的优点10感谢你的观看2019年9资料仓储之优缺点(续)

提供更快的信息以增强加速决策的质量提供实时有效的信息资料可信赖度高使用者可经由单一查询界面获得所需信息可从仓储的历史资料中预测未来趋势与结果11感谢你的观看2019年9月21资料仓储之优缺点(续)提供更快的信息以增强加速决策的质量资料仓储之优缺点(续)缺点资料仓储的开发往往为一极大的投资，风险性高资料仓储的开发相当费时若是软硬件规格不一，将会有无法跨平台存取资料的问题仓储中庞大的历史资料的管理问题-需用汇总资料(metadata)技术加以管理资料更新的问题-可采异步方式更新12感谢你的观看2019年9月21资料仓储之优缺点(续)缺点12感谢你的观看2019年9月21资料仓储之发展架构由于资料仓储为一高投资、高风险、需求不定且开发费时的一项工程，所以需要做长期的规划，应采雏型法(Prototyping)开发。开发过程主要分为四个阶段，分别是：资料收集系统分析系统设计系统维护13感谢你的观看2019年9月21资料仓储之发展架构由于资料仓储为一高投资、高风险、需求不定且资料仓储之发展架构-资料收集资料收集资料收集的主要目的在于定义企业需求。必须先成立工作小组或指导委员会(steeringcommittee)，系统开发的工作交由工作小组负责，而指导委员会扮演监督、控制与管理的角色。企业目标订定，并研拟达成这些目标所需的决策过程及所需资料。此阶段另一重要的工作为了解使用者的需求，需产出需求定义规格书，内容详细记录使用者的需求。14感谢你的观看2019年9月21资料仓储之发展架构-资料收集资料收集14感谢你的观看2019资料仓储之发展架构-系统分析系统分析此阶段的参与者以负责开发系统的工作小组为主，根据前一阶段所产生的需求定义规格书，并进一步分析规格书内所纪录的使用者需求。15感谢你的观看2019年9月21资料仓储之发展架构-系统分析系统分析15感谢你的观看2019资料仓储之发展架构-系统分析

在此阶段中，可评估系统的五个可行性：技术可行性(technicalfeasibility)

经济可行性(economicfeasibility)

法律可行性(legalfeasibility)

操作可行性(operationalfeasibility)

时程可行性(schedulingfeasibility)16感谢你的观看2019年9月21资料仓储之发展架构-系统分析在此阶段中，可评估系统的五个可资料仓储之发展架构-系统分析技术可行性分析系统软硬件可行性评估数据库架构的可行性，包括使用关联式或非关联式数据库系统存取时间及回应时间的评估资料来源整合的可行性17感谢你的观看2019年9月21资料仓储之发展架构-系统分析技术可行性分析17感谢你的观看2资料仓储之发展架构-系统分析经济可行性分析分析资料仓储明确的效益分析开发资料仓储的投资报酬率分析开发资料仓储的风险评估有形、无形成本与利益系统效益的评估(作业成本、服务质量)18感谢你的观看2019年9月21资料仓储之发展架构-系统分析经济可行性分析18感谢你的观看2资料仓储之发展架构-系统分析法律可行性分析资料所有权与资料隐私的问题企业外部资料来源的合法性系统软硬件的合法性操作可行性分析分析使用者是否熟悉资料仓储的作业是否对使用者或数据库管理者进行教育训练19感谢你的观看2019年9月21资料仓储之发展架构-系统分析法律可行性分析19感谢你的观看2资料仓储之发展架构-系统分析时间可行性分析系统开发的时间需要多久分析系统开发的进度分析不同时间点的资源需求未来资料成长率的预期与评估进行可行性分析之后，可产生可行性分析规格书。20感谢你的观看2019年9月21资料仓储之发展架构-系统分析时间可行性分析20感谢你的观看2资料仓储之发展架构-系统设计系统设计企业层面企业政策企业需求与目标的确定评估资料仓储对企业的冲击分析是否引进资料仓储21感谢你的观看2019年9月21资料仓储之发展架构-系统设计系统设计21感谢你的观看2019资料仓储之发展架构-系统设计

企业政策选择系统开发方式是否与仓储供应商策略性合作妥善评估需要建制资料仓储或是资料超市22感谢你的观看2019年9月21资料仓储之发展架构-系统设计企业政策22感谢你的观看20资料仓储之发展架构-系统设计人员清楚明确的权责划分开发小组组成(包含熟悉各部门事务专业人士)考虑是否聘请专业顾问23感谢你的观看2019年9月21资料仓储之发展架构-系统设计人员23感谢你的观看2019年9资料仓储之发展架构-系统设计

召开经常性会议以掌握进度仓储开发成功的关键在于参与计划的人员皆能持

续专注的涉入对于开发人员进行教育训练企业应有紧急应边措施计划24感谢你的观看2019年9月21资料仓储之发展架构-系统设计召开经常性会议以掌握进度24资料仓储之发展架构-系统设计使用者使用者须与系统开发者保持良好的互动及合作关系使用者的训练不容忽视，特别是查询工具使用的训练评估设计出的系统是否会引起使用者的抗拒，而拒绝使用25感谢你的观看2019年9月21资料仓储之发展架构-系统设计使用者25感谢你的观看2019年资料仓储之发展架构-系统设计

技术层面硬件考虑使用平行处理技术因为资料成长速度极快，因此对资料的储存空间

不可轻忽设计硬件规格时，需注意未来的扩充性及整合性。26感谢你的观看2019年9月21资料仓储之发展架构-系统设计技术层面26感谢你的观看20资料仓储之发展架构-系统设计软件在数据库管理系统方面，资料仓储的数据库系统通常是关连式数据库，包括DB2、Oracle、Sybase等。而用户端的查询工具软件通常为微软的Access、或是多维度数据库的RedBrick。在作业系统方面，大型主机使用MVS，服务器使用UNIX、OS/2或NT，而客户端工作站使用NT、Win95、或OS/227感谢你的观看2019年9月21资料仓储之发展架构-系统设计软件27感谢你的观看2019年9资料仓储之发展架构-系统设计

软件评估数据库管理系统应采关联式数据库(RelationalDBMS)、物件导向数据库、或是多维度数据库系统(MultidimensionalDBMS)

注意软硬件的整合28感谢你的观看2019年9月21资料仓储之发展架构-系统设计软件28感谢你的观看2019资料仓储之发展架构-系统设计标准需建构统一的标准及规格应选择SNA或TCP/IP的网络通讯协定，以利整合速度资料通讯以何种方式达成资料通讯的目的(Internet,WAN,LAN)网络的架构应使用主从式、分散式、或集中式是否须将企业内部资料公开29感谢你的观看2019年9月21资料仓储之发展架构-系统设计标准29感谢你的观看2019年9资料仓储之发展架构-系统设计

兼容性需注意各工具的整合性及不同平台上异质数据库之存档功能应做到跨平台存取与多个数据库系统之整合30感谢你的观看2019年9月21资料仓储之发展架构-系统设计兼容性30感谢你的观看201资料仓储之发展架构-系统设计安全性评估并做好重要资料的存取控制做好存取资料权限的控制管理31感谢你的观看2019年9月21资料仓储之发展架构-系统设计安全性31感谢你的观看2019年资料仓储之发展架构-系统设计

资料层面资料质量掌握资料的一致性及普遍性(资料来源整合)

资料萃取(extraction)、传播(propagation)、和转换

(transformation)的质量评估资料的正确性更新时保持资料的同步性及一致性、更新频率历史资料的时间性32感谢你的观看2019年9月21资料仓储之发展架构-系统设计资料层面32感谢你的观看2资料仓储之发展架构-系统设计汇总资料管理汇总资料之分析处理该如何建构汇总资料的元素(dataelement)应该包括哪些内容数据库管理目前系统能否因应未来成长需求资料权限控制33感谢你的观看2019年9月21资料仓储之发展架构-系统设计汇总资料管理33感谢你的观看20资料仓储之发展架构-系统设计

资料查询需提供一友善的前端查询界面应完善评估查询工具(工具与软硬件兼容性、直接存取或ODBC)

查询工具挖掘(drill-down)能力的评估评估资料查询的反应时间、实时性与稳定性34感谢你的观看2019年9月21资料仓储之发展架构-系统设计资料查询34感谢你的观看20资料仓储之发展架构-系统维护系统维护此阶段须工作小组与使用者相互配合。以下从系统、资料、使用者三方面讨论此阶段的工作项目系统方面系统的资料存储量必须容纳未来的成长安全性是维护的重点再新增设备时须考虑系统整合性系统效能的管理(反应时间、搜寻速度)35感谢你的观看2019年9月21资料仓储之发展架构-系统维护系统维护35感谢你的观看2019资料仓储之发展架构-系统维护资料方面需按时程更新，并将更新情形告知使用者汇总资料的管理是一项重点管理资料量的成长是重要工作之一使用者方面使用者的教育训练是此阶段重要的工作系统正式上线后，需让使