第八章-数据仓库和数据挖掘

第三局部客户关系管理技术第八章数据仓库和数据挖掘本章要点数据库系统数据仓库系统数据挖掘1.数据库系统(DatabaseSystem)1.1数据库系统组成数据库按一定的数据模型组织、描述和存储的，有组织、可共享的数据集合数据库管理系统〔DBMS〕帮助用户建立、使用和管理数据库的软件系统硬件系统用户1.2数据库系统结构数据库管理系统DBMS数据库数据定义数据处理应用系统生成数据管理建立和修改元数据查询和编辑数据生成菜单数据输入用户及权限用户：硬件系统1.3数据库系统三级模式结构数据库数据库管理系统(DBMS)内模式概念模式外模式用户客户编号客户名称性别住址电话单位概念模式：实例：80001张玉女X市110学校客户编号客户名称性别住址外模式1：实例：80001张玉女X市客户编号客户名称性别电话单位外模式2：实例：80001张玉女110学校1.4关系数据库关系数据库在一个给定的应用领域中，所有实体及实体间的联系的关系集合构成关系数据库(图)结构化语言(SQL)关系数据库实例IDC_IDProduct15MP323Camera35Phone42MP351CameraOrdersIDNameAgeSex1Mary18F2Tom39M3John28M5Katie27FCustomer主键外键主键SQL:创立表(Createtable)CreatetableCustomer IDnumber(3)primarykey,Namechar(8)notnull,Agenumber(2),Sexchar(2) IDNameAgeSexCustomerSQL:输入数据〔Insertinto〕InsertintoCustomer values(1,“Mary〞,18,“F〞)IDNameAgeSex1Mary18FCustomerIDNameAgeSex1Mary18F2Tom39M3John28M4Rose14F5Katie26FCustomerSQL:删除数据〔Delete〕DeletefromCustomerwhereID=4IDNameAgeSex1Mary18F2Tom39M3John28M5Katie26FSQL:更新数据〔Update〕UpdateCustomersetAge=27 whereID=5IDNameAgeSex1Mary18F2Tom39M3John28M5Katie27FSQL:查询数据〔Select〕SelectID,Name,AgefromCustomer

whereAge>20andAge<30IDNameAge3John285Katie27SQL:联合查询数据(Select,Join)IDC_IDProduct15MP323Camera35Phone42MP351CameraOrdersIDNameAgeSex1Mary18F2Tom39M3John28M5Katie27FCustomer主键外键主键SQL:联合查询数据(Select,Join)SelectCustomer.ID,Name,Age,Sex,ProductfromCustomer,Orders whereCustomer.ID=Orders.C_IDIDNameAgeSexProduct1Mary18FMP32Tom39MCamera3John28MCamera5Katie27FMP35Katie27FCamera2.数据仓库系统

(DataWarehouseSystem)2.1数据仓库和数据库的区别数据库系统(OLTP)数据仓库系统(OLAP)面向事务处理面向主题，注重数据的建模和分析通常与特定应用相关，数据库之间独立，往往是异构型集成多种异构数据源，包括关系数据库、面向对象数据库、文本、Web数据等主要反映一个时刻的数据反映一个时间段的数据变化数据的增删钙操作频繁内容相对稳定，只有数据加载和访问两种操作2.2数据仓库系统的体系结构数据源抽取、清理转载、刷新服务分析工具查询工具数据挖掘工具报表工具OLAP服务器数据集市数据仓库数据的存储与管理前端工具关系数据库面向对象数据库文本2.3数据仓库设计流程概念模式设计〔图〕创立数据仓库，转换数据〔图〕创立OLAP数据库,进行多维分析〔图〕2.3.1概念模型设计确定主题和所需信息如，客户销售事实信息事实表：Sales维度表：Customer维度表：Category维度表：Product维度表：Employee维度表：Supplier维度表：Time2.3.2创立数据仓库，转换数据新建数据仓库crm.dw〔图〕根据设计的概念模式，从数据库crm.db中抽取、筛选数据，存入新建的数据仓库〔图〕crm.dw数据仓库表关系EmployeeIDEmployeeNameTitleEmployeeCustomerIDCompanyNameContactNameCityRegionCountryCustomer维度表维度表维度表ProductIDCategoryIDProductNameProductSupplierIDSupplierNameSupplier维度表CategoryIDCategoryNameCategory维度表EmployeeIDProductIDSupplierIDCustomerIDOrderDateQuantityUnitPriceDiscountTotalSales事实表OrderDateTime维度表crm.db数据库表关系CategoryIDCategoryNameDescriptionPictureCategoriesProductIDProductNameSupplierIDCategoryIDUnitPriceDiscontinuedProductsOrderIDCustomerIDEmployeeIDOrderDateShippedDateShipAdderssOrdersEmployeeIDLastNameFirstNameTitleBirthdayAddressEmployeesCustomerIDCompanyNameContactNameTitleCityRegionCountryPhoneCustomersSupplierIDSupplierNameContactNameAddressCityRegionSuppliersOrderIDProductIDUnitPriceQuantityDiscountOrderDetails转换数据cmr.dbcrm.dwProduct维度表转换数据任务Employee维度表转换数据任务Customer维度表转换数据任务Category维度表转换数据任务Supplier维度表转换数据任务Time维度表转换数据任务Sales事实表转换任务SQL语句：SelectProductID,CategoryID,ProductNameFromProducts2.3.3创立OLAP数据库,进行多维分析创立Customer_sales_OLAP数据库从数据仓库cmr.dw中选择事实表Sales，确定度量值〔图〕创立多维数据集Customer_sales_5〔图〕浏览多维数据集Customer_sales_5〔图〕确定的度量值：Quantity,UnitPrice,Discount,TotalEmployeeIDProductIDSupplierIDCustomerIDOrderDateQuantityUnitPriceDiscountTotalSales事实表确定度量值创立和浏览多维数据集sales_5通过创立多维数据集向导创立多维数据集，并设定维度级别Customer维度，维度级别Country,City等Product维度，维度级别CategoryName,ProductNameEmployee维度，维度级别EmployeeNameSupplier维度，维度级别SupplierNameTime维度，维度级别OrderDate2.4数据仓库在CRM中的作用客户行为分析重点客户发现客户流失预警个性化效劳市场性能评估3.数据挖掘〔DataMining)3.1数据挖掘的概念数据挖掘从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程3.2数据挖掘和联机分析处理的区别联机分析处理需要以假设为前提，属验证驱动型分析数据挖掘没有明确假设的前提，属发现驱动型分析3.3数据挖掘的功能数据总结〔Summarization〕将大量数据缩减为令人易于理解的、有意义的提要。如，总结出客户群的特征，它与其它客户群的区别以其区别产生的原因分类(Classification)将数据映射到预先给定类别中的一个如，分析客户的贷款风险，从而决定其贷款额统计回归(Regression)将数据映射到一个实数预测值3.3数据挖掘的功能聚类(Clustering)客观地按被处理对象的特征分类，有相同特征的对象被归为一类如，有相同行为的客户组群关联(Associations)挖掘出数据库中隐藏的关联网如，产品搭配销售3.3数据挖掘的功能预测(Prediction)自动在数据库中寻找预测性信息如，销售预测时间序列分析(TimeSeriesAnalysis)又称趋势分析，即从相当长的时间的开展中发现规律和趋势如，客户在银行开了一个支票账户，并在三个月内又开了一个储蓄账户，那么他在六个月内将有24％的时机再开一个信用卡账户3.4数据挖掘的技术统计分析方法(Statistics)决策树(DecisionTree)人工神经网络(ArtificialNeuralNetwork)基因算法(GeneticAlgorithm)粗糙集(RoughSet)可视化技术(Visualization)决策树决策树提供了一种展示什么条件下会得到什么值的规那么的方法可用于分类功能比方，在贷款申请中，要对风险大小作出判断贷款风险决策树收入>40,000？是否高负债？工作时间>5年?低风险高风险……….….….….是否是是否否人工神经网络人工神经网络分为输入层、输出层和隐含层；神经网络的节点之间对应一个权重(Weight)，可经过不断的训练调整权重人工神经网络分为监督式学习〔可用于分类〕和非监督式学习〔可用于聚类〕人工神经网络〔监督式学习〕输入依误差调整权重真实值预测值132比较人工神经网络〔非监督式学习〕输入调整优胜单元至输入层之权重竞争优胜单元胜出132基因算法基因算法是模拟生物进化的算法，由繁殖(Propagation)、交叉(Crossover)、变异(Mutation)组成其目的是模拟进化理论，选出优化方案基因算法父代：000|000111|111子代：111|000000|111交叉、繁殖子代：011|000010|111突变3.5数据挖掘的流程问题定义数据准备数据挖掘结果分析3.5.1问题定义 企业将要推出一款新的产品，为了进行宣传推广，要给潜在的客户进行推销，或者发邮件给对该产品可能有兴趣的客户。这是一个非常昂贵的举措，企业就想找到一种既降低本钱又不降低营销效果的方法。 无论是通过、邮件、或是面对面接触，进行直销的企业必须为每一位它要接触的客户消耗本钱。而大多数情况下，客户都是对其没有响应。客户响应率是指接触客户中做出响应的客户所占的比率。如果客户响应率很低，企业就会发现她在客户接触中花掉太多的本钱。 如果有什么方法可以通过在进行直销之前预测哪些客户可能会对推销有兴趣从而提高客户响应率的话，这将大大提高直销企业的利润。3.5.2数据准备导入数据数据转换建立训练集和测试集初步分析3.5.3数据挖掘3.5.3数据挖掘3.5.4结果分析3.6数据挖掘在CRM中的应用数据挖掘在客户关系管理中的作用主要表达在以下几个方面:市场销售客户效劳客户保持风险评