上海证券交易所数据挖掘培训 III

上海证卷交易所数据挖掘培训一、概览,刘世平博士,议程,商业智能数据挖掘:定义和方法数据挖掘流程数据挖掘技术,什么是商业智能?,收集，管理，分析海量数据并从中提取知识广泛地应用信息来推动商业战略以及方案的决策,商业智能的重要组成部份,数据仓库数据挖掘,世界顶级商业智能所具备的核心功能,通过数据仓库整合客户数据高效的用户访问/查询/报表系统多维数据分析能力先进的数据挖掘能力高效的商业策划管理和跟踪系统,将分散的客户数据整合在数据仓库里可以让我们更全面地了解客户的特征。,数据仓库的定义,数据仓库有两种意思:数据仓库环境和数据仓库数据库(企业数据仓库，中心数据仓库)数据仓库是将一个或几个数据库整合并协调成一个系统，该系统为商业机构中的所有部门解决各自的商业问题提供一致且和谐的商业智能服务，同时也为商业机构的战略策划提供支持.,数据仓库的主要特征,从一个公司的整体角度下整理出提供决策支持和信息应用的数据建立历史数据模型并尽可能包含其它信息一致性，整体性，安全性和清洁性所有决策支持和信息应用的信息源,数据仓库目标,任何一个数据仓库都必须帮助解决商业困难(营业额的减少，竞争力的薄弱，高额成本，以及市场份额的减少)。,数据仓库目的,提高数据质量减少非一致性报表提取和提供Metadata提供数据共享提供更好的数据访问能力在多数据源中任意传递信息及时提供信息实现数据的一致性减少新报表特别是非常规报表的需求减少非一致性报表之间协调的工作量对多数据源进行整合将历史数据和现有数据整理在与一起,上交所的高层次目标,系统必须满足股票市场所有的信息需求系统必须为管理层和政府官员的决策提供信息服务,数据仓库的理想特征,很高的数据质量很强的数据可用性良好的性能良好的数据扩展性良好的数据完整性很高的用户接纳性合理的费用能在合理的时间交付使用对公司提供重要且积极的影响,什么是ODS?,操作数据存储OperationalDataStore(ODS)：它是为支持业务运作报表服务设计的，必须面向对象设计，完整地而又频繁地支持操作系统不可以完成的报表服务。,区别,通常来说，ODS和数据仓库的区别在于数据仓库比较稳定而ODS因业务需要而经常变更。,数据挖掘:定义和方法,数据挖掘的定义,有应用价值的信息,数据挖掘是从大量数据中挖掘出事先未知而又有应用价值的信息,操作系统,数据仓库,数据集市,数据挖掘是数据分析的一种发掘形式,方法,收集,转化,挖掘,知识吸收,数据转化,信息提取,信息吸收,数据收集,数据仓库,每一个数据挖掘过程都依赖前一个过程,数据收集和数据创造,数据探索,模型应用,模型建立,数据挖掘的流程是相互链接的,任何一步出错都将导致整体出错,工作量分布,数据挖掘的团队结构,数据挖掘的流程,数据挖掘流程,1.业务目的确定,7.数据挖掘,8.结果解释,数据挖掘技术,数据挖掘技术,预测模型分类值预测分割链接分析时间序列预测,分类技术,差异分析目的确定哪些变量可以用来区分两个或多个组别.两个规则线性规则二次规则优点每个分类的先验概率可以很容易地被包含在规则构建过程中错误分类的成本同样可以很容易包括在规则构建过程中不足用作预测的变量必须正态分布,分类技术,逻辑-线性回归目的通过一种逻辑-线性回归的方法来了解自变量和应变量之间的相关程度优点可以发现哪些变量可以更好地预测输出的概率值介于0和1之间(线性回归则不可以).不足概率必须满足S型分布。,分类技术,决策树目的预测和解释类别变量响应的概率优点提供业务决策准则不足将空间分成连续的小正方形，但实际中的分割不见得是正方形分割并不一定是最佳的,分类技术,神经网路分类目的应用神经网路技术的非线性特性来作分类预测优点非线性简单易用不足黑箱子只能应用在连续型变量,神经元,权值,买,不买,所有客户,注册时间,员工数目,注册资金,神经网路,值预测技术,线性回归目的找到一条线使所有预测值和真实值的偏差最小优点简单易用速度快不足实际应用对象不一定存在线性关系偏离分布很远的点对线的形成会产生很大的负面影响,值预测技术,非线性回归目的采用非线性函数来描述自变量和应变量的关系优点非线性不足必须在曲线拟和之前了解自变量和应变量存在什么样的非线性关系,值预测技术,径函数目的将输入空间分割成不同区域，每个区域对应的输出相似在每个区域的中心用一个径函数来预测输出区域的间隔用相邻的径函数输出的加权来预测加权的权值随距离增大而减小优点非线性而又光滑不足对噪声很敏感,分割技术,K-均值目的形成K个相互不同的类，每个类用各自中心点的表示优点简单易用不足对类别变量无能为力采用欧几里德距离来衡量相似性有时未必合适K的大小是用户武断选取,分割技术,Demographics聚类目的对分类型变量进行分割技术用一种叫Condorset的投选方法来描述相似性对每个数据都用其最大相似性来进行归类优点可以对分类型变量进行聚类速度快可以自动确定聚类的数目不足阀值在一些情况下很难选取,分割技术,Kohonen聚类目的采用特征映象的方法来进行分割优点分割结果比较平滑不足类似k-均值，所以具有K-均值的缺陷需要较长的运行时间,链接技术,关联分析目的发现商品购买之间的相互关系(不考虑商品购买的前后次序)序列关联分析目的发现商品购买之间的相互关系(考虑商品购买的前后次序),链接技术,相似时间序列分析目的发现相似的时间序列段,相似时间序列的判定参数,Epsilon:描述两个事件序列非相似性的相对容忍范围.如果在此值范围内就相似，超过此范围就不相似。,Gap:描述可以接受的序列2超出Epsilon范围的连续时间间隔。,Windowsize:描述两个序列相似性比较的时间元序列的大小。在此元序列