哈尔滨医科大学《数据挖掘》第1章 绪论ppt课件

1、 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 1 数据发掘数据发掘: 绪论绪论第1章 绪论 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 2 l数据 l电子商务网站的日志l银行帐务数据l顾客购物的数据l 为什么要进展数据发掘为什么要进展数据发掘? 商业观念商业观念为什么要进展数据发掘为什么要进展数据发掘? 科学观念科学观念l医学、科学、工程技术界医学、科学、工程技术界l 正快速积累大量数据正快速积累大量数据 (GB/hour)l地表、海洋和大气的地表、海洋和大气的l 全球观测数据全球观测数据l基因组数据基因组数据l数据发掘技术可以协助处置这些数据数

2、据发掘技术可以协助处置这些数据 l干旱和飓风等生态扰动与全球变暖关系？干旱和飓风等生态扰动与全球变暖关系？l 海洋外表温度对地表降水量和温度影响？海洋外表温度对地表降水量和温度影响？l蛋白质构造预测、多序列比对、生物蛋白质构造预测、多序列比对、生物l 化学通路建模、种系发生学化学通路建模、种系发生学 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 4 什么是数据发掘什么是数据发掘?l定义定义l数据发掘是在大型数据存储库中，自动地发数据发掘是在大型数据存储库中，自动地发现有用信息的过程。现有用信息的过程。l数据发掘技术用来探查大型数据库，发现先数据发掘技术用来探查大型数据库，

3、发现先前未知的有用方式前未知的有用方式. 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 5 什么是数据发掘什么是数据发掘?什么不是？什么不是？l 什么是数据发掘什么是数据发掘?l把搜索引擎得到的类似数据合把搜索引擎得到的类似数据合并在一同并在一同 (e.g. Amazon rainforest, Amazon,)l 利用网络数据分析哪些歌星在利用网络数据分析哪些歌星在中国的名气最高中国的名气最高 l 什么不是数据发掘什么不是数据发掘?l 在本里搜在本里搜l 索号码索号码l l 利用搜索引擎利用搜索引擎 l如如“Google搜索搜索“Amazon 李春权 数据挖掘 哈尔滨医

4、科大学 生物信息科学与技术学院 2012 6 l数据发掘利用了来自若下一些领域的思想：数据发掘利用了来自若下一些领域的思想：l()统计学的抽样、估计、假设检验统计学的抽样、估计、假设检验l()人工智能、方式识别、机器学习人工智能、方式识别、机器学习l 的搜索算法建摸技术、学习实际的搜索算法建摸技术、学习实际l()最优化、进化算法、最优化、进化算法、l 信息论、信号处置、信息论、信号处置、l 可视化、信息检索可视化、信息检索l()数据库技术、并行计算数据库技术、并行计算l 、分布式计算、分布式计算l传统的方法能够不适宜传统的方法能够不适宜 l数据量宏大数据量宏大l数据维度高数据维度高l数据异种性

5、具有序列数据异种性具有序列l 和三维构造的和三维构造的DNA数据数据数据发掘的来源数据发掘的来源人工智能、人工智能、机器学习机器学习和方式识别和方式识别统计学统计学数据发掘数据发掘数据库技术、数据库技术、并行技术、分并行技术、分布式技术布式技术 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 7 数据发掘的义务数据发掘的义务l预测l运用知变量预测未知变量的值.l描画l导出潜在联络的方式相关、趋势、聚类、异常. 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 8 数据发掘的义务数据发掘的义务l分类 预测l聚类 描画l关联分析 描画l异常检测 预测 李春权

6、数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 9 分类分类 例子例子TidRefundMaritalStatusTaxableIncomeCheat1YesSingle125KNo2NoMarried100KNo3NoSingle70KNo4YesMarried120KNo5NoDivorced95KYes6NoMarried60KNo7YesDivorced220KNo8NoSingle85KYes9NoMarried75KNo10NoSingle90KYes10categoricalcategoricalcontinuousclassRefundMaritalStatusTa

7、xableIncomeCheatNoSingle75K?YesMarried50K?NoMarried150K?YesDivorced90K?NoSingle40K?NoMarried80K?10TestSetTraining SetModelLearn Classifier 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 10 聚类聚类Intracluster distancesare minimizedIntercluster distancesare maximized 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 11 关联分析关联分析: 定义

8、定义l用来发现描画数据中强关联特征的方式，所发现的方式通常用蕴涵规那么或特征子集的方式表示。由于搜索空间是指数规模的，关联分析的目的是以有效的方式提取最有趣的方式;l找出具有相关功能的基因组、识别一同访问的Web页面、了解地球气候系统不同元素之间的联络.Rules Discovered: Diaper - Milk Diaper, Milk - Beer 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 12 数据发掘的挑战数据发掘的挑战l可伸缩l高维性l异种数据和复杂数据l数据的一切权和分布l非传统数据 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 1

9、3 可伸缩可伸缩 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 14 高维性高维性 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 15 异种数据和复杂数据异种数据和复杂数据 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012 16 2. DIP数据库数据库 DIP数据库是专门存储蛋白质相互作用信息的数据库。该数据库中也包数据库是专门存储蛋白质相互作用信息的数据库。该数据库中也包含人工检查的可靠信息和自动计算方法所获取的高通量数据。含人工检查的可靠信息和自动计算方法所获取的高通量数据。 3.MIPS数据库数据库 MIPS数据库是一个跨物

10、种的综合性数据库，包含多种数据库信息。数据库是一个跨物种的综合性数据库，包含多种数据库信息。其中的其中的CYGD数据库提供了比较完好酵母蛋白质互作信息。而数据库提供了比较完好酵母蛋白质互作信息。而MIPS哺乳动物数据库哺乳动物数据库MPPI那么提供了经过人工检查的哺乳动物蛋白质互那么提供了经过人工检查的哺乳动物蛋白质互作信息。作信息。 4.BioGrid数据库数据库 BioGrid数据库是一个包含多物种蛋白质互作信息的数据库。数据数据库是一个包含多物种蛋白质互作信息的数据库。数据库中包含来自多个物种的互作信息，其中即包括物理互作信息也包库中包含来自多个物种的互作信息，其中即包括物理互作信息也包括遗传互作信息。括遗传互作信息。 主要记录蛋白质互作在内的生物分子间的相互作用信息，并将其中的主要记录蛋白质互作在内的生物分子间的相互作用信息，并将其中的信息分为经过人工检查的可信信息和高通量数据信息。信息分为经过人工检查的可信信息和高通量数据信息。 1. BIND数据库数据库 数据的一切权和分布数据的一切权和分布 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2012