Lecture1-Intro数据挖掘

1、,数据挖掘(Data Mining),主讲教师：邵俊明 Email: TelData Mining Lab, Big Data Research Center School of Computer Science and Engineering, UESTC Http:/,邵俊明，教授，博导，洪堡学者 数据挖掘实验室，计算机学院 大数据研究中心 办公室：主楼B1-205 Email： 研究方向：数据挖掘、机器学习、脑科学,2013数据挖掘学习群： 217711495 助教：张众、李培炎,参考资料,教科书 数据挖掘：概念与技术，Jiawei Han, Micheline

2、 Kamber和 Jian Pei 著，机械工业出版社(2012) 参考书 1）数据挖掘实用机器学习技术（weka） 2）统计学习方法（李航） 3）集体智慧编程 公开课 (Couresa) 1）机器学习基石(台湾大学) 2）机器学习（Andrew Ng） 3）海量数据挖掘（斯坦福大学）,课堂教学：32学时 上机实验：16学时 总成绩 = 期中考试（15） 平时作业+上机实习（20%） 期末考试（65%）,课程安排及考核方式,内容纲要,第一章 概论,1.1 为什么要数据挖掘?,数据大爆炸,fMRI/ DTI,Stock Data,BIG DATA,Media/Entertainmet,Wall

3、Mart: 2.5 PB/hour,Industry,Healthcare,DNA,*Note: some pictures derived from internet,E-commerce,Gene Sequence,Messenger Watch,Sensor,Manufacture,9,FEATURESThe FOUR Vs of BIG DATA,10,知识发现,我们浸没在数据的海洋，却渴望知识的淡水！ 解决方法：数据挖掘(DATA MINING),数据矿山,数据挖据,有用信息,数据挖掘到底能带给我们什么？,Example流感预测,2009年，H1N1病毒流行的时候，几位Google

4、工程师在著名的自然科学期刊中发表了一篇论文。他们透过美国最常使用的前5000万个搜寻关键字，再与疾管局2003-2008年间的流感传播资料加以比对，用高达4.5亿种不同的数学模型，找出这些字出现的频率、时间及地点，有没有统计上的相关性(correlation)。最后被他们挖到宝了，这套软件找出了45个流感关键字眼，放进数学模型之后，预测结果与官方公布的真实资料吻合，并且和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到。,英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。,使直邮的回应率提高了100。,E

5、xample电信,GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。,通过数据挖掘的方法使库存成本比原来减少了3.8%。,零售商店,美国国内税务局需要提高对纳税人的服务水平。,合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务。,税务局,汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。,营销费用减少了30。,银行,数据改变我们的思维和工作方式,什么比让数据说话更令人信服呢？,设计1,设计2,Does underlining increase or decrease clickthrough-rate? OEC: Clickthrough-Rate on

6、 1st search engine results page (SERP) per query,A,B,A,B,想想数据挖掘能为你带来什么呢？,- 信息推荐：书籍/衣服/？ 找到一个合适的工作？ 男/女朋友 : ),1.2 什么是数据挖掘?,什么是数据挖掘？,数据挖掘定义 从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识 。 注意：并非所有数据分析都是“数据挖掘” 查询处理 专家系统或是小型的数学计算/统计程序,Data mining consists of applying data analysis and discovery algorithms t

7、hat, under acceptable computational efficiency limitations, produce a particular enumeration of patterns over the data Fayyad et al.,1996.,知识发现过程,数据挖掘知识发现的核心,数据清理,数据集成,数据库,数据仓库,Knowledge,任务相关数据,选择,数据挖掘,模式评估,可视化,数据清理：消除噪声和删除不一致数据 数据集成：多种数据源可以组合在一起 数据选择：从数据库中提取与分析任务相关的数据 数据变换：把数据变换和统一成适合挖掘的形式 数据挖掘：核心步

8、骤，使用智能方法提取数据模式 模式评估：根据兴趣度度量，识别代表知识的真正有趣的模式 知识表示：使用可视化和知识表示技术，向用户提供挖掘的知识,知识发现过程,可以挖掘什么类型的数据?,关系数据库 数据仓库 事务数据库 高级数据库系统和信息库 空间数据库 时间数据库和时间序列数据库 流数据 （数据流，Data Streams） 多媒体数据库 面向对象数据库和对象-关系数据库 异种数据库和遗产(legacy)数据库 文本数据库和万维网(WWW),流数据,与传统的数据库技术中的静态数据不同，流数据是快速的，可能无限量的，动态演化的数据输入的数据。 主要应用场合 网络监控 网页点击流 股票市场 流媒体

9、 与传统数据库技术相比，流数据在存储、查询、访问、实时性的要求等方面都有很大区别。 与传统挖掘算法相比，流数据对算法在时间，空间，以及处理方式上提出更高的要求。,DATA STREAM,Internet,Industry,Surveillance,*Note: some pictures derived from internet,Sensor,29,Network Intrusion,Smart Phone,Spam Filtering,Mobile,1.3 数据挖掘主要任务,数据挖掘的主要任务,（1）关联分析 （关联规则挖掘/亚组发现） 发现数据之间的关联规则，这些规则展示属性/值频繁的在

10、给定的数据中所一起出现的条件。 广泛的用于购物篮数据分析。,例如： 每当季节性风暴来临之前，美国沃尔玛的飓风用品和蛋挞的销量都会增高。所以，公司把两者放在靠近的位置，以便促进销量。,（2）分类/预测 找出描述和区分数据类/概念的模型，用以使模型能预测未知的对象类标签。（如决策树、人工神经网路）,数据挖掘的主要任务,决策树,人工神经网络,（3）聚类分析 将类似的数据归类到一起，形成一个新的类别进行分析。 最大化类内的相似性和最小化类间的相似性,数据挖掘的主要任务,（4）孤立点（离群点）分析 孤立点:一些与数据的一般行为或模型不一致的孤立数据 通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却

11、可以通过对罕见事件进行孤立点分析而得到结论。,数据挖掘的主要任务,Top-10 Algorithms (ICDM06),#1: C4.5 (61 votes) #2: K-Means (60 votes) #3: SVM (58 votes) #4: Apriori (52 votes) #5: EM (48 votes) #6: PageRank (46 votes) #7: AdaBoost (45 votes) #7: kNN (45 votes) #7: Naive Bayes (45 votes) #10: CART (34 votes),所有模式都是有趣的吗？,数据挖掘可能产生数以

12、千计的模式或规则，但我们需要的才是最好的。所以我们必须有对产生模型的评价指标。 模式兴趣度的客观和主观度量 客观度量: 基于所发现模式的结构和关于它们的统计， 比如： 支持度、置信度，准确率等等 主观度量: 基于用户对数据的判断。比如：出乎意料的、新颖的、可行动的等等,1.4 数据挖掘-多学科领域融合,数据挖掘:多个学科的融合,数据挖掘,数据库系统,统计学,其他学科,信息检索,机器学习,物理学,数据挖掘和商业智能,支持商业决策的潜能不断增长,最终用户,商业分析家,数据分析家,数据库管理员,决策支持,数据表示,可视化技术,数据挖掘,信息发现,数据探索,在线分析处理（OLAP),统计分析，查询和报

13、告,数据仓库/数据市场,数据源,论文, 文件, 信息提供商, 数据库系统, 联机事务处理系统(OLTP),典型数据挖掘系统,数据仓库,数据清洗,过滤,数据库,数据库或数据仓库服务器,数据挖掘引擎,模式评估,图形用户界面,知识库,数据集成,数据挖掘系统的分类,从功能分析 描述性的数据挖掘 预测性的数据挖掘 不同的视角, 不同的分类 根据所挖掘的数据库类型分类 根据挖掘的知识类型分类 根据挖掘所用的技术分类 根据数据挖掘的应用分类,数据挖掘的面临的挑战,大数据问题： Scalability 高维问题： Curse of Dimensionality 数据类型问题: Mixed-type data

14、参数问题：Sensitivity of parameters 数据演化性：Concept drift/ Evolving 数据隐私/安全性： Privacy/Security,数据挖掘的面临的挑战,大数据问题： Scalability 高维问题： Curse of Dimensionality 数据类型问题: Mixed-type data 参数问题：Sensitivity of parameters 数据演化性：Concept drift/ Evolving 数据隐私/安全性： Privacy/Security,1.5 数据挖掘常用工具及常识,WEKA http:/www.cs.waikat

15、o.ac.nz/ml/weka/,RapidMiner ,KNIME /,Orange http:/orange.biolab.si/,数据挖掘系统,IBM公司的 Intelligent Miner 数据挖掘算法种类多 挖掘算法可伸缩性好 工具箱有：神经网络算法，统计方法数据预处理和数据的可视化工具 与DB2关系数据库系统紧耦合 SAS公司的 Enterprise Miner 多种统计分析工具 数据仓库工具和多重数据挖掘算法 Mirosoft公司的 SQLServer 2000 集成数据库和在线分析 支持OLE数据,数据挖掘系统实例,SGI公司的 Min

16、eSet 多重数据挖掘算法和高级统计 高级可视化工具 SPSS 公司的Clementine 为终端用户和开发者提供集成的数据挖掘开发环境 多种数据挖掘算法可视化工具 DBMiner Technology公司的DBMiner 多种数据挖掘模型:发现驱动的OLAP分析，关联，分类、聚类 有效的关联和序列模式挖掘功能和可视化分类工具 适用于关系数据库和数据仓库,相关资料,Data Mining Groups: Prof. Han UIUC (/hanj/)Prof. Leskovec (/)Prof.

17、 Faloutsos (/christos/)Prof. Karypis (/gkhome/)LMU DBS (http:/www.dbs.ifi.lmu.de/cms/Research)Prof. Pei (http:/www.cs.sfu.ca/jpei/)Big data in Biomedicine: /,Data sets: SNAP Stanford (/data/)UCI (http:/archi

18、/ml/) Softwares and Codes: WEKA : http:/www.cs.waikato.ac.nz/ml/weka/ELKI: http:/elki.dbs.ifi.lmu.de/Scikit: /stable/index.htmlLibSVM: .tw/cjlin/libsvm/,相关资料,数据挖掘主要会议,ACM SIGKDD (A+), Feb. IEEE ICDM (A), Jun. SIAM SDM (A), Oct. ECML/PKDD (A-), Apr. PAKDD (B+), Oct.,数据挖掘主要期刊,IEEE Transactions on Knowledge and Data Engineering (TKDE) SIGKDD Explorations ACM Transactions on Knowledge Discovery From Data (TKDD) Data Mining and Knowledge Discovery Knowledge and Information Syst