数据分析与挖掘习题

1、数据分析与挖掘习题第一章作业1.1 什么是数据挖掘?在你的回答中,强调以下问题:(a) 它是又一个骗局吗?数据挖掘,在人工智能领域,习惯上又称为数据库中知识发现(knowledge discovery in database, kdd),也有人把数据挖掘视为数据库中知识发现过程的一 个基本步骤。数据挖掘可以与用户或知识库交互。并非所有的信息发现任务都被视 为数据挖掘。例如,使用数据库管理系统查找个别的记录,或通过因特网的搜索引擎 查找特定的 web 页面,则是信息检索(information retrieval)领域的任务。虽然这 些任务是重要的,可能涉及使用复杂的算法和数据结构,但是它们主要

2、依赖传统的计 算机科学技术和数据的明显特征来创建索引结构,从而有效地组织和检索信息。尽 管如此,数据挖掘技术也已用来增强信息检索系统的能力。(b) 它是一种从数据库,统计学和机器学习发展的技术的简单转换吗?硬要去区分 data mining 和 statistics 的差异其实是没有太大意义的。一般 将之定义为 data mining 技术的 cart、chaid 或模糊计算等等理论方法,也都是由 统计学者根据统计理论所发展衍生,换另一个角度看,data mining 有相当大的比重 是由高等统计学中的多变量分析所支撑。但是为什么 data mining 的出现会引发各 领域的广泛注意呢?主要

3、原因在相较于传统统计分析而言,data mining 有下列几项 特性:1. 处理大量实际数据更强势,且无须太专业的统计背景去使用 data mining 的 工具2. 数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件,data mining 的工具更符合企业需求;3. 纯就理论的基础点来看,data mining 和统计分析有应用上的差别,毕竟 data mining 目的是方便企业终端用户使用而非给统计学家检测用的。(c) 解释数据库技术发展如何导致数据挖掘近年来,数据挖掘引起了信息产业界的极大关注,其主要原因是存在大量数据, 可以广泛使用,并且迫切需要将这些数据转换成有用的

4、信息和知识。获取的信息和 知识可以广泛用于各种应用,包括商务管理,生产控制,市场分析,工程设计和科学探 索等。数据挖掘利用了来自如下一些领域的思想:(1) 来自统计学的抽样、估计和 假设检验,(2) 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理 论。数据挖掘也迅速地接纳了来自其他领域的思想,这些领域包括最优化、进化计 算、信息论、信号处理、可视化和信息检索。一些其他领域也起到重要的支撑作 用。特别地,需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能 (并行)计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理 海量数据,并且当数据不能集中到一起处理时更是至

5、关重要。(d) 当把数据挖掘看作知识发现过程时,描述数据挖掘所涉及的步骤。知识发现过程以下三个阶段组成:(1)数据准备,(2)数据挖掘,(3)结果表达和 解释。1.2 给出一个例子,其中数据挖掘对于一种商务的成功至关重要的。这种商务 需要什么数据挖掘功能?他们能够由数据查询处理或简单的统计分析来实现吗?由于统计学基础的建立在计算机的发明和发展之前,所以常用的统计学工具包 含很多可以手工实现的方法。因此,对于很多统计学家来说,1000 个数据就已经是 很大的了。但这个“大”对于英国大的信用卡公司每年 350,000,000 笔业务或 a t&t 每天 200,000,000 个长途呼叫来说相差太

6、远了。很明显,面对这么多的数据,则需要设计不同于那些 “原则上可以用手工实现”的方法。这意味这计算机(正是计算机使得大数据可能 实现)对于数据的分析和处理是关键的。分析者直接处理数据将变得不可行。相反, 计算机在分析者和数据之间起到了必要的过滤的作用。这也是数据挖掘特别注重准 则的另一原因。尽管有必要,把分析者和数据分离开很明显导致了一些关联任务。 这里就有一个真正的危险:非预期的模式可能会误导分析者。在现代统计中计算机是一个重要的工具,并不是因为数据的规模。而是对数据 的精确分析方法如 bootstrap 方法、随机测试,迭代估计方法以及比较适合的复杂 的模型正是有了计算机才是可能的。计算机

7、已经使得传统统计模型的视野大大的扩 展了,还促进了新工具的飞速发展。下面来关注一下歪曲数据的非预期的模式出现的可能性。这和数据质量相 关。所有数据分析的结论依赖于数据质量。gigo 的意思是垃圾进,垃圾出,它的引 用到处可见。一个数据分析者,无论他多聪明,也不可能从垃圾中发现宝石。对于大 的数据集,尤其是要发现精细的小型或偏离常规的模型的时候,这个问题尤其突出。 当一个人在寻找百万分之一的模型的时候,第二个小数位的偏离就会起作用。一个 经验丰富的人对于此类最常见的问题会比较警觉,但出错的可能性太多了。1.3 数据仓库和数据库有何不同?它们有那些相似之处?数据库是面向事务的设计,数据仓库是面向主

8、题设计的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设 计是有意引入冗余,采用反范式的方式来设计。数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的 元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西 的定义,事实表里放着要查询的数据,同时有维的 id。单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易 地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交 易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库 是

9、分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决 策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。 如果存款又多,消费交易又多,那么该地区就有必要设立 a tm 了。显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实 时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只 能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的 有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效 的分析数据就达到目的了。数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源

10、、为 了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据 库比较,有哪些不同呢?让我们先看看 w.h.inmon 关于数据仓库的定义:面向主题 的、集成的、与时间相关且不可修改的数据集合。“面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一 主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的“与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓 库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属 性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年 从未买过,这对于决策者意义是

11、不同的。“不可修改”:数据仓库中的数据并不是最新的,而是来源于其它数据源。数 据仓库反映的是历史信息,并不是很多数据库处理的那种日常事务数据(有的数据库 例如电信计费数据库甚至处理实时信息)。因此,数据仓库中的数据是极少或根本不 修改的;当然,向数据仓库添加数据是允许的。数据仓库的出现,并不是要取代数据 库。目前,大部分数据仓库还是用关系数据库管理系统来管理的。可以说,数据库、 数据仓库相辅相成、各有千秋。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数 据仓库方案。1. 效率足够高。客户要求的分析数据一般分为日、周、月、季、年等,可以看 出,日为周期的数据要求的效率最高,

12、要求 24 小时甚至 12 小时内,客户能看到昨天 的数据分析。由于有的企业每日的数据量很大,设计不好的数据仓库经常会出问题, 延迟 1-3 日才能给出数据,显然不行的。2. 数据质量。客户要看各种信息,肯定要准确的数据,但由于数据仓库流程至 少分为 3 步,2 次 etl,复杂的架构会更多层次,那么由于数据源有脏数据或者代码不 严谨,都可以导致数据失真,客户看到错误的信息就可能导致分析出错误的决策,造 成损失,而不是效益。3. 扩展性。之所以有的大型数据仓库系统架构设计复杂,是因为考虑到了未来 3-5 年的扩展性,这样的话,客户不用太快花钱去重建数据仓库系统,就能很稳定运 行。主要体现在数据

13、建模的合理性,数据仓库方案中多出一些中间层,使海量数据流 有足够的缓冲,不至于数据量大很多,就运行不起来了。第二章作业1. 简述以下高级数据库系统和应用:面向对象数据库、空间数据库、文本数 据库、多媒体数据库和 w w w。面向对象是一种认识方法学,也是一种新的程序设计方法学。把面向对象的方 法和数据库技术结合起来可以使数据库系统的分析、设计最大程度地与人们对客观 世界的认识相一致。面向对象数据库系统是为了满足新的数据库应用需要而产生的 新一代数据库系统。在数据库中提供面向对象的技术是为了满足特定应用的需要。 随着许多基本设计应用(如 macd 和 ecad)中的数据库向面向对象数据库的过渡,

14、面 向对象思想也逐渐延伸到其它涉及复杂数据的应用中,其中包括辅助软件工程 (case)、计算机辅助印刷(cap)和材料需求计划(mrp)。这些应用如同设计应用一样 在程序设计方面和数据类型方面都是数据密集型的,它们需要识别于类型关系的存 储技术,并能对相近数据备份进行调整.空间数据库指的是地理信息系统在计算机物理存储介质上存储的与应用相关 的地理空间数据的总和,一般是以一系列特定结构的文件的形式组织在存储介质之 上的。空间数据库的研究始于 20 世纪 70 年代的地图制图与遥感图像处理领域,其 目的是为了有效地利用卫星遥感资源迅速绘制出各种经济专题地图。由于传统的关 系数据库在空间数据的表示、

15、存储、管理、检索上存在许多缺陷,从而形成了空间 数据库这一数据库研究领域。而传统数据库系统只针对简单对象,无法有效的支持 复杂对象(如图形、图像)。空间数据库引擎技术是目前系统集成中广泛使用的中间件技术在空间数据库 应用解决方案中的一种实现,虽然付出了附加中间层的额外代价,但它较好地解决了 gis 应用与空间数据库集成中数据提供与访问模式方面的制约瓶颈问题,是一种比 较可行的方案.而面向对象的 geodatabase 是第三代数据模型,它克服了拓扑关系 数据模型的缺点,由于它是面向对象的,因此能够方便地构造用户需要的任何复杂地 理实体,而且这种模式符合人们看待客观世界的思维习惯,便于用户理解。

16、文本数据库(txtdb)是一种常用的数据库,也是最简单的数据库。任何文件都 可以成为文本数据库。关于文本数据库可以为任何扩展名,在文件中写入任何信息,通过程序(比如 php、asp 等)来读写文本数据库的内容。对于无需并发访问的数据库,其次数据库不大(比如只有一条记录),或者不需 要修改删除数据的数据库才适合使用文本类型。比如网站的超级管理员,使用文本数据库存放就有优越性,无需任何数据库扩 展,检查权限的程序直接获取文本内容即可,性能会比任何数据库都高。这个表很少修改,而且也不会许多记录,所以适合用文本数据库。多媒体数据库是为了实现对多媒体数据的存储、存取、检索和管理而出现的 一种新型数据库技

17、术。简单地说,多媒体数据库是按一定方式组织在一起的可以共 享的相关多媒体数据的集合,简称 mdb(multimedia database)。与传统数据库应用 中的主流数据库系统关系模型数据库相比,多媒体数据库中的数据是非格式化 的、不规则的,没有统一的取值范围,没有相同的数据量级,也没有相似的属性集。 关系数据库中关系模型主要针对的是整数、实数、定长字符等规范数据,关系数据 库的设计者必须把真实世界抽象为规范数据;目前的多媒体数据库一般应用经过扩 展的关系模型,多媒体数据库的设计者将真实世界的模拟信号(图形、图像、音频、 视频等)经数字化,并对原始多媒体数据进行特征参数提取获得规范数据(元数据

18、), 然后将这些规范数据和原始多媒体的非规范数据通过关系模型合成为一个元组。万维网(亦作“网络”、“www”、“3w”,英文“web”或“world wide web”),是一个资料空间。在这个空间中:一样有用的事物,称为一样“资源”;并且 由一个全域“统一资源标识符”(url)标识。这些资源通过超文本传输协议 (hypertext transfer protocol)传送给使用者,而后者通过点击链接来获得资源。 从另一个观点来看,万维网是一个透过网络存取的互连超文件(interlinkedhypertext document)系统。万维网联盟(world wide web consortiu

19、m,简称 w3c), 又称 w3c 理事会。1994 年 10 月在拥有“世界理工大学之最”称号的麻省理工学院 (mit)计算机科学实验室成立。2. 定义下列数据挖掘功能:特征化、区分、关联、分类、预测、聚类和演变 分析。使用你熟悉的现实生活中的数据库,给出每种数据挖掘功能的例子。数据特征是目标类数据的一般特征或特性的汇总。通常,用户指定类的数据通 过数据库查询收集。关联规则挖掘是由 rakesh apwal 等人首先提出的。两个或两个以上变量的取 值之间存在某种规律性,就称为关联。数据关联是数据库中存在的一类重要的、可 被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出

20、 数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性, 还不断引入兴趣度、相关性等参数,使得所挖掘的规则更符合需求。购物篮分析聚类是把数据按照相似性归纳成若干类别,同一类中的数据彼此相似,不同类 中的数据相异。聚类分析可以建立宏观的概念,发现数据的分布模式,以及可能的数 据属性之间的相互关系。聚类分析可以在 allelectronics 的顾客数据上进行,识别顾客的同类子群。 这些聚类可以表示每个购物目标群。图 1.10 展示一个城市内顾客的 2-d 图。数据 点的三个聚类是显而易见的。分类就是找出一个类别的概念描述,它代表了这类数据的整体信息,即该类的 内涵描述,并用这

21、种描述来构造模型,一般用规则或决策树模式表示。分类是利用训 练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。决策树预测(predication)预测是利用历史数据找出变化规律,建立模型,并由此模型对未来数据的种类 及特征进行预测。预测关心的是精度和不确定性,通常用预测方差来度量。时序模式(time-series pattern)数据区分是将目标类对象的一般特性与一个或多个对比类对象的一般特性比 较。目标类和对比类由用户指定,而对应的数据通过数据库查询提取。数据挖掘系统应当能够比较两组 allelectronics 顾客,如定期(每月多于 2 次)购买计算机产品的顾客和偶尔(即

22、,每年少于 3 次)购买这种产品的顾客。结果 描述可能是一般的比较轮廓,如经常购买这种产品的顾客 80%在 20-40 岁之间,受过大学教育;而不经常 购买这种产品的顾客 60%或者太老,或者太年青,没有大学学位。沿着维下钻,如沿 occupation 维,或添加新的维,如 income_level,可以帮助发现两类之间的更多区分特性。数据演变分析描述行为随时间变化的对象的规律或趋势,并对其建模。尽管这 可能包括时间相关数据的特征、区分、关联、分类或聚类,这类分析的不同特点包括时间序列 数据分析、序列或周期模式匹配和基于类似性的数据分析。股票数据挖掘研究可以识别整个股票市场和特定的公司的股票演

23、变规律。3. 什么是 oltp 和 olap,并简要说明他们的区别。联机事务处理(oltp)将查询看作只读事务,对于关系技术的发展和广泛地将关 系技术作为大量数据的有效存储、提取和管理的主要工具作出了重要贡献.olap 是一种分析技术,具有汇总、合并和聚集功能,以及从不同的角度观察信 息的能力。尽管 olap 工具支持多维分析和决策,对于深层次的分析,如数据分类、 聚类和数据随时间变化的特征,仍然需要其它分析工具。oltp 和 olap 的主要区别概述如下。用户和系统的面向性:oltp 是面向顾客的,用于办事员、客户、和信息技术专 业人员的事务和查询处理。olap 是面向市场的,用于知识工人(

24、包括经理、主管、 和分析人员)的数据分析。数据内容:oltp 系统管理当前数据。通常,这种数据太琐碎,难以方便地用于 决策。olap 系统管理大量历史数据,提供汇总和聚集机制,并在不同的粒度级别上 存储和管理信息。这些特点使得数据容易用于见多识广的决策。数据库设计:通常,oltp 系统采用实体-联系(er)模型和面向应用的数据库设 计。而 olap 系统通常采用星形或雪花模型和面向主题的数据库设计。视图:oltp 系统主要关注一个企业或部门内部的当前数据,而不涉及历史数据 或不同组织的数据。相比之下,由于组织的变化,olap 系统常常跨越数据库模式的多个 版本。olap 系统也处理来自不同组织的信息,由多个数据存储集成的信息。由于数 据量巨大,olap 数据也存放在多个存储介质上。访问模式:oltp 系统的访问主要由短的、原子事务组成。这种系统需要并行 控制和恢复机制。然而,对 olap 系统的访问大部分是只读操作(由于大部分数据仓 库存放历史数据,而不是当前数据),尽管许