智能数据-考试大纲

1、一、 填空和选择1.数据库设计设计步骤第一步是企业数据建模即需求分析。2.逻辑数据库设计的任务是将ER模型转化为良构的关系数据库模式。3. ER模型允许我们利用对象和它们之间的联系去描述现实应用中的数据，这种数据模型已被广泛用于描述数据库的概念模式。4.在给定的实体集中，所有实体实例都具有相同的属性。5.每个属性具有一个数据类型，即该属性的值域。6.对于实体之间的联系，实体及联系间连线上的记号给出了参与联系的实体之间在数量上的约束，这种约束称为势约束。7.不依赖与其他实体类型而独立存在的实体类型称为强实体类型。8.自身存在需依赖于其他实体类型的实体类型称为弱实体类型。9.弱实体类型所依赖的实体

2、类型称为标识属主。10在标识属主上下文中，弱实体对象的唯一标识部分称为部分标识。11.把弱实体类型与其标识属主之间的联系称为标识联系。12.在ER图中，用双线边框的矩形表示弱实体类型，用双下划线表示部分标识，用双线边框的菱形表示标识联系。13.标识主体与弱实体类型必须参与一个“一对多”的联系类型，即一个标识属主的实例可以与一个或多个弱实体相关联。14.能够分解成子属性集的属性称为复合属性。不能够被分解为更小粒度的子属性的属性则称为简单属性。15.对于一个给定的实体对象，只存在一个值的属性称为单值属性。16.在ER图中，多值属性用双线边框的椭圆表示。17.值能够有其他相关属性值计算出来的属性称为

3、导出属性。18. 值不能够有其他相关属性值计算出来的属性称为存储属性。19.虚线边框的椭圆表示导出属性。20.联系的“度”是参与该联系的实体类型的数量。同一实体类型的值之间的联系称为一度联系。一度联系也称为递归联系。21.特化是一个标识超类型的各子类型的过程。22.将相关的实体类型及联系分组为一个抽象实体类型即实体聚簇。23.关系数据模型以表的形式表示数据。24.关系即通常所说的表，也称为关系模式。25.表中的一行称为一个元组。表中的一列即为一个属性。26.主键是唯一标识关系中各行的属性或属性的组合，这些属性称为主属性。27.数据库中，关系的外键是另一关系的主键。28.关系模型的存取路径对用户

4、透明。29.域约束规定了属性值应满足的取值范围，即值域。关系中某一列的所有值必须取自于同一个域。30.当属性值未知或没有合适的值填充时，人们自然地将空值作为该属性的值。31.通常将含有外键的表称为子表，把含有被引用属性的表称为父表。32.级联和禁止都是参照完整性约束下保证在更新操作前后数据一致的有效手段。33.以数据处理为中心的系统具有“垃圾进，垃圾出”的特征。34.实体的每一个简单属性被映射为关系的一个属性，实体的标识即为关系的主键。35.将“一”端关系的主键加入“多”端关系中作为“外键”。36.一度联系是描述实体本身之间的递归联系。37.在超类型对应的关系中增加一个“区分”属性，用以区分超

5、类型关系的一个元组应该属于哪一个子类型。38.关系模型范式化从函数依赖出发，通过模式的分解获得良构关系。39.函数依赖描述了两个属性或两个属性集之间的约束关系。40.范式1表中的属性都是由基本类型构成的单一属性。50.部分函数依赖是指非主属性部分依赖于主属性。51.自然连接条件：在连接条件中使用等于运算符比较连接属性的值，查询结果中去掉一个重复的连接属性。52.在SQL中，一个SELECT-WHERE-FROM语句称为一个查询块。53.子查询的执行不需要从父查询获取任何参数，这样的子查询称为不相关子查询。54.存储过程是SQL语句 和可选控制流语句的预编译集合，以一个名称存储并作为一个单元来处

6、理。55.一个触发器只适用于一个表。56.SQL使用CREATE TRIGGER命令创建触发器。57.索引是对数据库表中一列或多列的值进行排序的结构，有助于更快的获取信息。58.B-数是索引的数据结构。59.在一个表上只能创建一个聚集索引。60.没有索引时更新操作最快，有非聚集索引时次之，有聚集索引时最慢。61.合并规范化关系模式和添加冗余列作为两种反规范化方法的代表。62.视图的物化通过在视图上创建唯一聚集索引来实现。63.信息检索包括了“存”和“取”两个基本环节。64.布尔模型建立在集合论和布尔代数的基础上。65.萨尔顿基于“部分匹配”策略思想，提出向量空间模型。66.文档向量是文档集合的

7、逻辑视图。67.最常见的词对搜索无很大用处，称为停止词，预处理过程中停止词被首先去除。68.频度最高的那部分词和频度最低的那部分词所含有的信息量最少，名次最低。69.文本数据是信息检索的主要对象。70.词的出现频率以及按照其高低降序排列后产生的词的序号是一个频率词的两个基本数量指标。71.Heaps模型揭示了词汇量随文本长度变化的情况，文本越长，包含词汇越多。72.文本词汇分析是对文档中的文本进行识别并转换为词的过程，这些词是索引词的候选对象。73.文本检索包括倒排文件、后缀数组和签名文件三类。74.倒排索引的对象是文档或文档集合中的关键词。75.倒排文件有词汇表和记录表两部分组成。76.插入

8、操作的效率取决于文档中所包含词的数量。77.文本的布尔检索主要以倒排索引为基础。78.文本的布尔检索主要以倒排索引为基础。79.将运算符放在运算项的后面，这种表示方法为“逆波兰式表示法”。80.检索系统性能的提高主要依赖于提问式的表示和处理。81.与传统的信息检索不同，Web信息搜索面对的是包含链接信息的大量文档。82.Web搜索引擎是基于Web平台提供网络信息检索服务的工具。83目录浏览型搜索引擎的代表是Yahoo！，关键词检索型引擎的代表是Google。84.一批搜索引擎之上的搜索引擎称为“元搜索引擎”。85.按检索机制不同，可分为关键词检索型引擎和目录浏览型搜索引擎。86.按数据收录范围

9、的不同，可分为综合型搜索引擎和垂直型搜索引擎。87.按包含检索工具数量的不同，可分为独立搜索引擎和元搜索引擎。88.按开发背景的不同，可分为学术型搜索引擎和商业搜索引擎。89.文档中一段连续的文字串称为一个Shingle。90.PageRank算法属于链接分析算法。91.PageRank算法建立在随机冲浪模型的基础之上。92.一个网页的“入度”定义为指向它的网页的个数；网页的“出度”定义为由它连出的超链接个数。93.网页数量不断增加，内存成为了PageRank算法的瓶颈。94.PageRank算法完全独立于查询，只依赖于网页的链接结构。95.目录型网页提供很多指向其他高质量权威型网页的超链接信

10、息。96.HITS算法的执行是一个“迭代-收敛”的过程。97.覆盖率定义为在用户已知的相关文档集中被检出的相关文档所占比率。98.新颖率定义为用户检出的相关文档集中以前未知的相关文档所占比率。99.相对查全率是检索系统检索出的相关文档占用户期望得到的相关文档的比率，特别地，当用户已经获得了他所期望得到的所有文档时，相对查全率为1。100.文件头主要包括XML声明、文档类型定义声明和处理指令。101.独立文件声明位于文字编码声明之后。102.将XMLDTD和XML Schema视为XML文档的结构约束。将Xpath和Xquery视为针对特定XML文档查询处理的数据模型。103.VTD-XML是面

11、向文档的指针式解析技术。104.XML数据库性能基准分为微观基准和应用基准。105.微观基准包括MBench和MemBeR。106.数据准备是保证数据挖掘得以成功的先决条件，包括数据选择和数据预处理。107.数据挖掘是应用各种挖掘算法对预处理后的数据进行挖掘分析。108.数据挖掘包括模型构建和挖掘处理这两个过程。109.结果评价是对挖掘结果的解释和评价。110影响数据质量的因素主要来源于信息、技术、流程和管理。111.数据清理主要包括数据分析、数据检测和数据修正。112.清理算法主要采用“排序-合并”的思想。113.数据挖掘方法中，分类和聚类是最为广泛的两种基础方法。114.数据仓库包括“源数

12、据系统”和“数据和元数据存储区”两个层次。115.将数据装载到数据仓库的两种基本模式是刷新和更新。116.数据仓库常用的索引是位图索引和连接索引。117.为了特定用户群的决策制定，从数据仓库划分出某主题的数据子集，这样的数据子集称为数据集市。118与独立数据集市体系结构相比，新增加的一层是“操作型数据存储”。中心辐射型结构中，企业数据仓库是中心、源数据系统和数据集市输入和输出辐射的两端。119.依赖数据集市是从EDW中以互斥方式而填充的数据集市。120.邮政快递和包裹投递服务是实时数据仓库的一个典型范例。121.关系数据库之父是E.F.Codd。122.在基于Web服务的电子商务应用集成解决方

13、案中，服务对应用进行了封装。123.SOA使用面向服务的方式进行计算。124.服务提供者首先使用WSDL来描述Web服务。125.Web服务发布后，紧接着就需要注册。126.Web服务的描述、发布、查找和调用等都基于XML格式的标准协议来实现。127.Web服务开发周期包括构建、部署、运行和管理。128.Web服务生命周期定义了零起点、自底向上、自顶向下和中间相遇四种不同开发方案。129.SaaS模式中，厂商将应用软件统一部署在自己的服务器上。130.WSDL用于描述WEB服务的公共接口。131.在WEB服务应用中，QoS可视为对数量特征集的保证。132.网络层安全性机制是对流程的保护。主要依

14、赖防火墙和漏洞评估两种技术来保护网络。133.安全事务是确保消息在传输时未被修改的典型方式。三、名词解释1. BOM(9)Bill of Materials;即物料清单；Item实体类型与其自身存在多对多的一度联系，符合这一ER图的数据表现为层次结构，了可用一棵根在上倒置的树来表示，这就是通常所说的BOM结构。2. IR(65)Information Retrieval;即信息检索，指将信息按照一定的方式组织和存储起来，并能根据用户需求找出其中相关信息的过程。3. MAP(102)Mean Average Precision；平均查准率均值；多个查询的map是每个查询的平均查准率的平均值 是反

15、映系统在全部查询上性能的单值评价指标。4. XML(107 )EXtensible Markup Language；可扩展标记语言；xml已成为万维网上信息表示 传输和交换的基本形式 已发展成为Web数据事实上的标准。5. SGML(107)Standard Generalized Markup Language 标准通用标记语言，是一种可用来定义数据和文档交换语言的元语言。6. DTD(108)Document Type Definition文档类型定义，是一套关于标记符的语法规则。7. URI(111)Uniform Resource Identifier统一资源标记符，也就是命名空间，相

16、当于一个词汇表，限定了与之关联的所有元素的作用范围，保证了元素和属性命名的合法性。8. DOM(132)Document Object Model面向文档的对象式解析，是使用与平台和语言无关的方式对XML文档进行建模的官方W3C标准，其目标是提供一个可以通用于各种程序语言、操作系统各应用程序的接口。9. SAX(133)Simple API for XML面向文档的流式解析，是读取和操作XML文档的更快捷、更轻量、基于事件驱动的方法。10. KDD(163)Knowledge Discover in Database数据库中的知识发现，是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式

17、的过程。11. TDQM(169)Total Data Quality Management 全面数据质量管理，全面数据质量管理是将数据作为具有生命周期的产品进行管理。12. SNM(173)Sorted-Neighborhood Method 近邻排列法， 按照用户定义的排列键对整个数据表进行排列，将可能匹配的记录排列在一起，再将结果合并起来。13. MPN(173)Multi-Pass Sorted-Neighborhood;多趟近邻排序法。14. MRSL(175)基于关联规则挖掘算法，从所给关系表中的完整记录挖掘关联规则，针对表中的每一个字段，根据每一个关联规则所涉及的两个记录间值包含

18、的偏序关系，将挖掘到的关联规则合并起来，从而得到一个层次结构，称为元规则半格（Meat-Rule Semi-Lattice，MRSL）.15. MCMC(175)Markov Chain Monte Carlo马尔可夫链蒙特卡罗，是一种后验分布计算方法。16. TPR(203)Tru Positive Rate正例覆盖率也称命中率，将真正的正例预测为正例的概率，也就是专家判断为正例的样本被正确分类的概率。 17. FPR(203)FPR(False Positive Rate):将真正的负例预测为正例的概率，FRP=FP/(FP+TN),称为负例覆盖率，也就是专家判断为负例的样本被错误分类的概

19、率。18. OLAP(205)OLAP(Online Analytical Processing) 联机分析处理，是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。19. EDW(210)EDW:企业数据仓库（Enterprise Date Warehouse ,EDW）是一种集中式的集成数据仓库，是决策支持应用程序的最终用户可以获得的所有数据的控制点和唯一“真实版本”。20. ODS(210)ODS：操作型数据存储（Operational Date Store,ODS）是一个集成的、面向主题的、可更新的、具有当前值的、企业范围的详细数据库，其设计目的是为了操作型用户执行决策支

20、持处理提供服务。21. OLTP(213)联机事务处理（On-Line Transaction Processing）实时地采集处理与事务相连的数据以及共享数据库和其它文件的地位的变化。22. EAI(232)企业应用集成（Enterprise Application Integration）EAI是一种新型的战略企业解决方案，利用通用的中间件融化了企业已有的应用软件、商业封装式应用软件以及新代码等方面的功能23. ERP(232)企业资源计划（Enterprise Resource Planning）24. CRM(232)客户关系管理（Customer R elationship Mana

21、gemet）25. SCM(232)供应链管理（Supplier Chain Management）26. SOA(235)面向服务的架构（Service-Oriente Architecture）是一个软件设计的逻辑方法和组件模型，它将应用程序的不同功能单元（称为服务）通过它们之间定义良好的借口和消息协议互联起来，而接口采用独立于实现服务的硬件平台、操作系统和编程语言的方式进行定义，通过发布或发现的接口向终端用户应用或网络上的其他服务提供服务。27. WSDL(237)Web服务描述语言（Web Service Description anguage）一种用来描述服务的语言。28. UDDI

22、(237)统一描述发现和集成；用来发布和查找服务。29. SOAP(237)简单对象访问协议；用来执行服务调用30. WSFL(239)Web服务流程语言；描述服务组成、通信和流程。31. ASP(240)应用服务提供商， 将软件、基础设施要素、业务以及专业的服务进行打包的公司。32. SaaS(240)软件即服务；一种通过Internet提供软件的模式。33. SSL(292)安全套接字，Web协议的一个开放标准，在TCP/IP连接上提供服务器认证、数据加密和消息完整性。34. KDC(293)密钥分发中心；维护委托者的身份证明。35. TGT(293)票据-授予票据；包含一个在会话期间有效

23、的临时会话秘钥，只能被拥有正确口令的合法委托人理解和使用。36. PKI(293)公钥基础设施；是提供应用和网络安全性的基础。四、简答1简述关系数据模型中四类完整性约束？2简述给出良构关系的判断标准？3简述规范化。4简述触发器的优点。5简述索引的类型。6简述构建新的索引的三个基本要素和步骤。7简述向量空间模型的优点。8简述基于倒排索引进行检索的三个步骤。9布尔模型运算符的种类。10布尔运算符的运算规则。11简述相关反馈的几个步骤。12简述网页去重的技术要点。13按照特征提取的粒度，简述网页去重的方法。14简述PageRank和HITS相似之处。15.简述信息检索评价工作的五个步骤。16.简述实

24、验评价的实施步骤。17.简述在评价和比较检索系统的检索性能时需要的条件。18.从模式和存储角度描述半结构化数据的特点。19.简述全面数据质量管理的环节。20.简述不完整数据填充的四个方法。21.简述基于孤立点检测的错误数据清理的三个步骤。22.简述数据仓库的四个特征。23.简述构建数据仓库一般两层体系结构的四个基本步骤。24.简述操作型数据存储的设计目的。25.WEB服务体系结构分别由哪三个参与者和基本操作构成。26.简述web服务协议栈。27.五种QoS的度量尺度。28.web服务安全应用层安全机制。五、论述1. 聚集索引和非聚集索引在创建时间、删除时间、存储空间三个方面的性能比较，可以得出

25、怎样的结论？答：（1）从时间开销方面看，无论是聚集索引还是非聚集索引，创建的时间比删除的时间长得多。创建和删除聚集索引的时间都比创建和删除非聚集索引的时间要长。（2）从存储空间方面看，无论是聚集索引还是非聚集索引，所占的存储空间均大于数据本身所占的存储空间。非聚集索引所占存储空间比聚集索引大，原因在于：非聚集索引表中的物理顺序与索引顺序不相同，每个索引指针指向物理表页中的每一个数据行，比聚集索引层次多，需要占用大量的存储空间。（3）创建和维护索引都需要时间和空间的较大开销，对于数据的查询操作来说，索引的创建和维护可以看作是一种数据的预处理。因此可以认为，基于索引提高数据查询操作的效率建立在预处

26、理的时间和空间代价之上，以预处理的时间和空间开销来换取查询操作的高效率。2. 索引选择的基本原则主要包括哪些？答：（1）数据的使用模式。根据用户使用数据的情况，针对频繁执行的操作来考虑索引设计的方案。 考虑用户对数据库可能用到的查询类型，基于使用得最频繁的查询类型创建索引。若数据的更新操作是最为频繁的操作，那么就应该考虑尽可能少的使用索引。一般的，需要周期性观测系统的工作负载，新的、重要的查询或更新操作是合理调整索引的根据。（2）数据的查询语句。考察查询中的WHERE和JOIN子句，在任一这样的子句中包括的每一列都是索引可以选择的对象。（3）数据的存储代价。考察数据所占用存储空间的大小。由于索

27、引的存储空间大于数据本身的存储空间，当数据量很小、查询的效率并不是问题的时候，可以不考虑基于索引进行查询优化。（4）检查新的索引对查询性能的影响。一张表中已创建索引数量不宜太多；检查表中已创建的索引，最好避免包含共享列的重叠索引；若某一列中唯一数据值的数量占据了表中行的大多数，则可以考虑使用索引。3. 论述布尔模型在检索系统开发与应用中表现的主要问题和缺点。答：精确匹配策略问题。布尔模型采用精确匹配策略，不能反映检索过程中客观存在的一些不确定情形，认为一个文档对于某一提问式要么相关、要么不相关，这种非此即彼的二值判断严重影响到检索系统的性能，且实际中往往很艰难满足这一严格标准，产生检索结果无法

28、预先估计或零输出等问题。基于布尔逻辑表达用户需求的适用性问题。实际中，把用户的信息需求表示为一个恰当的布尔表达式，在很多情况下并不容易实现，尤其是对没有检索经验的用户和较复杂的检索需求。4.论述数据收集和预处理的过程。（1）首先，搜索引擎通过一个称为网页收集系统的自动程序（即Robot或Spider）把所有网页信息下载到其服务器。（2）然后，由程序自动进行一些预处理工作，主要包括网页去重和正文提取。网页去重，即去除内容相同的网页，从而避免同一网站的内容被多次采集和索引；正文提取，即去除网页中正文有用信息之外的噪声声音信息，从而使用户能够较快地找到自己需要的内容。（3）之后，对收集到的网页进行内

29、容分析，进行分词和名词（或名词性短语）识别，从中提取出有检索价值的特征项（即索引关键词），也对关键词出现的频度和位置进行统计和记录，进而建立倒排索引。同时，也对网页链接结构等信息进行统计和纪录，为数据检索提供必要的支持。5. 论述PageRank算法和HITS算法的差异。1、计算效率和处理对象集合大小2、网页权重值传播3、满足用户检索查询4、算法灵活性5、算法稳定性6、链接反作弊6XML在实际应用中具有哪些良好的性质和用途（1）基于XML可以方便地把数据从HTML中分离出来，并存储在独立的XML中，使得底层数据的修改不需要对HTML进行相应修改，HTML只专注于布局和显示。（2）XML数据以纯

30、文本格式进行存储，提供了一种独立于软件和硬件的数据存储方法，降低了计算机系统和数据存储不兼容情形下数据交换的复杂度，使不同应用程序可以更加容易地共享数据。（3）XML在不损失数据的情况下，更容易扩展或升级到新的操作系统、新的应用程序或新的浏览器，降低了由于软、硬件平台更新而带来的数据转换代价。7. 基于业务规则的错误数据清理，主要包括那四个步骤？（1）根据业务分析，在规则库中定义业务规则。（2）通过数据查询技术获得待清理数据，并根据要检查的记录来检索规则库中的规则。（3）根据检索出的业务规则，对一条记录的每个字段域进行检测；根据同一记录中字段之间的关系，对每条记录的多个字段进行检测。（4）通过

31、步骤（3）可判断每条记录是否符合定义的业务规则，如果不符合，则说明该记录含有错误数据，进一步从规则库中调用相关规则来改正该记录中的错误字段值；若无合适的规则，则由人工来处理。8. 从逻辑数据集市的角度来看，逻辑数据集市和实时数据仓库体系结构有哪些特征。（1）逻辑数据集市并不是物理上分离的数据库，而是具有一定反规范化特征的关系型数据仓库的不同关系视图。（2）数据从源数据系统抽取后被转移到数据仓库，而不是转移到与数据仓库相分离的数据准备区，从而可以利用数据仓库技术的高性能计算机能力来执行和转换任务。（3）由于数据集市是数据仓库的视图，因此，一方面，数据集市可以被快速地创建，并不需要为其创建物理数据

32、库，也不需要专门编写装载例程；另一方面，数据集市总是最新的，因为视图被使用时其中的数据才被创建，避免了由于数据重复存储而造成的不一致现象。此外，若用户需要频繁地执行相同的查询来处理数据集市的相同实例，则可以使用物理化视图机制来进行查询优化。 9.从实时数据仓库的角度来看，逻辑数据集市和实时数据仓库体系结构有哪些特征。（1）实时数据仓库：这是一种近乎实时接受源数据系统供给的事务数据的企业数据仓库，它分析数据仓库中的数据，并近乎实时地将新的业务规则传递到数据仓库和源数据系统，以便立即采取行动来响应业务事件。（2）针对需要对组织机构当前的、综合的状态做出快速响应的情形，该体系结构保证了源数据系统、决

33、策支持服务和数据仓库可以接近实时的速度来交换数据和业务规则。也就是说，实时数据仓库通过所有信息的共同作用，减少了从事件发生到采取行动之间的延迟，缩短了业务事件发生时捕获客户数据、分析客户行为、预测客户对可能采取行动的反应、制定优化客户交互规则等的处理时间。10. 基于Web服务的电子商务应用集成，开发代价降低原因。（1）程序员无需与多种平台进行交互 ，而只需与WEB服务组件进行交互；（2）WEB服务的调用采用标准的XML相关技术，代码实现的成本也显著降低； （3）部署和集成的费用大为降低 ，流程的更改也无需涉及大量的代码，甚至可以通过一些工具来支持而无需更改程序代码；（4）web服务技术和标准的使用，使得web服务在运行时进行动态装配组合成为现实。11.论述SOA的优势（1）可将孤立的静态系统转化为模块化的、灵活的组件（可通过标准协议进行访问的服务），降低了互操作的难度。（2）功能性服务建立在标准之上，可在需要时调用单个服务（称为服务组件）或将这些服务进行组合，从而创建复杂的应用或多阶段的业务流程。（3）在不影响其他独立服务的功能和完整性的前提下，可对已有服务组件进行更改，或直接使用一些新组件取代已有组件，也就是说，某个部分业务功能的更改不会影响到其他部分。12.基于SaaS的理念，对比Web服务与基于We