第5章-数据抽象、设计与挖掘

1、大学计算机计算思维引论，南京航空航天大学，2014年版，第5章：数据提取、设计与挖掘，思考数据管理与分析，关注部分信息。2014年9月9日，陕西省测绘地理信息局称，一名从事非法测绘的日本人最近被捕。他从中国租了一辆车，从甘肃沿秦岭进行非法测绘，并在中国非法获得了大量的斯诺登和棱镜计划的国内生产总值。一切都是为了获取数据。在现代社会，当你有数据时，你就有发言权。数据说了算！然而，计算机是数据办公室的管理工具。数据处理、数据管理、数据分析和数据利用的一般思维，数据抽象是计算思维的重要内容和最实用的计算技术和方法之一，具有非常广泛的应用！数据处理的一般思维，问题1:什么是数据？问题2:如何管理数据？

2、问题3:如何分析和利用数据？问题4:对于数据处理，有没有一种通用的思维方式，可以引导我们进一步研究数据处理的应用和技术？数据处理的一般思维，问题1:什么是数据？5.1数据和大数据，数据：根据特定规则排列和组合的负载或记录信息的物理符号(如何理解？).它可以是数字、字符、图像或计算机代码。在计算机世界里，一切都是数据，对吗？数据已经成为一个重要的生产要素，因为它能够准确地描述事实，并以定量的方式反映逻辑和理性。决策将越来越多地基于数据和分析，而不是经验和直觉。我们相信上帝；其他人都必须带上数据。除了上帝，每个人都必须用数据说话。上帝不相信或否认数据！相信数据，不要相信人，除非你是万能的上帝！大数

3、据(目前流行的概念！21世纪，随着互联网技术的发展，互联网数据的扩张得到了推动。在网络世界中，用于人机交互和人机交互的语音、图像/视频和文档等大规模数据的聚合和交换形成了所谓的“大数据”。物联网技术进一步制造实物、物理资源等。感知和网络化，形成大规模的物联网数据。大数据太大，无法在合理的时间内通过当前主流软件工具获取、管理、处理和整理出真正有意义的信息。在大数据时代，大数据是指使用所有数据的方法，而不是随机分析的捷径(抽样调查)。4V特性：体积、速度、多样性和价值。5.1数据和大数据，维基百科上用户Pearle的所有编辑活动的可视化(Pearle是一个机器人)，全球信息存储容量的增长(关注数字

4、存储)，大数据发现的价值大数据时代最大的变化是放弃对因果关系的渴望，转而关注相关性。也就是说，只要你知道它是什么，你就不需要知道为什么。“数据价值”的一个例子是：华尔街金融家使用计算机程序分析全球3.4亿微博账户的信息，并根据公众情绪出售股票：银行根据求职网站上的工作数量推断就业率；投资机构收集和分析上市公司的报表，寻找破产线索；美国总统巴拉克奥巴马的竞选团队基于选民的微博，实时分析选民对总统候选人的偏好，掌握基于数据的竞选问题，成功赢得总统大选。中国网民发起的“人肉搜索”成功地将“堂弟”、“堂弟”、“叔叔”、“叔叔”、“姐姐”等腐败官员绳之以法。5.1数据和大数据。数据被认为是知识的来源和一

5、种财富。数据收集、数据管理和数据分析能力往往被视为核心竞争力，与企业利益密切相关。，5.1数据和大数据，问题2:如何管理数据？5.1数据和大数据，问题2-1:您如何在日常生活中管理您的“数据”？5.1数据和大数据，整理，找到一个存储的地方，记住它，把它放在一个文件夹里，然后把它放在一个柜子里。目标是轻松查找、分类、命名、表达、存储、搜索和分析，5.1数据和大数据，98110101、98110102、98110103、9811003。什么是统一表达？5.1数据和大数据，5.2数据聚合的核心：数据管理和数据库，5.2.6数据库管理系统聚合成“库”数据库和数据库管理5.2.2数据库数据表的基本结构形

6、式(关系)5.2.3数据表的操作关系操作5.2.4用数学定义数据表及其操作关系模型5.2.5数据库语言Express Database及其用计算机语言操作5.5通常，各种数据被组织成表(如下所示)进行管理。随着计算机技术的发展，这种数据管理已经发展成为一种技术，即“数据库”技术。所谓的数据库(DataBase，DB)可以被看作是以“表格”形式组织的相互关联的数据的集合。管理数据库的计算系统称为数据库管理系统(DataBase Management System，DBMS)。5.2.1数据聚合到“库”数据库和数据库管理中。有没有通用的数据表达和处理方法？5.2.1数据聚合到“基础”数据库和数据库

7、管理的基本思想/步骤，5.2.1数据聚合到“基础”数据库和数据库管理的基本思想/步骤，管理数据库的数据库管理系统(DBMS)(1)定义表格式：DBMS提供数据定义语言(DDL) (2)根据格式操纵表中的数据：DBMS为用户提供数据操纵语言(DML)，以表达他们想要在数据库上执行的操作并获得相应的结果。(3)控制表的使用：数据库管理系统还向数据库管理人员提供数据控制语言(DCL)，以表达他们对数据库的安全控制要求。然后数据库管理系统根据管理员定义的安全性控制用户和程序访问数据库。5.2.1数据聚合成“库”数据库并进行数据库管理，定义数据表，5.2.2数据库数据表的基本结构形式(关系)，定义数据表

8、列：又称字段和属性。表的每一列都包含相同类型的信息，该列由两部分组成：列名和列值。行：也称为元组或记录。表中的每一行都由几个字段值组成，这些值描述了一个对象的信息。表：也叫关系，由表名、列名和几行数据组成。在数据库领域，这个简单的二维表也称为“关系”，以表的形式反映数据组织结构的模型称为“关系模型”。关系模式：在表中，表的结构(或格式)称为关系模式，它主要由表名和列名组成。5.2.2数据库的基本结构形成数据表(关系)，并定义数据表代码：在表的各种属性中，一个属性或属性组是非常重要的，即代码。(key)，也称为Key或keyword，是表中的属性或属性组合，它们的值可以唯一地区分表中的每一行。数

9、据库：一个表用于描述客观世界中的一个事物，而具有不同结构的表用于描述不同的事物，因此几个数据表的集合形成了一个“数据库”。数据表的性质：列是同类的；列的顺序可以任意交换；行的顺序可以任意交换；任何两个元组不能完全相同；4)表中的每个数据项必须是一个不可分割的数据项，也就是说，它应该是一个由行和列管理的简单的二维表。满足此属性的表称为规范化表或规范化关系。5.2.2数据库数据表的基本结构(关系)，到目前为止，我们已经得到了初步的模型。为了得到一个普遍的理论，我们需要研究模型的性质。5.2.2数据库数据表的基本结构(关系)，数据表的性质：标准化表或标准化关系。5.2.2数据库的基本结构是数据表(关

10、系)。我们说：(1)关系/表可以互操作，但是关系/表的操作结果仍然是关系/表。(2)五个基本的关系操作是必要的，即数据库管理系统至少应该支持“并”、“差”、“笛卡儿积”、“选择”和“投影”等操作。(3)数据库管理系统还应支持用户通过这五种基本操作的组合来表达更复杂的表操作。例如，“交叉”操作和“连接”操作可以通过这五种基本操作的组合来实现。5.2.3数据表的操作关系运算，5.2.3数据表的操作关系运算，(1)“并”运算：关系A和关系B的“并”运算的结果是由属于A或B的元组组成的新关系。(2)“差”运算：关系A和关系B之间的“差”运算的结果是由属于A但不属于B的元组组成的新关系。(3)“交集”运

11、算：关系A和关系B之间的“交集”运算的结果是由属于A和B的元组组成的新关系.交叉操作可以通过差分操作的组合来实现，这将在后面介绍。5.2.3数据表的操作关系操作、5.2.3数据表的操作关系操作、以及(4)“选择”操作：从给定关系中选择满足一定限制的元组。(5)“投影”操作：从给定的关系中保留指定的属性子集，并删除剩余的属性。“选择”操作是从特定关系中选择满足特定条件的“行”子集，而“项目”操作实际上是生成关系的“列”子集。5.2.3数据表操作关系运算，5.2.3数据表操作关系运算，(6)笛卡尔乘积运算是对两个关系的运算。两个关系的笛卡儿积运算是两个关系的拼接运算。它由一个关系的元组和另一个关系

12、的每个元组组成一个新的元组。所有这些新元组形成的关系是笛卡尔乘积运算的结果。5.2.3数据表的关系运算，5.2.3数据表的关系运算，(7)“连接”运算是两个关系的拼接运算，但不同于笛卡尔乘积运算，“连接”运算是将两个关系中满足一定条件的元组拼接成一个新的元组，这个条件称为连接条件。在日常使用中，“连接”操作通常指“自然连接”操作，即只有当两个关系的同名属性具有相同的值时，两个关系的元组才能拼接成一个新的元组。连接操作可以通过笛卡尔乘积操作、选择操作和投影操作来实现。5.2.3数据表的运算关系，问题：有没有更严格的表述？5.2.3数据表的操作关系操作，定义5-1域：域是一组具有相同数据类型的值。

13、定义5-2笛卡儿积：给定一组域D1，D2，Dn，这些域可能有相同的。D2 D1的笛卡儿积Dn是：D1 D2 Dn=迪迪，i=1，2，n，其中每个元素简称为n元组。一个元素中的每个值di被称为一个组件。如果Di (i=1，2，n)是一个有限集合，并且它的基数，即集合中的元素数，是mi (i=1，2，n)，那么Dn的基数M是：M=m1m2 mn。5.2.4数学定义数据表及其操作关系模型，定义5-3关系：D1 D2 Dn的子集称为D1、D2、Dn字段中的关系。其中r代表关系的名称，n代表关系的目的或程度。关系中的每个元素都是关系中的一个元组，通常用t表示。当n=1时，它是一个单位关系，当n=2时，它

14、是一个二元关系。该关系是笛卡尔乘积的有限子集，因此该关系也是二维表。表的每一行对应一个元组，表的每一列对应一个字段。因为字段可以是相同的，所以为了区分它们，每个列都必须有一个名为属性的名称。n项关系中必须有n个属性。如果关系中属性组的值可以唯一标识一个元组，则该属性组称为键。如果关系有多个代码，则选择其中一个作为主键。5.2.4用数学方法定义数据表及其操作关系模型，例如：纪，女，张颖，D1，D2笛卡儿积D1D2是所有男人和所有女人的所有可能组合：关系“家庭”=，它是由一个男人和一个女人的那些组合组成的。5.2.4用数学方法定义数据表及其操作关系模型，并定义关系/表。我们可以进一步以严格集合运算

15、的形式定义各种运算。(1)联合：让r和s相容。共兼容性意味着两个关系具有相同数量的属性，并且相应属性的值来自相同的域，t是一个元组，如下所示。有：R S=t | tR。上面的公式表明R S不是由R中的元组组成，就是由S中的元组组成.(2)差异：如果R和S兼容，则R S=t | tR tS。上述公式表明，R S由R中的元组组成，但不是S中的元组，5.2.4数学定义数据表及其运算关系模型，(3)笛卡尔乘积：如果R是N度关系，S是M度关系，那么R S是n m度关系，那么R S=| R S缩写为RS=T | T=T(N)R T(M)S 5 . 2 . 4数学定义数据表及其运算关系模型；(4)投影：关系R上的投影是从关系R中选择几个属性列来形成一个新的关系。注：上述公式表明，投影操作是根据TJ1、TJ2、TJM的排列顺序重新排列R元组的成分而形成的一组新元组。(5)选择f (r)=t | tr f (t)=true，