《数据采集与处理》课件-1.数据采集与处理认知

项目一数据采集与处理认知任务一认识数据与信息网商的手机预约数真的可信吗？数据是一个很枯燥的东西吗？数字数据=应用在日常生活的各个领域我们很多时候都在和数据打交道一、认识数据（一）什么是数据豆瓣评分天气预报例如，我们去电影院看电影前喜欢先看网上的评分（见图1-2），购买商品时将各个平台的价格进行对比，查看旅行攻略中涉及的各种路线所需的时间和花费，每天都很关注天气预报（见图1-3）等。因此，我们大多数人都对数据产生过兴趣，又在日常生活中接触过数据，怎么能说数据是枯燥的呢？数据：对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。

它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，例如，“0、1、2...”“阴、雨、下降、气温”“学生的档案记录”等都是数据。

也就是说数据不是单纯地指各种Excel表格和数据库，图书、图片、视频、报表、短信等也属于数据的范畴，如通过搜索引擎所做的图片识别、音频识别等都是数据的表现形式。数据使问题更加客观和准确数据能够给我们更多的反馈信息数据能让我们的观点更有吸引力数据的作用例如：《价值3000元和价值30000元文案的区别》例如：教育机构分析学生成绩，制定辅导计划例如：温度的高低、每月工资8000元是高是低（二）什么是商务数据商务数据：主要指记载商业、经济等活动领域的数据符号。在电子商务领域，商务数据可以分为两大类：前端行为数据和后端商业数据。

前端行为数据：是指访问量、浏览量、点击流及站内搜索等反应用户行为的数据；

后端商业数据：更侧重于商业数据，如交易量、投资回报率及全生命周期管理等。（三）什么是数据库数据库：简单地说，数据库是结构化数据的集合。严格地讲，数据库是长期储存在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按照一定的组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。基本特征：（四）数据的计量尺度

数据采集与处理离不开数据，数据也是数据采集与处理的结果。

数据计量是指根据规则，对人或事物的数据特征进行的分类、标识和计算。数据计量一般分为四个层次或四种计量尺度。（四）数据的计量尺度1.定类尺度

定类尺度也称类别尺度，是将数据采集对象分类，标以各种名称确定其类别的方法，实质上是一种分类体系。

定类尺度可以用文字来表示，也可以用数值来表示，但数值本身没有实质性意义，仅是一种符号，目的是为了区分不同的类别，而且只具有等于（=）或不等于（≠）的数学特性。定类尺度等级最低，只是给不同类别起个名称。常见的定类数据有：国家、户口、性别、民族、婚姻状况、职业等变量特征的计量。（四）数据的计量尺度2.定序尺度定序尺度也称顺序尺度，是指对计量对象的属性和特征的类别进行鉴别并能比较类别大小顺序的一种计量方法。例如，人们的生活水平有贫困、温饱、小康、富裕，这是一种由低到高的等级排列；再如城市有特大城市、大城市、中等城市、小城市，这是一种由大到小的排列；教师的职称有讲师=1、副教授=2、教授=3等。常见的定序数据有：教育程度、服务评级、比赛名次。（四）数据的计量尺度3.定距尺度定距尺度是一种不仅能将变量（社会现象）区分类别和等级，而且可以确定变量之间的数量差别和间隔距离的方法。例如我们对A(33℃)、B(30℃)、C(37℃)三人的体温（Unit:℃）进行统计，可得到这三人的体温依次为：33℃、30℃、37℃。我们将A和B的体温相减33-30=3，则可知A比B的体温高3℃。所以对于定距数据而言，其支持+、-运算，但是不可以进行×、÷运算。比如在本例中，我们将A、B的体温相除33/30=1.1，我们不能说A的体温比B体温热1.1倍。因为摄氏温度中的0℃不表示绝对的零点，即没有温度，其只是一个人为定义的标准。所以对于定距数据而言，由于不存在绝对的零点，故对其进行×、÷运算是没有任何意义的。在定距数据中，0值是作为比较的标准，而不是表示没有。当然，其同样亦支持＝、≠、>、<运算。常见的定距数据有：摄氏温度、华氏温度、年份、纬度、经度、考试成绩等。（四）数据的计量尺度定距尺度可以较方便地转换为定序尺度，例如，若考查课的成绩要以五级制成绩表示，则需要将百分制分数转换为五级制分数，一般百分制中的“60~70”对应五级制中的“及格”，其他分数以此类推。但需要注意的一点是，通常定序尺度数据不能转换为定距尺度数据，如五级制分制不能转换为百分制。（四）数据的计量尺度4.定比尺度定比尺度是能够计量事物间比例、倍数关系的计量方法，通过对比计算，可以形成新的相对数，用以反映现象的构成、比重、速度、密度等数量关系。定比尺度是计量中的最高层次，含有前三个计量尺度的特征。定比尺度下的数据可以进行加减乘除运算，运算结果具有实在的意义。例如我们对A(50kg)、B(25kg)、C(10kg)三人的体重（Unit:kg）进行统计，可得到这三人的体重依次为：50kg、25kg、10kg。我们将A、B的体重相除50/25=2，这时我们就可以说A比B重2倍。原因在于体重数据是存在绝对的零点，显然体重为0kg时表示的是没有体重。所以对于定比数据而言，其之所以支持×、÷运算，是因为存在绝对的零点，即0值表示没有。当然，其同样亦支持＝、≠、>、<、+、-运算。常见的定比数据有：体重、身高、体积等。（四）数据的计量尺度四种计量尺度的比较见表1-1-1：功能类别分类排序间距比值定类尺度

定序尺度

定距尺度定比尺度（五）数据的分类1.按照来源分类（1）原始数据

原始数据是通过直接数据采集获得的数据，也是未经过处理或简化的数据，称为一手数据或直接的统计数据，如产品的出库资料、数据采集问卷等。主要是通过访谈、询问、问卷、测定等方式直截了当获得的,通过收集一手数据可以解决特定问题。（2）次级数据

次级数据也称二手数据，是已经经过别人的初步数据采集、加工和处理后的数据，有时也称为间接的数据，如统计年鉴、文献资料、统计报告等。与一手数据相比，二手数据具有取得迅速、成本低、易获取等优点。当然，二手数据也存在相关性差、时效性差和可靠性低的缺点。（五）数据的分类2.按照数据来源的范围分类（1）外部数据以互联网企业为例，它的外部数据主要包括：社会人口数据：人口的概况、人口的分布、人口的素质、民族的构成等。宏观经济数据：生产总值、国民生产总收入、消费水平等。新闻舆论数据：新闻的广告、舆论的监测等。市场调研数据：对渠道、广告、产品及价格方面的调研数据。（2）内部数据内部数据包括用户行为数据、服务端日志数据、客户关系管理、数据和交易数据等。其中用户行为数据是指用户在网站的停留时间、跳出率、回访次数及回访率等。（五）数据的分类2.按照采用的计量尺度分类（1）定性数据定性数据也称为品质数据，分为定类数据和定序数据。1）定类数据：是由定类尺度计量形成的数据，是数据的最低级，它表示个体在属性上的特征与类别上的不同变量，仅仅是一种标志，没有序次关系。2）定序数据：是由定序尺度计量得到的，表现为类别，但有顺序，数据的中间级，用数字表示个体在某个有序状态中所处的位置，不能做四则运算。（五）数据的分类2.按照采用的计量尺度分类（2）定量数据定量数据又称数值数据，可分为定距数据和定比数据。1）定距数据：是由定距尺度计量得到的数据，具有间距特征的变量，它对事物能进行准确测度。定距数据表现为“数值”，有单位，可以加减运算，但不能做乘除。2）定比数据：是由定比尺度计量形成的数据，表现为数值，可以进行加、减、乘、除运算，没有负数。数据的最高级，既有测量单位，也有绝对零点，例如职工人数，身高。一般来说，数据的等级越高，应用范围越广泛；等级越低，应用范围越受限。（五）数据的分类四种数据类型的比较：数据类型测量结果测量精度计算方法信息数量定性数据定类数据A、B公司是国有企业是否是国企无A、B公司是国有企业定序数据A公司是大型企业B公司是中型企业规模的大与小无A、B公司是国有企业A公司比B公司规模大定量数据定距数据A公司创设于1963年B公司创设于2003年确定的企业年限加、减A、B公司是国有企业A公司比B公司规模大A公司比B公司早成立36年定比数据A公司成立60年B公司成立20年确定的企业年限加、减、乘、除A、B公司是国有企业A公司比B公司规模大A公司比B公司早成立36年A公司的成立年限是B公司年限的3倍（五）数据的分类3.按照规模分类（1）传统数据传统数据就是一般意义上的数据，是对客观现象的属性、特征进行分类、标示和计算等计量活动的结果。（2）大数据（五）数据的分类大数据：指的是所涉及的资料量规模巨大到无法通过目前主流的软件工具，在合理时间内提取、存储、搜索、共享、分析和处理的数据集合。

大数据的特征：Volume（大量）Velocity（高速）Variety（多样）Value（价值）（五）数据的分类大数据的应用：大数据教育大数据交通大数据医疗大数据金融（五）数据的分类4.按照反映时间状态分类（1）横截面数据横截面数据是指在同一时间(时期或时点)截面上反映一个数据采集对象的一批(或全部)个体的同一特征变量的观测值，是样本数据中的常见类型之一。例如，工业普查数据，人口普查数据，家庭收入调查数据。（2）时间数列数据时间数列数据是指按照时间顺序排列的数据序列，它反映一系列时间上发生的状态、过程、活动或者现象的数据。（五）数据的分类（五）数据的分类二维表结构，通过关系型数据库存储和管理字段可根据需要扩充，即字段数目不确定不方便用数据库二维逻辑表来表现，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等（五）数据的分类本月店内康师傅冰红茶每天的销售量今天店内康师傅冰红茶、绿茶、茉莉蜜茶的销售量本月店内康师傅冰红茶、绿茶、茉莉蜜茶每天的销售量（五）数据的分类智商分数100.5、100.6。。。班级个数、学生人数。。。（六）数据集数据集（Dataset）：是一个数据的集合，通常以表格形式出现。

每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。二、认知信息1.信息信息：是指用语言、文字、符号、情景、图像、声音等所表示的具体内容统称为信息。信息有以下两点内涵：1）信息是向人们或机器提供关于现实世界新的事实的知识，是数据、消息中所包含的意义。2）信息是对客观世界中各种事物的运动状态和变化的反映，是客观事物之间相互联系和相互作用的表征，表现的是客观事物运动状态和变化的实质内容。（一）什么是信息2.信息的载体形式信息的载体形式：文字、图像、图形、声音、符号、动画、视频等。3.信息的特征信息有如下几个特征：传递性、共享性、依附性、可处理性、价值相对性、时效性和真伪性。（二）数据与信息有一句话是这么说的“数据是爆炸了，信息却很贫乏”，那么数据与信息之间到底有什么关系呢？（二）数据与信息1.关系数据和信息是相互联系的概念，数据是信息的具体表现形式，而信息是数据的内涵。数据是反映客观事物属性的记录，如文字、数字、图形和曲线等，这些数据本身没有意义，只有当它们被解释、运用或解算时，才能成为信息。信息是数据经过加工处理后得到的，如报表、账册和图纸等，信息被用来反映客观事物的规律，从而为管理工作提供依据。（二）数据与信息数据和信息可以相互转化。例如，昨天的销售情况是数据，而明天可能的销售情况实际上就是信息，如果我们把过去一年的销售情况收集起来进行加工，就又会得到长期变化规律的新信息。数据和信息是无法割裂开的，数据对人类真正的用途是加工出不同的信息，这也能使我们更好的认识事物，得到正确的信息更能帮助我们做出正确的决策。（二）数据与信息2.区别数据是数据采集时提供的，信息是从采集的数据中获取的有用信息。即：数据=信息+数据冗余。由此可见，信息可以简单地理解为数据中包含的有用的内容。不严格的说，“不知道的东西，你知道了，就获得了一个信息”。也可以说数据在未被接收对象获取前可以称为数据，一旦被对象获取，即可称为信息。数据是客观的，它不依人们的主观意志为转移；信息是带有主观性的，同样一条消息（数据），经过某人的解释，对某人来说很有用处，很有价值，但对另外一个人，可能没有什么价值。三、数据的职能（一）信息职能数据的信息职能是指系统地采集、整理和提供大量的以数量描述为基本特征的数据，能够给我们反馈更多的信息，如企业在了解市场、分析对手等方面数据使问题更加客观和准确。在数据的三种职能中信息职能是最基本的职能，是数据的咨询和监督职能得以发挥的基础。三、数据的职能（二）咨询职能数据的咨询职能是指根据掌握的丰富的数据信息资源，经过数据处理，为科学决策和管理提供咨询意见和对策建议，数据也能使提供的观点或建议更有吸引力。三、数据的职能（三）监督职能数据的监督职能是指根据数据采集与处理，从总体上对宏观国民经济和社会运行状况及微观数据采集单位进行全面、系统的定量检查、监测和预警，及时揭示经济运行中的问题，促使社会经济及数据采集单位按照客观规律的要求发展。任务二认识数据采集与处理的相关概念

数据采集在我们日常生活当中是随处可见的，尤其是2020年初的新冠疫情，我们每个人每天都要不断的在小区入口，公司上班处，或在线填写各类身体健康信息的表格和数据，这些就是数据采集的过程。

一、数据采集对象与数据采集单位

数据采集对象：是指由许多同质的、客观存在的个体构成的整体；

数据采集单位：构成数据采集对象的个体就是数据采集单位。

一般来说，在一个数据采集对象中，数据采集单位在某些方面必须有一个或多个相同的性质。例如要采集一个地区民营经济的相关数据，当地所有的民营经济体就构成了一个数据采集对象，在所有制性质这一点上，所有的民营经济体都是相同的。对于该数据采集对象来说，每一个民营经济体就是数据采集单位。二、标志与指标（一）标志

标志：是采集对象各单位所具有的共同特征的名称，即用来说明总体单位特征的名称。

从不同的维度来考察，每个数据采集单位可以有许多特征，而且这些特征有不同的表现，这种表现叫做标志的特征值，也是数据采集所需要的结果，例如：一家电子厂职工的性别、年龄、民族等。1.按特征值的表现分为不变标志和变异标志不变标志：当一个标志在各个采集单位的特征值都相同时,这个标志称为不变标志；变异标志：当一个标志在各个单位的特征值有可能不同时，该标志称为可变标志或变异标志。例如，电子厂的员工，如果按厂籍来看都一样，这个厂籍就是不变标志，如果按照性别、年龄、学历等来区分，则有所不同，这些标志就是可变标志。数据采集的标志主要是可变标志。标志的分类2.按其性质可分为品质标志和数量标志品质标志：表示事物质的特征，其特征值是不能用数值表示的，例如员工的民族、性别、工种等。数量标志：表示事物量的特征，其特征值用数值表示，例如员工的年龄、工资、工龄等。（二）指标及指标体系1.指标的概念指标：是反映数据采集对象总数量特征的名称和具体数值。例如，全国电商厂商数、天猫“双十一”商品销售额、人均工资收入等。指标一般由六个要素构成：指标名称、计量单位、计算方法、时间范围、空间范围、具体数值。例如，2022年全年我国国内生产总值（GDP）为1210207亿元，这个指标就反映了2022年我国GDP的总体情况。2.指标的种类(1)按反映数据采集对象内容的不同分类指标按反映数据采集对象内容的不同，分为数量指标和质量指标。1）数量指标也即是总量指标，是说明数据采集对象总规模、总水平的指标。例如,员工总数、企业固定资产总额、工资总额、进出口总额等。数量指标所反映的是数据采集对象的绝对数量,有计量单位，其数值的大小随着数据采集对象范围的变化而变化,它是认识数据采集对象的基础。2.指标的种类2）质量指标是说明数据采集对象内部数量关系或数据采集单位水平的指标。例如，各省经济总量占全国经济总量的比重、某电子厂员工的性别比例，年龄构成，农业、轻工业、重工业比例，平均年龄等。它的表现形式有相对数和平均数,其数值的大小与范围的变化没有直接关系。2.指标的种类(2)按其表现形式和作用的不同分类指标按其表现形式和作用的不同,分为总量指标、相对指标和均值。1）总量指标又分为实物指标、劳动指标和价值指标三种。2）相对指标也称相对数，是用两个有联系的指标进行对比、用来反映数据采集对象之间数量关系的指标，如频率、结构、发展程度、强度、普遍程度等。3）均值则是反映数据采集对象内部某一数量标志在一定时间、地点下所达到的一般水平的指标，如平均身高、平均寿命、平均亩产量等。2.指标的种类(3)按管理功能的不同分类指标按管理功能的不同，分为描述指标、评价指标及预警指标。1）描述指标是用来反映数据采集对象的状况、过程和结果，达到对数据采集对象现象的基本认识，是数据信息的主体。例如，反映某网络店铺拥有粉丝数量指标、年销售额指标；再如某地区劳动资源指标、国内生产总值指标、财政收入指标、投资指标等。2）评价指标包括宏观国民经济评价指标和数据采集对象经济活动评价指标，用于对社会经济运行的结果进行比较、评估和考核，以检查工作质量或其他定额指标的结合使用。如产品的合格率、就业率、计划完成程度等指标。3）预警指标主要用于对数据采集对象的运行进行监测，对数据采集对象运行中即将发生的失衡、失控等进行预报、警示。通常选择数据采集对象运行中的敏感性、关键性经济现象，构建相应的监测指标体系。如针对经济增长、经济周期波动、失业、通货膨胀等，可以建立GDP与国民收入增长率、CPI、汇率、利率、社会积累率、消费率、失业率等预警指标。（二）指标及指标体系3.指标体系（1）指标体系指标体系就是各种相互联系的指标所构成的一个有机整体,用来说明所研究现象各个方面相互依存和相互制约的关系，它主要用于解决由于现象的复杂多样性，及各种现象之间相互联系的性质，例如只用个别指标来反映是不全面的,这样就需要采用指标体系来进行综述。（2）指标体系的分类1）根据所研究问题的范围大小分类指标体系根据所研究问题的范围大小，可以建立宏观指标体系和微观指标体系。宏观指标体系：就是反映整个现象大范围的指标体系，如反映整个国民经济和社会发展的指标体系。微观指标体系：就是反映现象较小范围的指标体系，如反映企业或事业单位的指标体系。介于这两者之间的可以称为中观指标体系，如反映各地区或各部门的指标体系。2