数据科学导论 课件 第1章 数据时代

第1章数据时代1.1数、数据与大数据数与数据“数”是量度事物的概念，是客观存在的量的意识表述。“数字”起源于原始人类用来数数、计数的记号形成自然数“数”的符号，是人类最伟大的发明之一，是人类精确描述事物的基础。“数”往往具有一下特点：（1）神秘性，与宗教神学、天体学相联系；（2）简洁性：用来记录（罗马数字、阿拉伯数字）；（3）统一性：概念的抽象。什么是数据“数据（Data）”这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。如今，数据代表着对某件事物的描述，数据可以记录、分析和重组它。在信息化时代，数据被记录并以数字化的形式保存在计算机内，所以可以说数据就是原始的“电子记录”。在计算机科学中，数据是所有能输入计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。在计算机系统中，数据以二进制信息单元0、1的形式表示。比特（Binarydigit）由英文BIT音译而来，是信息量的最小度量单位。这个计算机专业术语表示二进制数字中的位，在现实社会看到和听到的被记录下来后存入计算机里（电子记录）均是以比特的方式，所有的计算机都是基于0和1的计算。

试一试1.1：十进制、二进制、十六进制

进制即“进位计数制”是一种用数码和数位（权）表示数值型数据的方法。一个数由若干数码排列在一起组成，每个数码的位置规定了该数码所具有的数据等级（权）。计数制又称为以基值为进位的计数制，数位的“权”值是基值的幂。计数中，某一数位累积到基值后，向高位数进一；高位数的一，相当于低数位的基值大小。

十进制：(245.25)十

=2*102+4*101+5*100+2*10-1+5*10-2

二进制：(00010000)二

=0*27+0*26+1*25+0*24+0*23+0*22+0*21+0*20=(32)十

十六进制：(F5)十六

=F*161+5*160=15*16+5=(245)十

在ASCII（美国信息交换标准）编码中 a的ASCII码是：

（97)十=(01100001)二 A的ASCII码是：（65)十=(01000001)二计算机中的“字节”计算机中的另一个信息量单位是“字节”，1个字节由8个比特组成。编码有各种方式，最常用的ASCII码（美国信息交换标准）可理解为指定8位二进制数组合来表示256种可能的字符标准基础码，包括所有大小写字母、数字0到9、标点符号及美式英语中使用的特殊控制字符，一个字符的ASCII码占用存储空间为1个字节。

技术洞察1.1：图灵模型与冯诺依曼计算机

20世纪30年代，图灵（AlanTuring）提出了一种图灵模型，图灵认为“计算”就是计算者（人或机器）对一条两端可无限延长的纸带上的一串0或1执行命令，执行由“指令”来控制，一步一步地改变纸带上的0或1，经过有限步骤，最后得到一个满足预先规定的符号串的变换过程。

“现代计算机之父”的数学家冯诺依曼设计并制造出历史上第一台电子计算机，“冯诺依曼计算机”由五个基本部件构成：存储器（内存）、运算器、控制器、输入及输出（I/O）设备。工业革命从1.0到4.0所谓“工业革命”是基于工业发展的不同阶段作出的划分。按照共识，蒸汽机的出现促进了机械化生产，掀起了第一次工业革命。而电力应用、劳动分工和批量生产的实现，拉开第二次工业革命的大幕。进一步实现了生产自动化的电子和IT系统，开创了第三次工业革命。第四次则是利用信息化技术促进产业变革的时代，也就是智能化时代。技术洞察1.2：第二次工业革命--电力革命第二次工业革命起于19世纪70年代，在规模上远大于第一次工业革命，电力作为新能源进入生产领域。由于发电机和发动机的发明和使用，电力的应用日益广泛，并逐步取代蒸汽，成为工厂机器的主要动力，人类进入“电器时代”。在电力技术的发展方面，美国和德国超前其他国家，部分有标志性的发明与创造如表所示

三次信息化浪潮三次信息化浪潮出现的时间及标志物（技术进步）分别是：1980年前后，个人计算机（微机）的出现，解决了信息处理的问题；1995年前后，互联网横空出世，解决了信息传输的问题；2010年以后，随着物联网、人工智能、云计算、大数据等技术的发展，信息爆炸。技术洞察1.3：CRM的起源与发展

CRM是客户关系管理（CustomerRelationshipManagement）的缩写，其概念起源于20世纪80年代末期和90年代初期，CRM系统既是一套管理制度，也是一套软件和技术。它的目标是缩减销售周期和销售成本、增加收入、寻找扩展业务所需的新的市场和渠道以及提高客户的价值、满意度、赢利性和忠实度。CRM的发展经历了三个阶段：第一个阶段目的是客户数据整合，第二个阶段关注客户交互,第三个阶段则是提升客户体验。

同期出现的ERP系统是企业资源计划(EnterpriseResourcePlanning)的简称，即业务流程管理软件。其目标是从整体供应链范围内优化调配企业的资源，进而优化现代企业的运行模式，它对于改善企业业务流程、提高企业核心竞争力具有显著作用。

大数据4V特点（1）大量（Volume）：数据量的巨大。（2）多样（Variety）：数据的种类和来源是

多样化的，数据可以是结构化的、半结

构化的以及非结构化的。（3）高速（Velocity）：数据增长的快速性及

处理要求的快速性。（4）低价值密度（Value）：在海量的数据源中，直接可用的有价值的数据少之又少。想一想1.1：“大”数据数据大小的度量很难跟上新名词的出现。我们都知道千字节（KB，即1000字节），而大数据则处理的是PB/EB/ZB级别的数据体量。其中1PB=1024TB(PB-petabyte)；1EB=1024PB(EB-exabyte)；1ZB=1024EB(ZB-zettabyte)。

结构化数据与非结构化数据数据结构是计算机存储、组织数据的方式。数据按照结构化程度可分为三种：（1）结构化数据：数据有固定的结构，包括预定义的数据类型和数据格式，例如交易数据、在线分析处理数据集、传统的数据库、CSV（逗号分隔符）文件甚至电子表格等。（2）非结构化数据：数据没有固有的结构，例如文本文件、PDF文件、图像和视频等。（3）半结构化数据：有部分模式的文本数据文件，支持语法分析（例如，有模式定义的和自描述的可扩展标记语言[XML]数据文件、网页、电子邮件等）。结构化数据的典型例子是数据表格，即存储在传统数据库中的数据，其特点是先定义好数据存储的格式（模式），然后再放入数据。非结构化数据则是无法事先定义好的数据，如各类文本、图像视频、语音、社交网络等。结构化数据与关系型数据库（1）结构化数据：数据有固定的结构，包括预定义的数据类型和数据格式，例如交易数据、在线分析处理数据集、传统的数据库、CSV（逗号分隔符）文件甚至电子表格等。非结构化数据（2）非结构化数据：数据没有固有的结构，例如文本文件、PDF文件、图像和视频等。非结构化数据（2）非结构化数据：数据没有固有的结构，例如文本文件、PDF文件、图像和视频等。半结构化数据（3）半结构化数据：有部分模式的文本数据文件，支持语法分析（例如，有模式定义的和自描述的可扩展标记语言[XML]数据文件、网页、电子邮件等）。想一想1.2：Excel中的数据格式数据格式（Dataformat）是数据保存在文件或记录中的编排格式，如数值、字符或二进制数等形式，由数据类型及数据长度来描述。数据类型是与程序中出现的变量相联系的数据形式，传统的结构化数据的存储方式是先定义数据格式，然后再进行数据存储及使用，即“先定义、后使用”，所以数据格式的确定对后续工作影响很大。

数据产生的三个阶段及方式（1）运营式系统阶段：企业用数据库保存大量结构化的关键信息，用来满足企业的各个业务需求，如典型的业务数据管理系统是CRM与ERP系统。这个阶段数据的产生是“被动的”。（2）用户原创内容阶段：Web1.0时代主要以门户网站为代表，强调内容的组织和数据的共享，“用户原创内容”为特征的Web2.0时代，如WiKi、博客、微博、微信、论坛等。这时用户是数据的生成者。特别是诸如Twitter、Facebook、微信等社交媒体平台产生的社交数据包含用户行为轨迹等大量有价值的信息。而提供这些价值的数据可认为是用户“主动”提供的。（3）感知式系统阶段：物联网的发展最终导致了人类社会数据量的第三次飞跃。物联网中包含了大量的设备传感器，这些设备无时无刻不在产生大量数据。与Web2.0时代的人工数据的产生方式相比，物联网中的“感应式”数据将在短时间内自动生成更密集、更大量的数据，使得人类社会迅速进入“大数据时代”。大数据时代的技术基础（1）存储设备容量不断增加，而价格却在不断下降。（2）CPU处理能力大幅提升，使得更快地处理不断积累的海量数据成为可能。（3）网络宽带不断增加，各种终端设备可以随时随地传输数据。（a）存储价格变化（b）CPU晶体管数目变化（c）网络带宽变化大数据时代-从IT到DTIT技术（InformationTechnology）的核心本质是“信息的传播”，IT技术的发明和发展大幅度延伸了我们的触觉、视觉、听觉所能够触及的距离及广度，并且具有即时性。DT（DataTechnology）即数据技术。数据=数+据，其本质的意思是数字化的证据。数据是数字化的大千世界的记录，这种记录随着计算机和智能设备的发展而得到普及应用，有越来越多的数据被记录、被存储。数据价值与商业三要素从商业的角度来看，将数据价值转换为商业价值是关键的核心环节。数据的价值如何体现，可以从三个方面来考虑，即增加收入、减少支出、防范风险，可以称之为“商业三要素”。这里的关键是要把业务问题定义为数据可分析的问题。

从IT到DT实质上就是迎接大数据4V带来的问题与挑战，大数据的核心是预测，即挖掘数据的价值，大数据时代以数据为中心是认识观念的一次变革。DT时代一个非常重要的特征就是体验，只有抓住用户体验，才能抓住DT时代的根本。这也是商业三要素实现的根本。第1章数据时代1.2大数据时代的变革大数据时代的变革–思维变革世界的不确定性折射出在信息时代的的方法论：获得更多的信息，有利于消除不确定性。大数据时代需要一种全新的思维方式：（1）全样而非抽样：在大数据时代，可分析的数据很多，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。（2）效率而非精确：由于掌握了几乎所有的数据，所以不再担心某个数据点对整个分析的不利影响。唯一要做的就是要接受这些纷繁的数据并从中受益，而不是以高昂的代价消除所有的不确定性。（3）相关而非因果：应用“基于数据”的思维模式，重视对“相关性”的分析，而不是等到发现“真正的因果关系”之后才解决问题。大数据时代的变革–商业变革（1）对数据重要性的新认识：从数据资源到数据资产（2）对决策方式的新认识：从目标驱动型到数据驱动型（3）对产业竞合关系的新认识：从以战略为中心到以数据为中心（4）对数据处理模式的新认识：从小众参与到大众协同技术洞察1.6：什么是“爬虫”

在互联网领域，爬虫一般指抓取众多公开网站网页上数据的相关技术，又称为网络爬虫。我们所熟悉的一系列搜索引擎都是大型的网络爬虫，例如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序，例如360浏览器的爬虫称作360Spider，搜狗的爬虫叫做SogouSpider。以抖音为例，用Python爬取用户信息可能包括用户的抖音号、用户的user_id、用户的sec_user_id、头像地址、用户的昵称、用户的签名、用户的出生日期、用户的所属国家、用户的省份、用户的城市、用户所在的区域、用户的粉丝数、用户的关注数、发布的抖音数量、发布的动态数量、用户点赞的视频数、总共被点赞的次数等。大数据时代的变革–生活变革购物方面：当前网络购物在改变我们传统购物方式的基础上，为电商提供了大量的信息。通过大数据分析，电商可以挖掘单个消费者的喜好，包括消费者经常买什么商品，偏向买什么品牌等，从而进行相关产品的推送。同时针对公众对某一商品的需求，为商品供应商的生产活动提供参考。交通方面：乘客的需求数据可以通过移动互联网传给每位网约车司机，乘客无需路边打车即可以享受“接驾待遇”。网约车平台通过数据分析，规划出适合乘客出行的交通路线，最大程度上方便了乘客出行，降低空驶率，最大化节省司乘双方资源与时间。医疗方面：通过大数据集成平台，医院、医生可以清楚知道患者的病史、用药史等信息，患者无需携带以往的病历卡即可就诊。同时，集成平台可以根据各医院的患者数量合理分配医疗资源。教育方面：互联网在线教育使学生可以随时、随地接受教育。老师也可以通过大数据监测学生的学习行为，了解每一封发出的邮件带来的学生们的反馈。技术洞察1.5：用户数据的价值知多少

在互联网时代，用户数就是流量，流量就是钱。而在中国移动互联网这个高达12亿用户的流量池里，仅微信就独占10亿活跃用户，可想而知，微信的盈利能力有多强。目前，微信的盈利方式包括几种方式，微信公众号、小程序认证收费；微信信息流、公众号、小程序广告变现；企业微信等。大家熟悉的B站盈利构成如表所示，这里有你的贡献吗？

第1章数据时代1.3大数据时代的挑战大数据时代的挑战大数据带来的挑战首先是技术性的，当数据的数量或种类达到一个限度时，传