《大学计算机基础》-大学计算机基础 第8章 计算机新技术

第8章计算机新技术主讲：XXXX☎：XXXX〠：XXXX@XX.com01大数据基础02物联网目录CONTENTS03人工智能04云计算05区块链移动互联网的普及以及物联网技术的快速发展，全球数据种类不断增多，数据总量也以惊人的速度增长。与此同时，伴随着大数据技术演技和应用的快速发展，各国把发展大数据上升为国家战略。大数据、物联网、人工智能、云计算、区块链等多点突破和融合互动将推动新产业、新业态、新模式的兴起，这势必将重新塑造全球经济竞争格局，也将为中国经济引擎升级带来新的机遇和挑战。前言大数据大数据技术的发展动力大数据的应用大数据技术基础大数据的概念思维导图的绘制大数据的特征大数据的概念及特征（1）什么是大数据？大数据这一概念的形成，有三个标志性事件2008年9月，美国《自然》（Nature）杂志专刊—ThenextGoogle,第一次正式提出“大数据”概念。2011年2月1日，《科学》（Science）杂志专刊—Deadlingwithdata,第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”2011年5月，麦肯锡研究院发布报告——《Bigdata:Thenextfrontierforinnovation,competition,andproductivity》,第一次给大数据做出相对清晰的定义。大数据的概念及特征麦肯锡全球研究院：大数据是指大小超过经典数据库系统收集、存储、管理和分析能力的数据集。这一定义是站在经曲数据库的处理能力的基础上看待大数据的。维基百科：规模庞大，结构复杂，难以通过现有商业工具和技术在可容的时间内获取、管理和处理的数据集。美国国家标准技术研究院（NIST）：具有规模巨大、种类繁多、增长速度快和变化频繁的特征，且需要一个可扩展体系结构来有效存储、处理和分析的广泛的数据集。IBM给出一个“4V特性”的定义：强调了大数据的数量、多样性、速度和真实性等方面，后来也将数据价值吸引进来，成为大数据的“5V特性”。（1）什么是大数据？大数据的特征（2）大数据的特征体量大（Volume）种类多（Variety)速度快（Velocity）价值高（Value）大数据技术发展的动力云计算、人工智能、物联网、硬件性价比的提高以及软件技术的进步推动大数据技术的发展。大数据技术发展的动力大数据的若干核心价值大数据可以帮助发现规律大数据可以帮助解释现象大数据可以帮助预测未来社会：大数据提高决策能力和政府治理能力经济：大数据成为推动经济转型发展的新动力科研：大数据成为科学研究的新途径大数据的应用大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹大数据相关技术基础（一）（1）云计算与大数据大数据的基础架构支持大数据相关技术基础（一）（2）云计算的支撑作用大数据处理需要拥有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑。从某种观点上看，没有计算机的云计算技术，就不会有大数据的被分析和利用。大数据相关技术基础（一）（3）分布式处理分布式处理是将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在控制系统的统一管理控制下，协调地完成大规模信息处理任务的计算机系统。大数据相关技术基础（二）（1）大数据采集和预处理数据采集：数据采集是指从真实世界对象中获得原始数据的过程。常见数据的来源：对现实世界的测量、人类的记录、计算机生成的数据常用的采集方式：接（PULL-based）和推（Push-based)大数据相关技术基础（二）（2）数据预处理通过数据预处理工作，可以使残缺的数据完整，并将错误的数据纠正、多余的数据去除，进而将所需的数据挑选出来，并且进行数据集成。常见的预处理方法：数据变换、不一致检测与修复、缺失值填充、实体识别和真值发现等。大数据相关技术基础（二）（3）数据集成把不同来源、格式、性质的数据在逻辑上或物理上有机地集中，通过一种一致的、精确的、可用的表示法，对同一种现实世界中的实体对象的不同数据做整合的过程，从而提供全面的数据共享，经过数据分析挖掘产生有价值的信息。大数据相关技术基础（三）大数据的存储特性现在的大数据都是高度分散的、结构松散，并且体积越来越大。大数据相关技术基础（四）（1）大数据计算面向大数据处理的数据查询、统计、分析、挖掘等需求，促生了大数据计算的不同计算模式，常用的大数据计算框架有两种：离线批处理计算实时流式处理计算大数据相关技术基础（四）大数据分析（1）数据描述性分析数据描述性分析关注于描述一组数据的统计特征，帮助我们了解数据分布特征、以及分散性和关联性等数字特征。典型的统计指标：均值、方差、中位数、分位数等。大数据相关技术基础（四）（2）数据挖掘和机器学习算法分类算法、聚类算法、关联规则算法、PageRank算法、人工神经网络和深度学习方法、统计机器学习方法等。。。。大数据相关技术基础（四）（3）预测分析预测分析法是根据客观对象的已知信息而对事物在将来的某些特征、发展状况的一种估计、测算活动。典型的算法：回归分析、时间序列预测法和因果关系预测。大数据相关技术基础（四）（4）推荐系统推荐系统根据用户的兴趣特点和购买行为，向用户推荐感兴趣的信息和商品。典型的算法：协同过滤算法、基于内容的过滤算法和基于关联规则推荐算法。大数据相关技术基础（四）（5）社会网络分析社会网络分析被用来建立社会关系的模型，发现群体内行动者之间的社会关系，描述社会关系的结构，研究这种结构对群体功能或者群体内部个体的影响。典型的应用：社会舆情分析、网络社区发现、情感分析等大数据相关技术基础（四）数据可视化利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。可视化是理解、探索、分析大数据的重要手段。物联网（1）物联网的概念物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。物联网（2）物联网关键技术物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。图

矩阵式二维码图

采用RFID芯片的公交卡图

不同类型的传感器物联网（3）物联网的应用物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。人工智能（1）人工智能的概念人工智能（ArtificialIntelligence），英文缩写为AI，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能（2）人工智能关键技术物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。人工智能（3）人工智能的应用云计算（1）云计算的概念通过网络、以服务的方式，为千家万户提供非常廉价的IT资源。（2）云计算特点超大规模计算、虚拟化、高可靠性和安全性、通用性、动态扩展性、按需服务、降低成本。云计算（2）云计算服务模式和类型云计算（2）云计算服务模式和类型InfrastructureasaServicePlatformasaServiceSoftwareasaServiceSaaSPaaSIaaSGoogleApps,Microsoft“Software+Services”IBMITfactory,GoogleAppEngine,FAmazonEC2,IBMBlueCloud,SunGridServerStorageServerStorageVisualizationInfrastructurePlatformApplication从一个集中的系统部署软件，使之在一台本地计算机上(或从云中远程地)运行的一个模型。由于是计量服务，SaaS允许出租一个应用程序，并计时收费IaaS将基础设施(计算资源和存储)作为服务出租PaaS类似于IaaS，但是它包括操作系统和围绕特定应用的必需的服务SaaS云计算（3）云计算数据中心数据中心是云计算的温床云计算推动数据中心向虚拟化和云架构的转型，不断提高IT基础架构的灵活性，以降低IT、能源和空间成本，从而让客户能够快速地提高业务敏捷性“那些正在兴建最大规模数据中心的公司一般都在云计算方面拥有巨大野心”

--《数据中心知识》杂志主编

RichMiller

云计算（4）云计算的应用政务云教育云中小企业云医疗云区块链

区块链”的概念源于比特币。2009年比特币面世，成为区块链应用的第一个“结晶”。2015年始，部分国家认识到区块链技术的巨大应用前景，开始从国家发展层面考虑区块链的发展道路，区块链成为全球各大监管机构、金融机构及商业机构争相研究讨论的对象。在区块链迅速发展的背景下，我国顺应全球化需求，紧跟国际步伐，积极推动国内区块链的相关领域研究、标准化制定以及产业化发展。政府充分认可了区块链技术引领产业发展、激活实体经济的作用。2018年不管是文娱圈、科技圈、还是最早嗅到先机的投资圈，区块链都已成为的新的风口。区块链2016年10月，工业和信息化部发布《中国区块链技术和应用发展白皮书(2016)》，总结了国内外区块链发展现状和典型应用场景，介绍了国内区块链技术发展路线图以及未来区块链技术标准化方向和进程。2016年12月，“区块链”首次被作为战略性前沿技术写入《国务院关于印发“十三五”国家信息化规划》。2017年1月，工信部发布《软件和信息技术服务业发展规划(2016-2020年)》，提出区块链等领域创新达到国际先进水平等要求。2017年8月，国务院发布《关于进一步扩大和升级信息消费持续释放内需潜力的指导意见》提出开展基于区块链、人工智能等新技术的试点应用。2017年10月，国务院发布《关于积极推进供应链创新与应用的指导意见》提出要研究利用区块链、人工智能等新兴技术，建立基于供应链的信用评价机制。2018年3月，工信部发布《2018年信息化和软件服务业标准化工作要点》，提出推动组建全国信息化和工业化融合管理标准化技术委员会、全国区块链和分布式记账技术标准化委员会。截止2018年3月底，国内有北京、上海、广州、重庆、深圳、江苏、浙江、贵州、山东、贵州、江西、广西等多地发布政策指导信息，开展对区块链产业链布局。什么是区块链区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。它利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据。（科普中国”百科科学词条编写与应用工作项目组

）通俗的讲，区块链就是一种去中心化的分布式（分布在多地、能够协同运转的）账本数据库系统。区块链中心化与去中心化不管是两个原始人用野果换野猪，还是一个我们去路边店买小吃，都是去中心化的。中心化是解决交易过程中的欺诈行为的有效手段。中心化示例去中心化示例区块链所能解决的问题区块链解决的核心和本质问题是：无可信中心机构时，如何在信息不对称、不确定的环境下，建立满足活动赖以发生、发展的“信任”生态体系。即“拜占庭容错”或者“两军问题”，拜占庭帝国派10支军队进攻一敌人，这个敌人可抵御5支军队同时袭击，这10支军队不能集合单点突破，须分开同时攻击。问题是多个将军互相并不信任(存在叛徒)时，这种状态下要保证进攻一致，需要某种分布式协议来进行远程协调。如果每个将军向其他九个将军派出一名信使，总计90次传输，每个将军会收到9条信息，可能每一封都附着不同的进攻时间。此外，部分叛徒会故意答应超过一个的攻击时间，所以他们将重新广播超过一条的信息链。这个系统变成不可靠信息和攻击时间矛盾的混合体。区块链所能解决的问题能有效解决中心化所带来的负面问题。

第一、隐私问题。我们每一次交易都被某人悄悄记下来，十年过去了，自己都忘了的事情居然还有人帮你记着，你在哪天去了哪，住在哪，买了什么东西，中心机构全知道，居然还会据此给你打分。

第二，安全问题。我们的各种信息保存在别人那里，中心机构自己看看也就罢了，还可能会有意无意的丢了。

第三，数据的滥用问题。中心机构分析我们的数据，自以为了解了我们的喜好，给我们推送我们未必感兴趣的东西，还按我们的点击次数收费。

第四、信息封闭问题。Facebook、微信、银行都是封闭的系统。这些封闭系统制造了信息的孤岛，阻碍了信息的流动。

第五、践踏个人权利问题。中心化体系往往践踏个人的权利，比如垄断企业在不断侵犯消费者权益。区块链通过去中心化将给社会一个更自由，更透明，更公平的环境。区块链所能解决的问题能有效解降低信任的成本从个人信任进化到制度信任是人类文明的一大进步，制度的产生源于降低信任成本的需求。通过对符合制度规定的行为进行认可与鼓励，对违反制度规定的行为进行惩戒，引导人们将自己的行为控制在一定的范围内，从而达到降低成本的目的。但中心机构为我们建立信用的成本偏高，因为需要很多人来维持这个体系。不管哪个时代，需要大量的人来维持的体系成本必然很高。区块链构建了一个低成本的信任方式——机器信任，我们不需要相信语言和故事，也不需要有钢筋水泥、不需要靠个人领袖背书，只需要知道那些区块链上的代码会执行，也不需要担心制度会被腐败掉，就可以做到互相协作，低成本构建大型合作网络。机器信任其实是无须信任的信任。区块链有望使人类从个人信任、制度信任进入到机器信任的时代。区块链的特征去中心化区块链的去中心化特征，可以简单理解为：没有固定的中心化机构存在（比如政府、银行、支付宝等），所有的数据主体都将通过预先设定的程序自动运行。任何一个节点都可能成为阶段性的中心，但却不具备强制性的中心控制功能。节点与节点之间的影响，会通过网络，形成因果关系。不可篡改即使区块链遭受了严重的黑客攻击，只要黑客控制的节点数不超过全球节点总数的一半，系统就依然能正常运行，数据也不会被篡改。因为所有节点的权利和义务都是均等的，而且活动会