大学计算机-计算思维与人工智能(第2版)课件 第6章 新兴信息技术_第1页
大学计算机-计算思维与人工智能(第2版)课件 第6章 新兴信息技术_第2页
大学计算机-计算思维与人工智能(第2版)课件 第6章 新兴信息技术_第3页
大学计算机-计算思维与人工智能(第2版)课件 第6章 新兴信息技术_第4页
大学计算机-计算思维与人工智能(第2版)课件 第6章 新兴信息技术_第5页
已阅读5页,还剩106页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第6章

新兴信息技术content重点难点重点:物联网定义、应用物联网与互联网的区别及关系云计算的概念、特点、服务类型大数据的概念、特征、支撑大数据的要素区块链的概念、分类、特征难点:物联网涉及的关键技术云计算关键技术大数据思维、大数据处理技术区块链的关键技术Contents目录6.1物联网6.2云计算6.3大数据6.4区块链6.5人工智能与物联网、云计算、大数据、区块链的应用和关系6.1 物联网6.1.1物联网的概述1.物联网的起源1991年美国麻省理工学院(MIT)的KevinAsh-ton教授首次提出物联网的概念。“万物皆可通过网络互联”智能家居的典范7

“未来之屋”以其超乎想象的智能化和自动化,被视为人类未来生活的典范,在回家的途中就可以通过智能住宅系统遥探家中的一切:手机拨号,接通豪宅内的中央电脑,用数字按键与电脑沟通,让电脑对卫浴系统下达指令:“在大浴缸里放满一池热水。”;用手机控制,开启空调;嘱咐厨房的工作人员准备晚饭;2.物联网平台研究现状亚马逊:AWS(AmazonWebServices,亚马逊网上服务)微软:Azure谷歌:GoogleCloudIoTCore关闭,GoogleCloud转向合作伙伴生态和边缘计算IBM:Watson不再推广独立服务,将重心转向混合云和企业级AI(如Watsonx)百度天工(2016.7),聚焦AIoT,与Apollo自动驾驶平台深度集成阿里云IoT:升级为“云钉一体”物联网平台腾讯云IoT:提供全栈物联网解决方案,强化边缘计算能力到底什么是物联网呢?3.物联网的定义

物联网的理解10“一句式”理解物联网:把所有物品通过信息传感设备与互联网连接起来,进行信息交换,即物物相息,以实现智能化识别和管理。另一句理解物联网:物物相连的互联网。物联网是新一代信息技术的重要组成部分,其基础核心仍然是互联网。

物联网的理解11简单的理解:物联网就是“你知道我在哪里、我知道你在哪里”、“你知道我在干什么、我知道你在干什么”。3.物联网的定义物联网是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络。互联网和物联网到底什么关系?互联网已成为人与人交流沟通、传递信息的纽带,互联网是物联网的基础,物联网是互联网的延伸,互联网和物联网相互促进,共同造福人类。4.物联网的特征网络化物联化互联化自动化感知化智能化边缘计算能力5.物联网的体系架构应用层网络层感知层网络层的主要作用是把下层(感知层)设备接入互联网,供上层服务使用。应用层的任务是将各类物联网的服务以用户需要的形式呈现出来,提供一个“按需所取”的综合信息服务平台。在这个平台上,使用者不必了解服务的实现技术,也不必了解服务来自哪里,只需要关注服务能否满足自己的使用要求。物联网要实现物与物的通信,其中“物”的感知是非常重要的。感知是物联网的感觉器官,用来识别物体、采集信息。“物”能够在空间和时间上存在和移动,可以被识别,一般可以通过实现分配的数字、名字或地址对“物”加以编码,然后加以辩识。利用RFID,无线传感器,摄像头,GPS等技术6.1.2 物联网的关键技术物联网的关键技术1.识别与感知技术(1)射频识别(RFID)技术RFID(RadioFrequencyIdentification)即射频识别技术,俗称电子标签,通过射频信号自动识别目标对象,并对其信息进行标志、登记、储存和管理。射频识别技术(RadioFrequencyIdentification,RFID),利用射频信号通过空间耦合(交变磁场或电磁场)实现无接触信息传递并通过所传递的信息达到自动识别的目地。1.识别与感知技术(1)射频识别(RFID)技术RFID系统构成电子标签:有唯一的RFID编码天线:与读写器相连,传递射频信号读写器:读取或写入标签信息的设备1.识别与感知技术(1)射频识别(RFID)技术RFID技术衍生产品无源RFID产品:银行卡、公交卡、身份证、饭卡有源RFID产品:智能停车场、智慧城市、智慧交通半有源RFID产品:门禁出入管理、区域定位管理及安防报警二代身份证内置芯片天线线圈芯片1.识别与感知技术(2)条形码技术一维条码:是将宽度不等的多个黑条和空白,按照一定的编码规则排列,用于表达一组信息的图形标识符。原理:“条”指对光线反射率较低的部分,“空”指对光线反射率较高的部分,用条形码阅读器可转换成与计算机兼容的二进制和十进制信息。组成:一维条码又称为线形条码,是由一个接一个的“条”和“空”排列来表达一定的信息,常用的一维码的码制包括:EAN码、39码、交叉25码、UPC码、128码、93码,ISBN码,及Codabar(库德巴码)等。1.识别与感知技术23一维条码:商品一维EAN码分组含义,前缀码是用来标识国家或地区的代码,赋码权在国际物品编码协会,如00-09代表美国、加拿大。45-49代表日本。690-692代表中国大陆,471代表我国台湾地区,489代表香港特区。EAN码,仅有数字号码,通常为13位,主要应用在超市和百货业。购物消费时,收银员使用条形码扫描器(如图所示)扫描对应物品上的标签,即扫描一维条形码来获取物品的名称、类别、生产时间、价格及重量等信息。请查看你所购买商品的条码一维条码24书籍条码的前缀码,中国书籍978,中国期刊977ISBN码:每一个ISBN码由一组3+10位数字组成,用以识别出版物所属国别地区、出版机构、书名、版本以及装订方式。请查看你所用书籍或期刊的条码1.识别与感知技术(2)条形码技术二维条码是按照一定规律在平面(二维)上分布黑白相间的特定的几何图形来记录数据符号信息。常见的有PDF417、QRCode、Code49、Code16K、CodeOne等。QR码(全称为快速响应矩阵码,QuickResponseCode)二维码二维码又称二维条码,是在一维条码的基础上扩展出的一种具有可读性的条码。设备扫描二维条码时,通过识别条码的长度和宽度中所记载的二进制数据,可获取其中所包含的信息。相比一维条码,二维码记载更复杂的数据,比如图片、网络链接等。26二维码发明者腾弘原图片来源:欧洲专利局可惜日本人当时虽然手握二维码专利权,但仅仅将狭窄的目光放在特定的收费项目上,完全没能预料到二维码在未来社会的广泛应用。二维码与RFID标签比较成本比较:二维码与一维条码(条形码)一样,几乎是零成本的信息存储技术,而RFID电子标签每个成本在1美元以上。工作环境比较:高温高压或者化学清洗这样的极端环境,只有RFID标签才能胜任。两者之间最大的区别是:二维码是“可视技术”,只能在的视野范围内接收,而射频识别不要求看见目标,只要在接收器的作用范围内就可以被读取。各有优势:目前RFID技术在车联网中有较出色的应用,而在二维码在移动电子商务中有较好的应用,并且成本低,是不能被RFID标签所取代的。1.识别与感知技术(3)传感器技术与传感网传感器敏感元件转换元件基本电路传感器实现本质:1.识别与感知技术(3)传感网传感网(SensorNetworks,SN)是指将各种信息传感设备,如RFID装置、红外感应器、全球定位系统、激光扫描器等装置与互联网结合起来而形成的一个巨大网络。目前在传感器技术领域中,人们重点研究的是无线传感网(WirelessSensorNetworks,WSN)WSN不需要预先铺设网络设施;能够快速自动组网;传感器节点体积小,便于部署。1.识别与感知技术无线传感网的应用环境检测军事应用环境检测工业应用医疗应用其他方面应用WSN可用来建立一个集命令、控制、通信、计算、智能、监视、侦查和定位于一体的战场指挥系统森林火监测,WSN在监视农作物灌溉、土填空气状况,牲畜、家禽的环境状况,大面积的地表监测,气象和地研究,洪水监测,跟踪鸟类、小型动物和昆虫,以及对种群复杂度进行研究等都有较大的应用空间。工业安全方面,WSN可应用于有毒、放射性的场合,它的自组织算法和多跳路由传输可以保证数据有更高的可靠性在医疗上,如果在住院病人或老人身上安装特殊用途的传感器节点,医生就可以随时了解被监护病人或老人的情况,进行远程监控,掌握他们的身体状况,如实时掌握血压、血糖、脉搏等情况,一旦发生危急情况可在第一时间实施救助;也可以实现在人体内植入人工视网膜,所以,WSN能够为未来的远程医疗提供更加方便、快捷的技术实现手段。商业方面,WSN可用在货物的供应链管理中,帮助定位货品的存放位置、货品的状态、销售情况。通过装载在节点上的温湿度传感器、加速度传感器等,记录集装箱是否被打开过,是否过热、受潮或撞击等。在交通运输中,WSN可以对车辆,集装箱等多个运动的个体进行有效的状态监控和位置定位。1.识别与感知技术(4)摄像头与图像识别技术通过摄像头采集图像、视频数据,并使用图像识别技术分析数据内容,广泛应用于智能安防、自动驾驶、工业检测等领域。(5)地理位置坐标识别技术用于确定物体或人员在地球表面的精确位置(经度、纬度、高程),广泛应用于导航、测绘、物联网、智慧城市等领域。2.网络与通信技术(1)无线通信技术短距离无线通信技术:长距离无线通信技术:NB-IoT(窄带物联网),5G,LTE-M,LoRa,Sigfox和卫星通信,适用于远距离、广覆盖、低功耗的物联网应用。技术核心定位经典应用场景Wi-Fi宽带无线接入,功耗高需持续供电家庭网络、视频流、云服务蓝牙个人设备互联耳机、音箱、鼠标、键盘、健康手环NFC安全近场交互,极短距低速手机支付、门禁卡、电子票务ZigBee工业/家居物联网低功耗网络智能照明、环境传感器、远程监控2.网络与通信技术(2)有线通信技术以太网:一种局域网技术标准,适用于工业物联网和智能建筑等对稳定性、带宽、实时性要求高的场景。光纤通信:利用光信号通过光纤传输数据的技术,具有高带宽、低损耗和抗干扰能力强等特点,适用于骨干网络。(3)网络协议:用于规范设备之间的通信和数据传输采用的协议有:。MQTT:一种轻量级的消息传输协议,专为低带宽、不稳定的网络环境设计,适用于智能家居、工业物联网和环境监测等领域。CoAP:一种专为物联网设计的应用层协议,特别适合资源受限的低功耗设备,常用于智能家居、环境监测和农业物联网等场景。HTTP/HTTPS:互联网中广泛使用的协议,适用于数据传输。HTTPS通过加密保证了数据的安全性,常用于需要传输大量数据或对安全性要求较高的场景。3.数据处理与分析技术(1)边缘计算(EdgeComputing):将数据处理和分析从云端迁移到靠近数据源边缘设备的技术架构。(2)云计算:提供大规模数据存储和计算能力,支持大数据分析、AI模型训练、物联网平台支持等。(3)大数据技术:处理和分析海量数据的技术,如Hadoop、Spark、Flink等,能够挖掘数据价值,支持预测分析、趋势分析、用户行为分析等。(4)人工智能(AI):研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。4.数据安全与隐私保护技术(1)传输加密:可保障通信安全,如TLS/DTLS协议(2)设备认证:能实现身份鉴别,如数字证书(3)数据保护:能确保信息不可篡改,如区块链(4)隐私计算:可实现“数据可用不可见”,如联邦学习物联网的关键技术还有“平台与中间件技术”,为物联网提供统一的开发和管理支持;“应用与服务技术”是物联网价值的最终体现。6.1.3物联网发展趋势和挑战1.物联网的发展趋势(1)5G/6G(实验室/预商用)通信技术持续演进(2)边缘智能,AI芯片与轻量化模型实现本地化实时决策,边缘计算与AI深度融合(3)区链技术逐步应用于设备身份认证和数据溯源(4)应用场景持续拓展(5)商业模式加速转型,“产品即服务”模式2.物联网的面临挑战(1)安全风险日益突出。(2)标准与互操作性不足。(3)能耗问题亟待解决。(4)可持续发展压力增大。(5)隐私与合规压力。(6)专业人才缺口制约发展。3.物联网的未来(1)市场规模持续扩大,(3)社会价值日益凸显(2)技术创新将推动产业升级6.2 云计算6.2.1 云计算概述1.云计算起源企业的烦恼企业每建设一套业务都要购买新的硬件设备(例如服务器、存储器等)和系统软件(例如数据库、中间件等);对硬件资源的要求是按照业务的高峰值的需要来进行购买,但是此应用的高峰期是具有周期性的;这些设备平时占用大量的空间,消耗大量的电力,利用率却不高;管理复杂、运维成本高,IT部门的工作人员忙于解决员工电脑的操作系统错误和应用软件的错误;云计算:解决了硬件利用率太低,费电、占空间、运维成本高等问题。服务器到底什么是云计算呢?2.云计算的定义云计算的基本思想使用者可以通过网络从云端获得能力:云端提供计算能力、存储能力、和各种各样功能的应用;2.云计算的定义Wikipedia(维基百科),云计算是一种基于互联网的计算新方式,通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。Berkeley(伯克利)大学,云计算是指Internet上以服务发布的应用以及支撑这些服务的数据中心的软件和硬件。云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。美国国家标准与技术研究院(NIST)的定义是:云计算是一种按使用量付费的模式,这种模式允许用户通过无所不在的、便捷的、按需获得的网络,接入到一个可动态配置的共享资源池(资源包括:网络设备、服务器、存储、应用软件、服务等),只需投入很少的管理工作,或与服务供应商进行很少的交互,就可实现这些配置资源的快速提供。2.云计算的定义3.云计算的特点(1)超大规模:(2)虚拟化:(3)高可靠性:(4)通用性:(5)高可扩展性:(6)按需服务:(7)成本效益:(8)潜在风险:云计算(CloudComputing)是分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)虚拟化(Virtualization)、负载均衡(LoadBalance)、热备份冗余(HighAvailable)等传统计算机和网络技术发展融合的产物。并行计算集群计算网格计算云计算4.云计算的服务类型云计算的服务类型:IaaS、PaaS和SaaS。共同的特点:不管是基于设备、平台还是软件,都是提供服务的。所以说:云计算就是提供服务的。资源池化就是把Iaas、Paas、Saas层的资源(CPU、存储、网络等)放入到资源池中(云服务器),云服务器进行集中管理。所以云计算里所有的服务都是通过资源池里的资源而提供的。

位于云计算最底层的是IaaS,消费者通过Internet可以从完善的计算机基础设施获得服务,而不用理会其他如服务器硬件购买、托管、监控、维护等工作。消费者自己安装操作系统、中间件、数据库、应用程序等。IaaS(Infrastructure-as-a-Service)基础设施即服务第二层就是PaaS,PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。消费者自己开发或安装程序,并运行程序。PaaS(Platform-as-a-Service)平台即服务第三层就是SaaS,它是一种通过Internet提供软件的模式,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。这一层是人们在生活中每天都要接触的一层,大多是通过网页浏览器来实现的。系统中的应用软件层作为服务出租出去,消费者不用安装软件,直接使用。SaaS(Software-as-a-Service)软件即服务4.云计算的服务类型云计算的服务类型:IaaS、PaaS和SaaS。共同的特点:不管是基于设备、平台还是软件,都是提供服务的。所以说:云计算就是提供服务的。资源池化就是把Iaas、Paas、Saas层的资源(CPU、存储、网络等)放入到资源池中(云服务器),云服务器进行集中管理。所以云计算里所有的服务都是通过资源池里的资源而提供的。

5.云计算的使用类型1.公有云(PublicCloud)2.私有云(PrivateCloud)3.混合云(HybridCloud)4.多云(Multi-Cloud)6.2.2 云计算的关键技术6.2.2云计算关键技术1.编程模型2.海量数据分布存储技术3.海量数据管理技术4.虚拟化技术5.云计算平台管理技术1.编程模型MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS(GoogleFileSystem-可扩展的分布式文件系统)和Hadoop团队开发的GFS的开源实现HDFS。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。它具有高度的可扩展性和容错性,可以支持多个节点之间的共享访问和并发操作。2.海量数据分布存储技术:GFS/HDFS3.海量数据管理技术:BT/HBase云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。BT是建立在GFS,Scheduler,LockService和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。4.虚拟化技术通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化5.云计算平台管理技术云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。6.2.3 云计算应用与发展1.云计算应用以亚马逊和阿里云为代表的先入者,它们对云计算市场培育做出了巨大贡献,也有雄厚的人才资源、丰富的细分产品和庞大的数据中心;以微软、谷歌、腾讯与百度等为代表的跟进者;以Facebook和网易为代表的黑马公司;以Saleforce、青云等为代表的创业公司;以及以IBM、甲骨文为代表的传统IT企业。63云计算供应商(国外)AmazonEC2AmazonElasticComputeCloudGoogleCloudPlatformMicrosoftAzureCloudIBMCloud64云计算供应商(国内)百度云腾讯云阿里云网易云65华为云阿里云阿里自主研发的飞天操作系统,可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。阿里巴巴不只是中国云计算市场的一股重要力量。66据美国市场研究机构SynergyResearchGroup的数据,2018年第一季度,阿里巴巴超越IBM成为全球第四大云基础设施及相关服务的提供商图6-17飞天操作系统内核2.国内云计算的发展现状(1)市场规模快速增长(4)产业生态日趋完善(3)应用场景持续拓展(2)技术实力显著提升3.国内云计算主要面临的挑战(1)数据安全风险突出(2)技术标准尚不统一(3)专业人才缺口较大(4)市场竞争加剧6.3 大数据6.3.1 大数据概述1960s,IBM开发IMS管理结构化数据,奠定基础。1980s数据仓库概念提出,优化数据管理。1990s互联网兴起,传统数据库面临海量数据存储与处理挑战。技术积累阶段(1960s-2000年)2003-2004年Google三大论文(GFS、MapReduce、BigTable)奠定大数据技术基础。2006年Hadoop开源框架诞生,推动分布式计算发展。2011年麦肯锡提出“4V”特征,明确大数据概念。概念形成阶段(2000-2010年)Spark取代MapReduce,效率提升百倍,推动实时计算发展。AI与大数据融合,如AlphaGo依赖海量数据训练。数据安全法规(GDPR)出台,规范数据使用,保障隐私。产业化应用阶段(2010年至今)1.大数据的起源1.大数据的起源大数据技术发展历程时间轴图表技术演进关系图2.大数据的概念(1)大数据定义:具备4V/5V特征的海量数据集合(2)广义大数据数据+技术+人才+组织的综合体系权威定义:麦肯锡:数据规模超出传统工具处理能力维克托・迈尔:全量数据分析与价值挖掘中国《行动纲要》:容量大、类型多、存取快、价值高3.大数据的特征(5V)特征描述案例/数据(1)Volume(体量大)全球数据总量从EB级迈向ZB时代(2025年预测200ZB)(2)Variety(类型多)结构化(10%-20%)vs.非结构化(80%-90%)社交媒体、传感器数据(3)Velocity(速度快)实时响应需求(如金融风控秒级决策)Netflix每秒800万次用户行为分析(4)Value(价值高)低价值密度,需AI挖掘(如携程机票预测准确率92%)(5)Veracity(真实性)数据质量决定决策可信度4.大数据来源(1)互联网与移动互联网:微信、微博、淘宝(2)物联网(IoT)与传感器设备:工业设备监测、环境传感器(3)科学研究与行业应用:大型强子对撞机(LHC年产生31.5EB数据)(4)新兴技术驱动:AI大模型(GPT-4训练数据)、数字孪生5.大数据思维1.数据驱动决策沃尔玛通过大数据优化库存,年省15亿美元。4.相关性优于因果性:啤酒与尿布案例、谷歌流感趋势预测。2.全样分析:国家电网实时监测故障率降至0.1%。3.效率优先:实时处理需求大于绝对精确性。6.大数据带来的变革智能家居实现设备互联互通,提升生活便利性。健康管理设备实时监测身体数据,助力健康生活。个人生活更智能化、便捷化01KhanAcademy通过大数据实现个性化学习推荐,提升学习效果。教育更个性化与公平化02北京交通信号灯优化,提升通行效率25%,改善城市交通状况。政府治理更精准、透明03导游语音:当游客走到某个对应景点附近,导游语音会自动播放智慧景区:引入热力图,游客可以看到该处游客人数的多少,合理安排游览时间公共服务更智慧05支付宝“芝麻信用”——“芝麻信用分”,授权开通后,每个支付宝用户都可以看到自己的芝麻信用分。分数越高代表信用程度越好,违约可能性越低。经济治理更有效04Netflix《纸牌屋》数据驱动制作,实现商业成功。商业创新更迅猛066.3.2大数据的支撑要素及关键技术1.大数据的支撑要素01020304存储技术计算能力实时处理人工智能成本降幅超2000万倍,1GB从6000美元降至0.03美分,推动大数据存储发展。--01----02----03----04--NVIDIAH100GPU算力较2016年提升50倍,满足大数据处理需求。Netflix用Flink实现每秒800万次分析,满足实时数据处理需求。AlphaGo依赖3000万盘棋局数据训练,AI与大数据深度融合。2.大数据关键技术01数据采集多源异构数据采集,包括数据库、传感器、Web等,为大数据处理提供基础。02数据清洗与预处理缺失值填补、标准化、特征工程等,提升数据质量,确保分析准确性。03数据存储与管理Hadoop、Spark、分布式数据库等技术,满足海量数据存储需求。04数据分析与挖掘统计分析(均值、方差)提供基础数据描述。数据挖掘(分类、聚类、关联规则)挖掘数据价值。05数据可视化数据可视化(Tableau、PowerBI、D3.js)直观呈现分析结果。06应用与反馈应用与反馈(推荐系统、实时风控)实现数据价值落地。6.3.3大数据的发展现状与挑战1.大数据发展现状市场规模中国云计算2024年达6165亿元,CAGR20%,市场增长迅速。技术融合AI+大数据(ChatGPT)、边缘计算(自动驾驶)等技术融合,推动行业发展。行业应用金融风控、医疗影像、智能制造等行业广泛应用大数据技术,提升效率与质量。2.大数据面临挑战GDPR合规成本高,企业面临数据安全与隐私保护压力。数据安全与隐私全球高层次大数据人才缺口超150万,制约行业发展。数据质量非结构化数据占比80%-90%,清洗难度大,影响数据应用效果。人才缺口偏远地区网络延迟影响实时应用,制约大数据技术普及。基础设施未来趋势:技术方向:实时化:边缘计算支持低延迟处理智能化:AI大模型依赖更大规模数据安全强化:量子加密技术应用政策与伦理:数据主权立法(如中国《数据安全法》)平衡数据价值与隐私保护结论:大数据是数字经济的核心生产要素,推动社会从“经验驱动”转向“数据驱动”。未来需突破技术瓶颈(算力、存储)与伦理争议(算法偏见),实现可持续发展。6.4 区块链6.4.1 区块链的基本概念

1.比特币比特币背景:2008年金融危机催生比特币旨在创造一种去中心化、不受传统金融机构控制的数字货币。比特币系统:比特币系统是一个去中心化的数字货币体系创世区块的诞生标志着比特币系统的正式启动,这是区块链上的第一个区块,为后续的所有交易和数据记录奠定了基础。区块链雏形:区块通过哈希值连接形成链。在比特币系统中,每个区块都包含了上一个区块的哈希值,通过这种方式,区块之间相互连接形成了一条不可篡改的链。这种链式结构不仅保证了数据的安全性,还使得区块链具有可追溯性,每一笔交易都可以在区块链上找到完整的记录。2.区块链1.定义:区块链是一种分布式账本技术,它通过密码学和分布式网络实现数据的安全存储与价值传递。这是一种创新的技术架构,从根本上改变了传统的数据记录和传输方式。2.起源:2008年比特币诞生,中本聪提出了区块链技术,为数字货币的去中心化运行提供了技术支撑,开启了区块链技术的发展篇章。核心思想1.去中心化是区块链的核心特性之一,它摒弃了单一的控制中心,使得整个系统的运行不依赖于特定的机构或个人,从而降低了信任成本,让不同节点之间能够平等地参与和协作。2.去信任化意味着在区块链系统中,不需要对交易对手方有绝对的信任,而是通过技术手段来保证交易的安全性和可靠性。3.数据不可篡改是基于区块链独特的哈希算法和链式结构,一旦数据被记录在区块中,就难以被修改,确保了数据的真实性和完整性。区块链的结构区块头:上一个区块哈希值是连接前后区块的重要纽带,它确保了区块链的连续性和完整性;本区块哈希值则是对本区块内容的唯一标识,用于验证区块数据的完整性;时间戳记录了区块创建的时间,为区块链提供了时间维度的信息,有助于排序和验证交易的先后顺序。区块体:区块体主要用于存储交易信息或其他数据它是区块链实际承载业务数据的部分。这些数据经过加密和验证后被存储在区块体中,确保了数据的安全性和可靠性。链式结构:每个区块依赖前一个区块,形成不可逆的链这种结构使得区块链具有高度的稳定性和安全性,一旦某个区块的数据被篡改,后续所有区块的哈希值都会发生变化,从而被整个区块链网络识别和拒绝。3.区块链的分类公有链:公有链是完全开放的区块链,任何人都可以参与其中,无需授权。比特币和以太坊是最具代表性的公有链,代码开源,节点分布广泛,具有高度的去中心化和透明度,适用于全球范围内的数字货币交易和智能合约应用。联盟链:联盟链由多个组织共同管理,适用于多方协作各组织在联盟链中拥有一定的话语权和管理权限,共同制定区块链的运行规则和治理机制。联盟链结合了公有链和私有链的特点,既保证了一定程度的去中心化和透明度,又能够满足合作伙伴之间的信任和协作需求,常用于金融、供应链等领域的跨组织合作。私有链:私有链由单一组织控制,通常用于企业内部的应用场景它的访问权限受到严格限制,只有被授权的节点才能参与区块链的运行和数据访问。私有链适合处理企业内部的敏感数据,如财务信息、商业机密等,能够在保证数据安全的同时,利用区块链的技术优势提高业务效率。4.区块链的特征(1)去中心化:区块链没有单一的控制中心,所有节点都具有平等的地位,共同参与区块链的维护和管理。这种去中心化的结构使得区块链系统更加稳定和可靠,降低了因单点故障或中心机构操控带来的风险,同时也促进了全球范围内的公平参与和协作。(2)不可篡改区块链利用哈希函数对数据进行加密处理,每个区块的哈希值都是根据前一个区块的哈希值和本区块的内容计算得出的。一旦数据被记录在区块链上,任何对数据的修改都会导致哈希值的改变,而这种改变会被整个区块链网络所察觉,从而保证了数据的不可篡改特性4.区块链的特征(3)透明可追溯区块链上的交易记录是公开透明的,所有节点都可以查看区块链上的所有交易信息。同时,通过链式结构和时间戳,每一笔交易都可以追溯到其源头,这使得交易过程更加清晰、可审计,有助于建立信任机制,防止欺诈行为的发生。(4)高安全性区块链采用了多种密码学技术来保护数据安全,如哈希函数、非对称加密等。这些技术确保了数据在传输和存储过程中的安全性,防止数据被窃取、篡改或伪造。此外,去中心化的结构也使得区块链系统难以受到外部攻击,提高了系统的整体安全性。(5)分布式存储区块链的数据存储在多个节点上,而不是集中存储在某个中心服务器上。这种分布式存储方式提高了数据的可靠性和容错性,即使部分节点出现故障,其他节点仍然可以继续提供数据服务,保证了区块链系统的正常运行。6.4.2区块链的关键技术1.加密算法(1)哈希函数哈希函数是区块链中常用的加密算法之一,如SHA-256等。哈希函数可以将任意长度的数据转换为固定长度的哈希值,而且具有不可逆性和唯一性。在区块链中,哈希函数用于验证数据的完整性和一致性,确保数据在传输和存储过程中没有被篡改。1.加密算法(2)非对称加密通过公钥和私钥的配对来保护交易安全。发送方使用接收方的公钥对数据进行加密,只有接收方使用自己的私钥才能解密数据。这种加密方式保证了数据的保密性和交易的不可抵赖性,是区块链中实现安全交易的重要技术手段。2.共识机制共识机制对比图:机制工作原理优点缺点适用场景PoW(工作量证明)节点竞争计算哈希值,最快解出难题者记账高安全性、去中心化高能耗、低效率(如比特币7TPS)公有链(比特币、早期以太坊)PoS(权益证明)记账权按持币数量/时长分配节能、效率更高可能富者愈富(中心化风险)公有链(以太坊2.0、Cardano)DPoS(委托权益证明)持币者投票选出少数代表节点轮流记账高效(千级TPS)、低能耗部分中心化(依赖代表节点)高性能链(EOS、TRON)BFT(拜占庭容错)节点多轮投票达成共识,容忍少数恶意节点快速最终性、高容错性节点数量受限(通常≤100)联盟链/私有链(Hyperledger、Stellar)区块链的关键技术3.分布式存储分布式存储是区块链的重要技术之一,它将数据分散存储在网络中的多个节点上,而不是集中存储在一个中心服务器上。这种存储方式提高了数据的容错性和可靠性,即使部分节点出现故障,其他节点仍然可以提供数据服务,保证了区块链系统的正常运行。4.智能合约自动执行合约,降低风险和成本智能合约是一种自动执行的合约条款,它以代码的形式部署在区块链上,当满足预设的条件

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论