数据基础导论 4

第12章新技术及其对大数据的影响12.1大数据新技术12.1.1云计算与区块链12.1.2计算资源与算力12.1.3大数据的质量12.1.4数据要素与数据知识产权12.2其他新技术及其影响12.2.1存储虚拟化与池化12.2.2信息物理系统CPS与数字孪生12.2.3ChatGPT与Sora12.2.4量子计算机与大数据处理12.1大数据新技术1云计算与区块链

1）云计算狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。1云计算与区块链云计算服务包括三个层次：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。云计算体系架构的三级分层是：云软件、云平台和云设备。12.1大数据新技术1云计算与区块链2）区块链（1）区块链（Blockchain）是一个分布式的共享账本和数据库，具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。（2）类型：公有区块链，联合（行业）区块链，私有区块链。12.1大数据新技术1云计算与区块链（3）特征：去中心化，开放性，独立性，安全性，匿名性。（4）架构模型

区块链系统架构模型，自下而上由数据层、网络层、共识层、激励层、合约层和应用层组成。12.1大数据新技术12.1大数据新技术2.计算资源与算力1）算力的定义国外算力的英文表述为computingpower或HashRate（哈希率）等，但孙凝晖院士认为算力的英文表述应该是computility更准确。狭义算力定义是一台计算机具备的理论上最大每秒浮点运算次数（FLOPS）。除运算能力外，还应该包括数据存储与访问能力、与外界的数据交换能力、数据显示能力等。广义上，算力是计算机设备或计算/数据中心处理信息的能力，是计算机硬件和软件及网络共同执行计算的能力。12.1大数据新技术2.计算资源与算力（2）计算资源(resourceonthecomputation)是计算复杂性理论的一个术语。狭义计算资源指计算机程序运行时所需的CPU资源、内存资源、硬盘资源和网络资源。实际上这是一种硬件资源的定义。广义计算资源包括硬件、软件、网络、数据，以及其他相关的支撑环境，甚至包括操作人员。（3）大数据、智能算法与算力资源三者融合大数据是人工智能算法的“燃料”。没有大数据，人工智能算法无法“燃烧”。而算力是人工智能算法运行的“物质基础”。算力与大数据和人工智能密不可分。三者相辅相成，协调发展。12.1大数据新技术（4）国家算力资源国家算力资源可分解为五个方面的能力：一是计算速度，包括芯片、服务器、计算机、超算等都能反映这方面的能力；二是算法能力。比如大模型的规模及其处理数据的能力；三是大数据存储量，即一个国家拥有或可支配数据总量；四是通信能力，包括5G基站多少、通信的速度、延滞、带宽、可靠性、能耗等；五是云计算服务能力，包括数据处理中心服务器的数量。

全球大国算力竞争已把计算速度、计算方法、通信能力、存储能力、数据总量五个方面列为其争夺的“制高点”。12.1大数据新技术3大数据的质量大数据质量包括7个一级特征指标，即功能性指标，性能性指标，易用性指标，效率性指标，挖掘性指标，维护性指标和推广性指标，以及其各自对应的二级特征指标。表10-1

大数据质量特征指标一级特征功能性性能性易用性效率性挖掘性维护性移植性二级特征适合性成熟性理解性时间特性关系性分析性适应性准确性完整性易学性资源性结构性修改性安装性安全性简明性操作性规模性分块性扩充性共存性共享性通用性连接性管控性稀疏性追踪性替换性开放性重用性灵活性

直观性审核性支持性依从性时效性自述性

封装性12.1大数据新技术4.数据要素与数据知识产权1)数据要素:它指那些以电子形式存在的、通过计算的方式参与到生产经营活动并发挥重要价值的数据资源。2)数据知识产权（Dataintellectualpropertyrights），是指对数据信息享有的知识产权，包括数据收集、存储、处理、分析、发布等过程中所产生的智力成果。12.2其他新技术及其影响1.存储虚拟化与池化1)存储虚拟化虚拟化（Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。存储虚拟化结构有两种模式：对称结构与非对称结构。12.2其他新技术及其影响1.存储虚拟化与池化2)池化:池化技术就是将对象放入池子，使用时从池中取，用完之后再交还给池子管理。（1）数据池（2）存储池（3）内存池（4）云计算资源池12.2其他新技术及其影响2.信息物理系统CPS与数字孪生1)信息物理系统CPS:它是计算进程和物理进程的统一体，是集成计算、通信与控制于一体的下一代智能系统。图10-1CPS系统信息物理系统有3层：感知层网络层控制层。12.2其他新技术及其影响2.信息物理系统CPS与数字孪生2）数字孪生技术，就是将现实物理系统数字化，并映射到数字虚拟空间中，然后在数字虚拟空间中构建数字模型，并进行计算机仿真，以对应现实物理系统的全生命周期过程。图10-3物理世界--虚拟世界12.2其他新技术及其影响3.ChatGPT与Sora1）ChatGPT：属于人工智能技术驱动的自然语言处理工具，能够根据预训练阶段所见的模式和统计规律回答问题，还能根据聊天的上下文进行互动聊天，甚至害你撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。大模型就是指参数规模超过千亿的机器学习模型，主要应用于自然语言处理、计算机视觉、语音识别等领域，它们在这些领域的表现越来越好，特别是在大场景下的表现能力十分突出。这些模型可以应用于处理大规模的数据和复杂的问题。大模型拥有数量庞大的参数，比如GPT-3是有名的大模型，有1.75万亿个参数。12.2其他新技术及其影响3.ChatGPT与Sora2）Sora：2024年2月16日OpenAI发布一款Sora人工智能模型。通过文本即可自动生成视频，视频长度最长可达一分钟。12.2其他新技术及其影响4.量子计算机与大数据1）问题：在GPT-4的训练中，使用了大约25,000个英伟达A100芯片，在90至100天的时间内进行了约32%至36%的MFU（平均功能利用率）。另一个原因是在这么多GPU之间进行全局归约的代价非常高。如果在云中的成本约为每小时1美元的A100芯片，仅这次训练的成本就约为6300万美元。这说明，在人工智能算法进行大数据处理时，对硬件算力提出了较高要求，这是目前大数据处理面临的瓶颈问题。12.2其他新技术及其影响4.量子计算机与大数据2）量子计算机

量子计算机（quantumcomputer）是一类遵循量