信息技术（电子信息类） 课件全套 张治斌 第1-8章 云计算 - 智能制造

云计算新一代信息技术系列丛书信息技术（电子信息类）第一章01云计算概述云计算概述一、云计算的产生与发展互联网自1960年开始兴起，主要用于军方、大型企业等之间的纯文字电子邮件或新闻集群组服务，直到1990年才开始进入普通家庭。随着Web网站与电子商务的发展，网络已经成为目前人们的生活必需品之一。云计算也正成为信息技术产业发展的战略重点，全球的信息技术企业都在纷纷向云计算转型。云计算是2007年3月诞生的新名词，由于它具有提供弹性和动态的IT基础设施、保证服务质量的计算环境和可配置的软件服务的能力,因此在2007年底就作为一个热门话题而兴起。云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户按需获取计算力、存储空间和信息服务。云计算是为企业提供的具有普适性和灵活性、在Internet上向一个可配置的计算资源共享池按需访问的模型。云计算概述01020304微软发布其公共云计算平台(WindowsAzurePlatform)，由此拉开了微软的云计算大幕。同样，云计算在国内也掀起了一场风波，许多大型网络公司纷纷加入云计算的阵列。2008年2019年8月17日，北京互联网法院发布《互联网技术司法应用白皮书》;发布会上,“互联网技术司法应用中心”揭牌成立。2019年8月17日我国云计算市场规模达到1781亿元，增速为33.6%。其中，公有云的市场规达到990.6亿元，同比增长43.7%，私有云的市场规模达791.2亿元，同比增长22.6%。2020年1月，阿里软件在江苏南京建立首个“电子商务云计算中心”。同年11月，中国移动云计算平台“大云”计划启动。目前，云计算已经发展到了一个较为成熟的阶段。2009年一、云计算的产生与发展云计算的理解分为狭义和广义两类是指IT基础设施的交付和使用模式;狭义云计算云计算概述二、云计算的内涵与特性云计算是近5年兴起的一种网络应用模式。该应用的独特性在于，它是完全建立在可自我维护和管理的虚拟资源层上的。是指服务的交付和使用模式。广义云计算这种服务可以是IT和软件、互联网相关的，也可以是任意其他服务，它具有超大规模、虚拟化、可靠安全等独特功效。010203040506计算资源的集成提高设备的计算能力。平台模块化设计体现高可扩展性。分布式数据中心保证系统的容灾能力。虚拟资源池为用户提供弹性服务。软、硬件相互隔离减少设备的依赖性。按需付费降低使用成本。云计算概述二、云计算的内涵与特性云计算具有以下几个特点:云计算的发展目标有以下几点:云计算概述三、云计算的发展目标和意义123国家明确要求以大数据、云计算为核心完成未来信息化系统的建设，统筹各类数据，构建大数据取之于民、用之于民的整体蓝图;以整合为核心目标，统一基础设施建设，集中管理数据资源，依托云计算实现标准化、科学化、精准的业务支撑体系;建立统一资源数据平台，有效提升基础设施的利用率，杜绝重复建设、投资浪费现象;4促进信息共享，实现业务协同，杜绝烟肉式的建设方式;5优化资源配置，提升服务能力，使人力和信息资源得到最充分的利用和配置，提升为民服务的能力和水平。云计算概述三、云计算的发展目标和意义中华人民共和国工业和信息化部(以下简称工信部)总结了云计算的以下几个重大意义。(1)从宏观层面来看，云计算作为一种新一代产业经济的重要驱动力，正在渗透到经济和社会的各个领域，对我国经济和社会的发展产生更加深远的影响。(2)从促进信息消费层面来看，云计算创造了消费增量市场。随着商业化的不断成熟，云计算不但推动了传统各行各业信息化浪潮，也带来了信息消费巨大的新增市场空间。(3)改变个人用户信息消费的模式，用户可以随时随地获得按需定制和灵活收费的云服务。消费模式的变革将带来市场空间持续扩大，也将改变消费者的购买习惯。(4)促进经济发展和转型，助力节能减排绿色发展，推动新兴产业的发展。(5)促进软件和信息技术服务业的转型升级。从资源配置的角度来看，云变得越复杂，终端的功能就变得更庞大。云计算的应用，几乎与所有的计算和存储资源都可以连接在一起。(6)从服务的内容角度来看，互联网将提供更多层次的服务，这和传统的软件厂商相比从产品的开发、服务的提供到商业模式和商业形态都发生了根本的变化。(7)从资源耗费的角度来看，云计算所耗费的成本将明显降低。02云计算系统的系统架构云计算系统的系统架构一、云计算系统架构的参考模型从不同的角度来看，云计算系统架构的复杂性有一定的差异性。在最易于理解的二维视角下，云计算系统架构由两个部分组成:前端和后端。基础设施包括硬件和管理软件两个部分。其中硬件包括服务器、存储器、网络交换机等;管理软件负责高可用性、可恢复性、数据一致性、应用伸缩性、程序可预测性和云安全等。应用程序是呈现给客户和计算机用户的部分，包括客户的计算机网络和用户用来访问云应用程序的界面。在这种二维视角下，云计算架构由基础设施和应用程序两个维度组成。云计算系统的系统架构一、云计算系统架构的参考模型1云基础设施架构的分层结构从二维视角下可以将云基础设施架构看作一个整体，它与云应用程序一起组成云计算系统架构的二维视图，然而云基础设施架构本身并非一个不可分割的整体，而是一个可以被再次分层的结构。通常来说，云基础设施架构由四层组成:虚拟化层Web服务层服务总线层客户机界面云计算系统的系统架构一、云计算系统架构的参考模型2REST架构:云计算的软件架构尽管云基础设施架构在逻辑上分为四层，四层之间的软件架构技术纽带可以采用表述性状态转移(RepresentationalStateTransfer，REST)架构。在很多应用场景下，云计算系统架构应该采用无状态、基于服务的架构。REST架构是无状态的架构中的一种。云计算采用REST架构的原因是其简单、开放，并已经在互联网上实现。REST架构体现的正是Web架构的特征:源服务、网关、代理和客户。云计算系统的系统架构一、云计算系统架构的参考模型2REST架构:云计算的软件架构REST架构的主要特点组件交互的伸缩性:参与交互的组件数量可以无限扩展。界面的普遍性:IT界人士都熟悉REST架构的界面风格。组件发布的独立性:组件可以独立发布，无须与任何组件进行事先沟通。无状态连接:客户机上、下文不保存在服务器中，每次请求都需要提供完整的状态。客户机/服务器模型:使用统一的界面来分离客户机和服务器。（1）（2）（3）（4）（5）这是根据云计算服务的消费者来源划分的，划分标准如下:二、云计算系统的部署模型123如果一个云端的所有消费者只来自一个特定的单位组织(如微算科技公司)，那么就是私有云;如果一个云端的所有消费者来自两个或两个以上特定的单位组织，那么就是社区云;如果一个云端的所有消费者来自社会公众，那么就是公共云;4如果一个云端的资源来自两个或两个以上的云，那么就是混合云。云计算系统的系统架构云计算有4种部署模型公共云私有云社区云混合云03云计算系统的使能技术云计算系统的使能技术云计算系统运用了许多技术，包括：分布式技术虚拟化技术云平台技术云计算系统的使能技术一、分布式技术云计算系统可以是一个庞大的信息处理系统，在该系统中，大量服务器、存储设备、数据库、网络设备等分布在不同网络位置和物理位置。该系统就是利用分布式技术，将一个大任务划分成多个子任务并分配给系统中不同的处理节点，然后把各个节点的处理结果进行有机整合，最终产生所需要的结果。分布式技术既提高了工作效能，又充分盘活了系统中各种空闲的软、硬件资源。分布式系统是云计算中最基础的架构，其中包括分布式应用和服务。分布式系统有3个特点一致性可用性容错性云计算系统的使能技术一、分布式技术分布式系统中常用的技术有以下4种分布式计算是一种计算方法，和集中式计算是相对的。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。1.分布式计算网格计算是分布式计算的一种类型。网格计算在松耦合资源环境中得到应用，用来实现复杂的工作负载管理和信息虚拟化功能。网格计算也是一种与集群计算非常相关的技术。2.网格计算并行计算是指同时使用多种计算资源解决计算问题的过程，是提信息技术(电子信息类)高计算机系统计算速度和处理能力的一种有效手段。3.并行计算分布式文件系统就是分布式+文件系统，从文件系统的客户使用者来看，它就是一个标准的文件系统，提供了一系列应用程序编程接口，实现文件或目录的创建、移动、删除和对文件的读写等操作。4.分布式存储云计算系统的使能技术二、虚拟化技术虚拟化是云计算系统中的一种基础技术，可以说当前一个云计算服务必定是构建在虚拟化的基础上的。虚拟化使在一台物理服务器上可以运行多台虚拟机，虚拟机共享物理机的CPU、内存、I/O硬件资源，但逻辑上虚拟机之间是相互隔离的。对于虚拟化技术最早的研究出现于20世纪50年代1959年，克里斯托弗斯·特雷奇(ChristopherStrachey)在国际信息处理大会上发表了一篇名为《大型高速计算机中的事件共享》“TimeSharinginLargeFastComputers”的学术论文。起初，虚拟化技术的出现源于对分时系统的需求，它解决了早期操作系统只能处理单任务而不能处理分时多任务的问题。这里解释两个基本概念。虚拟化技术的发展经历了几十年云计算系统的使能技术三、云平台技术云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。以数据存储为主的存储型云平台以数据处理为主的计算型云平台云计算平台可以划分为3类以及数据/存储处理兼顾的综合云计算平台云平台一般具备以下特征1硬件管理对使用者/购买者高度抽象2使用者/购买者对基础设施的投入被转换为运营成本04云计算系统的服务与管理云计算系统的服务与管理云计算系统架构分为服务和管理两大部分。在服务方面，主要以提供用户基于云的各种服务为主,共包含3个层次:基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)。平台即服务PaaS位于云计算三层服务的中间，通常也称为云操作系统。它提供给终端用户基于互联网的应用开发环境，包括应用编程接口和运行平台等，支持应用从创建到运行整个生命周期所需的各种软硬件资源和工具。基础设施即服务(InfrastructureasaService,IaaS)软件即服务IaaS位于云计算三层服务的最底端，它通常按照所消耗资源的成本进行收费。该层提供的是最基本的计算和存储能力，以计算能力的提供为例，其提供的基本单元就是服务器，包含CPU、内存、存储、操作系统及一些软件。(PlatformasaService,PaaS)(SoftwareasaService,SaaS)SaaS是最常见的云计算服务，位于云计算三层服务的顶端。用户通过标准的Web浏览器来使用Internet上的软件。服务提供商负责维护和管理软、硬件设施，并以免费或按需租用方式向最终用户提供服务在管理方面，主要以云的管理层为主，它的功能是确保整个云计算中心能够安全、稳定地运行，并且能够被有效管理。05云计算安全云计算安全一、云计算系统安全技术云计算的节点种类多样、位置分布稀疏且无法有效控制。同时，云服务提供商(cloudservicesprovider，CSP)在传输、处理和存储数据过程中均存在泄露隐私的风险。随着云计算与软件即服务模式的成熟发展，云计算安全需求的重点有以下几个方面。010203040506可信访问控制数据隐私保护密文检索与处理虚拟安全技术数据存在与可使用性证明云资源访问控制07可信云计算云计算安全二、云安全相关法律法规主要存在的问题如下云计算存在数据安全的问题，有可能会侵犯用户的隐私权、著作权、商业机密等。有些问题需要在技术方面进行完善，另外一部分问题需要依靠法律法规进行约束。123第三方托管数据主要包括信息安全、数据权力、知识产权、政府监管、分包协议。第三方托管数据云计算是一种分布式系统，服务提供商会建立多个数据中心，遍布世界各地，所以用户无法确定特定数据的具体物理位置。不确定数据中心的位置云计算技术的开发与应用没有统一的标准与规范，这是限制其发展的瓶颈。全球各大云计算中心都制定了自己的技术开发标准，推出了不同的云计算产品。这加大了全球云服务商兼容技术的难度，也提高了相应的安全风险。缺失统一的标准与规范云计算安全二、云安全相关法律法规方法一，云安全联盟与《云安全指南》方法二，NIST与《公有云计算安全及隐私管理指南》针对上面存在的问题，主要有以下两种解决方法：云安全联盟(CloudSecurityAlliance)成立于2009年4月22日的RSA年会上，是一个“成员驱动”的非营利性组织。云安全联盟于2017年7月发布《云计算关键领域的安全指南第4版》(以下简称《云安全指南》)。《云安全指南》是云安全联盟的第一个研究成果，在云计算领域有很大的影响力。该指南结合业界案例，针对法律、电子证据、虚拟化、数据移植与互操作等方面为云计算安全实践提供了详细的建议。美国国家标准与技术研究院(NationalInstituteofStandardsandTechnology，NIST)作为美国商务部下属的一家非监管性联邦机构。《公有云计算安全及隐私管理指南》是NIST在2011年12月下旬发布的，长达80页，也是NIST在云安全领域发布的第一份指导性文件。该文件概述了公有云计算在安全与隐私方面所面临的挑战，在此基础上就企业外包数据、应用、基础设施，给公共云提出了一些针对性的建议。06云计算的创新实践123工业云与智能制造农业云与智慧农业政务云与电子政务4金融云与智慧银行云计算的创新实践5商贸云与新零售678城市大脑与新型智慧城市云医院与云制药教育云与智慧教育9物流云与应急服务10微信小程序的云开发实践07云计算未来展望云计算未来展望一、云计算与新技术的融合如今，一些新技术(基于云计算或与云计算高度可互操作)为人们的工作与生活带来了极大的便利，但它们也增加了云计算的复杂性。下面对这些新技术进行简要介绍。01020304容器将多个软件包装在一个软件容器中。容器本身承载软件，并且仅包含所需的基本要素(库和配置)，其文件在计算环境之间移动。容器它将笨重的整体应用程序分解为许多更小的、联合的服务或“模块”。微服务可以持续交付最新更新的软件。微服务无服务器也被称为功能性服务，允许应用程序在云平台上更快、更高效地运行。无服务器DevOps的重点是持续集成持续交付。它既是一种技术转变，也是一种文化转变。DevOps云计算未来展望一、云计算与新技术的融合如今，一些新技术(基于云计算或与云计算高度可互操作)为人们的工作与生活带来了极大的便利，但它们也增加了云计算的复杂性。下面对这些新技术进行简要介绍。050607物联网这个庞大的传感器网络将产生海量的数据。物联网和云计算通常都是独立运行的，但这两种技术有着不可分割的联系。物联网规模日益巨大的数据及数量逐渐众多的用户，迫使越来越多的服务必须由处理节点分布在不同机器上的数据中心提供。为数据中心开发出高效可靠的操作系统必定是未来的发展趋势。大数据人工智能技术在塑造未来将发挥巨大作用。凭借其可以独立于工作人员协助而学习的软件的承诺，人工智能成为一款强大的工具，其巨大的潜力使所有其他工具相形见绌。人工智能云计算未来展望二、云计算产业生态及其地位根据NIST的定义，云计算是由一个可配置的共享资源池组成的，该资源池提供网络、服务器、存储、应用程序和服务等多种软、硬件资源，具备自我管理能力，用户只需要少量参与就可按需获取资源。1云计算产业发展现状按照部署方式，云计算技术分为混合云、公有云和私有云。云计算的服务模式目前业界普遍接受的分类方式是NIST提出的三大类:IaaS、PaaS、SaaS.1.产业分类全球云计算市场总体呈现稳定增长的态势，其中PaaS市场占有率最小，增速最快;SaaS市占率最高，但增速较缓。2018年全球公有云市场规模为1363亿美元。2.市场和格局“上云”已成为各类IT应用的发展趋势。云计算利用虚拟化技术对软、硬件资源采取集中式动态化管理，可降低企业研发成本。3.发展趋势云计算未来展望二、云计算产业生态及其地位2云计算细分产业环节云计算产业分为核心硬件基础设施平台应用核心硬件包括存储、内存芯片等电子元器件平台按照服务类型分为IaaS平台、PaaS平台和SaaS平台基础设施主要包括服务器、存储设备、网络设备、数据中心等应用按照行业分为金融云、制造云、电信云等云计算未来展望二、云计算产业生态及其地位3云计算产业园布局分析云计算产业园的分布受到自然资源、市场需求、技术等多方面影响，呈现三级化布局的态势。以基础设施(如大型IDC)为主的产业园，具有高能耗的特征，其发展更多受到土地、水、电等资源环境的限制，更倾向于向温度适宜、资源禀赋好的地区布局。以平台服务为主的产业园，其发展受到技术要素的约束，园区集中分布在科技实力强劲的地区，如深圳、上海、北京的经济开发区和高新区等。以行业应用为主的产业园，受到市场需求的影响更多，其主要集中在应用需求大的地区。经过多年的发展，我国云计算产业园已逐渐呈现出东部一中部一西部的分布特征，据统计，东部地区有产业园23个，西部地区有产业园18个，中部地区有产业园7个。谢谢观看“新一代信息技术系列丛书信息技术（电子信息类）大数据“新一代信息技术系列丛书信息技术（电子信息类）第二章01大数据概述大数据概述一、数据大数据是互联网时代的产物，用于海量的、各种类型的数据存储、处理与分析，这些数据根据结构分类可划分为3种：结构化数据(如RDD、SOL、JSON、NoSQL、表格数据等)、半结构化数据(如日志文件、XML文档、JSON文档、E-mail等)和非结构化数据(如办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等)。半结构化数据半结构化数据是一种弱化的结构化数据形式，它并不符合用关系数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，该标记用来分隔语义元素及对记录和字段进行分层，数据的结构和内容混在一起，没有明显的区分。结构化数据非结构化数据结构化数据也称为行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系数据库进行存储和管理。这类数据的本质是“先有结构，后有数据”。是没有固定结构的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。相较于结构化数据有比较成熟的分析工具，用来挖掘和分析非结构化数据的工具正处于萌芽和发展阶段。4v大数据的特征大数据概述二、大数据的内涵和外延2011年，IDC将大数据重新定义为:在大数据原有的三维特征--数量、多样、速度基础上，增加了另一个新的特征--价值。IDC强调:“目前，对于庞大的数据量。通过经济的方式，极速发掘、获取和分析处理的技术，进而提炼获取价值，这是大数据新时代的专属。”1234具备超出典型数据库软件收集、存储、管理和分析能力的数据集容量大(Volume)具备快速、实时的数据处理能力;大数据的采集、处理和计算速度要快速度快(Velocity)具备从稀疏的数据中挖掘高价值内容的意义价值高(Value)具备多样性的结构化、半结构化、非结构化等多种类型的数据形式多样性(Variety)4V大数据概述二、大数据的内涵和外延大数据、云计算、物联网之间的关系大数据、云计算、物联网三者的概念一直保持着密不可分的联系，伴随着三者技术的日臻成熟与应用的遍地开花，以及伴生的新一代信息技术的快速发展，我们已经由IT时代逐步过渡到DT(DataTechnology)时代。云计算应用为大数据技术的发展提供了一定的数据处理平台和技术支持，也为物联网提供了海量数据存储的保障。大数据为云计算应用提供了数据环境，也为物联网产生的数据提供了强大的分析助力。物联网为云计算应用平台提供了无限的应用空间，也极大地推动了大数据技术的广泛应用。（1）（2）（3）大数据概述三、大数据处理的一般流程和面临的挑战1大数据处理的一般流程是指通过对互联网、系统运行日志、文件系统、移动端用户、传感器等不同渠道获取各类大规模、异构、多源的数据。数据预处理是指对采集到的同构、异构数据进行预处理，包括消除噪声数据、缺失值数据、冲突数据等的影响。是指人们对数据进行收集、组织、存储、加工、传播和利用的一系列活动总和。数据管理经历人工管理、文件管理、数据库管理3个阶段。数据分析是大数据处理与应用的关键环节，决定了大数据的潜在价值，以及分析预测结果的应用准确性。是指将大数据分析与预测结果以图形、图像等直观方式显示给用户，并可与用户进行交互处理。是指将经过分析、处理后挖掘得到的结果应用于管理决策、战略规划等过程，它是对大数据分析结果的检验与验证。数据采集数据预处理数据管理数据分析数据可视化数据应用大数据概述三、大数据处理的一般流程和面临的挑战2大数据面临的挑战大数据规模带来的挑战通过数据采集获取的大量数据经过预处理后，需要被存储、管理起来，并根据数据查询、分析任务的需求进行数据加工和计算，并满足高时效性特征，这样对数据存储就带来了较大的压力。应对规模性问题，可以采用分布式系统来解决，通过使用多台计算机来分担存储和计算任务，将数据存储在不同节点，并将计算任务分解到不同的计算节点并发执行，这些相互协作的存储和计算节点通过高速网络互联起来，进一步通过管理有效调度存储和计算任务。大数据安全面临的挑战大数据所存储的数据量非常巨大，往往采用分布式的方式进行存储，而由于分布式存储的路径视图相对清晰、数据量过大，所以数据保护机制相对简单，黑客容易利用相关漏洞实施不法操作，造成安全问题。由于APT攻击具有强针对性，且攻击时间长，所以一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成较大的信息安全隐患。02数据采集与治理数据采集与治理一、大数据来源与多源数据采集方式大数据采集技术通过RFID数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化、非结构化的海量数据。这些海量数据的种类多、类型繁杂、数据量大、产生的速度快，对数据的可靠性和高效性要求高，同时要避免数据的重复。大数据的采集从数据源上可以分为以下4类:123Web数据(包括网页、视频、音频、动画、图片等)日志数据数据库数据4其他数据(感知设备数据等)数据采集与治理二、数据的预处理数据清理数据集成数据变换数据规约删除无关数据、重复数据、平滑噪声数据筛选掉与主题无关的数据，处理缺失值、异常值等。将多个数据源合并存放在一个一致的数据存储中。将数据转换成“适当的形式，以适用于分析任务及算法的需要。尽可能保持数据原貌的前提下，最大限度地精简数据量。03数据管理数据管理一、分布式文件系统分布式文件系统(DistributedFileSystem，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的、有层次的文件系统。分布式文件系统的定义1分布式文件系统的特点2分布式文件系统把大量数据分散到不同的节点上进行存储，大大降低了数据丢失的风险。分布式文件系统具有冗余性，部分节点的故障并不影响整体的正常运行。安全性是分布式文件系统最主要的特征。分布式文件系统具有极强的可扩展能力。HDFS3HDFS是Hadoop的分布式文件系统，是一种典型的分布式文件系统，目前应用比较广泛是Hadoop的数据存储基础。HDFS源于谷歌公司在2003年10月发表的GFS(GoogleFileSystem)论文。特点高容错流式数据访问支持超大文件高数据吞吐量构建在廉价机器上数据管理1关系数据库的定义所谓的关系数据库(RelationalDatabase，RDB)，就是指基于关系模型的数据库，在计算机中，关系数据库是数据和数据库对象的集合，而管理关系数据库的计算机软件称为关系数据库管理系统。关系数据库优点:二、关系数据库关系数据库可以理解为关系表的集合，所有数据信息都存放在二维表格结构的表中，个关系数据库包含多个数据表，每一个表包含行和列。一般来说，数据库都有多个表。数据库不仅包含表，还包含其他数据库对象。节省存储空间有效防止输入错误方便数据修改数据管理二、关系数据库关系数据库中的一些基本术语2基本术语关系数据库的特点在于它将每个具有相同属性的对象独立地存放在一个表中。对任何一个表而言，用户可以新增、删除和修改表中的数据，而不会影响表中的其他数据。3关系完整性实体完整性数据管理二、关系数据库关系模型的完整性规则是对数据的约束。关系模型提供了3类完整性规则:实体完整性规则、参照完整性规则和用户定义完整性规则。其中实体完整性规则和参照完整性规则是关系模型必须满足的完整性约束条件，称为关系完整性规则，关系模型中有以下3类完整性约束。实体完整性指关系的主属性(主键的组成部分)不能是空值。参照完整性如果关系R1的外键与关系R2中的主键相符，那么外键的每个值必须在关系R2中主键的值中找到，或者是空值。用户定义完整性用户定义完整性是指针对某一具体数据库的约束条件。它由应用环境所决定，反映某一具体应用所涉及的数据必须满足的要求。常见的关系数据库管理系统有SOLServer、Oracle、MySOL等。微软公司推出的关系数据库管理系统;具有使用方便，可伸缩性好和相关软件集成度高等优点;可以跨越从台式计算机到大型多处理器的服务器等多种平台使用。1.SOLServer是甲骨文公司发的一款关系数据库管理系统;Oracle是目前世界上流行的关系数据库管理系统;系统可移植性好，使用方便，功能强;适用于各类大、中、小、微机环境。2.0racleDatabase是一个关系数据库管理系统;由瑞典MySOLAB公司开发，目前是最流行的关系数据库管理系统;在Web应用方面，MSOL是最好的关系数据库管理系统应用软件之一。3.MySOL数据管理二、关系数据库4常见的关系数据库三、NoSQL数据库数据管理NoSQL，泛指非关系型的数据库。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。01020304键值存储数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。键值(Key-Value)存储数据库文档型数据库与键值存储数据库类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，如JSON。文档型数据库图形数据库同其他行列以及刚性结构的SOL数据库不同，它是使用灵活的图形模型，并且能够扩展到多台服务器上。图形(Graph)数据库列存储数据库通常用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。列存储数据库四、多模态数据管理数据管理从狭义上讲从广义上讲多模态数据指的是多媒体数据，如文本、音频、视频;多模态数据是对原始数据集采用不同的特征提取方法得到的不同特征组合。多模态数据是指在多种不同设备或场景下采集到的数据。现实世界中的数据集往往是多模态的。AbutionDB是一个多模态数据库，支持动/静态知识图谱、时序事件数据、空间数据、机器学习特征、关系型数据、文本数据的存储;其中动态知识图谱平台AbutionGraph是一套包含数据采集、存储、计算、分析、监控的闭环大数据解决方案多模态数据库AbutionDB04数据分析概述数据分析概述一方面需要对体量庞大的结构化和半结构化数据进行精准、高效、深度分析，挖掘潜藏的隐性信息(例如从网页信息中获知语义、情感、意向等)。相关性及回归性的统计分析方法分类、聚类等典型的基于机器学习的分析方法数据分析的典型方法包括另一方面，越来越多的非结构化数据同样需要深入分析，将海量、复杂、多源的声音、图形、图像信息转化为机器能够识别的、具有明确语义的信息，进而提取有用的知识。大数据分析技术面向自然语言、网络数据等的典型分析模型及应用可以说，数据分析是将各类数据转化为知识和价值的最关键的一步。05数据可视化一、数据可视化的主要技术数据可视化数据可视化是将抽象的“数据”以可视化的形式显示出来，以帮助人们理解数据。现在的数据可视化都是应用计算机技术将数据转换成图形或动态图像进行显示，并且可以进行交互处理。数据可视化不仅涉及计算机辅助设计，还包括计算机图形学、图像处理、计算机视觉等多个方面，是研究数据处理、数据表示、决策分析等一系列问题的综合技术。数据可视化3个分支123科学可视化科学可视化主要涉及气象学、生物学、物理学、农学等，主要是对客观事物的体、面及光源等的渲染。信息可视化信息可视化是一个将计算机技术和图形相结合的跨学科领域，主要是利用图形图像方面的技术与方法帮助人们理解和分析数据。可视化分析可视化分析在科学可视化和信息可视化的基础上，更加注重分析推理与交互，是科学可视化与信息可视化领域发展的产物。二、大数据可视化与可视分析案例数据可视化通常在分析大数据可视化及其案例的时候，一定会提到“南丁格尔玫瑰图”，下面就这一著名的可视化图进行分析。南丁格尔玫瑰图（NightingaleRoseDiagram）又名鸡冠花图（CoxcombChart）或极坐标区域图（PolarAreaDiagram）。南丁格尔玫瑰图南丁格尔玫瑰图是将柱状图转化为更美观的饼状图形式，是极坐标化的柱状图。不同于饼状图用角度表现数值或占比，南丁格尔玫瑰图使用扇形的半径表示数据的大小，各扇形的角度则保持一致。南丁格尔玫瑰图是统计学家利用图形来展示数据进行的早期探索，南丁格尔所作的贡献，充分说明了数据可视化的价值，特别是在公共领域中的价值。三、数据可视化工具和软件数据可视化目前数据可视化工具有很多，大部分都是免费的，能够满足用户的各种可视化需求。数据可视化工具从入门到高级分析，主要有入门级工具（Excel）、信息图表工具（D3、Flot、ECharts、Tableau）和高级分析工具（Processing、R、Python和Gephi）等。入门级工具Excel是微软公司的办公软件Office系列组件之一，该软件的工作簿用来存储数据，可以进行各种数据的处理、统计分析和辅助决策操作，被广泛应用于管理、统计、金融等领域。信息图表工具信息图表是信息、数据、知识等的可视化表达工具，它能更高效、直观、清晰地分析和传递信息，在计算机科学、数学和统计学领域有着广泛的应用。高级分析工具Processing是一门适合设计师和数据艺术家的开源语言。R是用于统计分析、绘图的语言和操作环境。Python是一种面向对象的解释型计算机程序设计语言。Gephi是网络分析领域的数据可视化处理软件06数据安全与隐私保护一、数据安全与传统信息安全的关系数据安全与隐私保护信息安全或数据安全有对立的两方面的含义一方面是数据本身的安全，主要是指采用现代密码算法对数据进行主动保护，如数据保密、数据完整性、双向强身份认证等；另一方面是数据防护的安全，主要是采用现代信息存储手段对数据进行主动防护，如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全。数据安全是一种主动的保护措施，数据本身的安全必须基于可靠的加密算法与安全体系对称算法公开密钥密码体系包括二、数据安全及隐私保护支撑技术数据安全与隐私保护构建大数据全生命周期的数据安全防护体系和支撑该体系的关键技术（包括授权、加密、脱敏、密钥共享等数据安全及隐私保护技术），是确保大数据在采集、传输、存储、挖掘、分析、处理、交互、共享及服务各环节，特别是在移动计算、物联网、云计算环境下安全管理和使用面临的巨大挑战。1234数据加密是指通过加密算法和加密密钥将明文转变为密文，而数据解密则是通过解密算法和解密密钥将密文恢复为明文。数据加密技术数据脱敏也称为数据的脱隐私化，指的是在数据交互、共享与服务的过程中，通过某种脱敏规则将数据包含的敏感隐私信息如手机号、身份证号、姓名、银行卡号等进行转换或修改的安全保护技术。数据交互安全与脱敏技术区块链是一种去中心化的分布式账本，是一种互联网数据库技术，具有开放性、不可撤销、不可篡改、加密安全性的特点区块链技术数字签名（又称公钥数字签名）是只有信息的发送者才能产生的、其他人无法伪造的一段数字串。数据签名技术07大数据处理平台大数据处理平台从数据在信息系统中的生命周期来看，大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节数据准备数据存储与管理计算处理数据分析知识展现大数据解决方案从结构上分为数据获取层、数据存储层、数据分析层（含数据集市、经营分析、决策支持、数据分析与挖掘）、数据管控及数据可视化层5个层次架构。大数据解决方案08社会网络大数据社会网络大数据一、社会网络大数据面临的挑战社会网络在产生海量数据给社会生产和人们生活带来诸多便利的同时，伴随产生了全新的巨大挑战。数据的语义理解与分析的挑战社会网络大数据主要以文本、图像、音频和视频等形式为主，大部分的数据缺乏文本描述，无法自动分析并理解一些图像与音、视频内容。数据的群体行为分析与挖掘的挑战社会网络的网络化、数字化、虚拟化也带来了信息产生社会化和信息内容碎片化及信息传播网络化问题。数据的多模态关联与融合的挑战随着多模态媒体信息的不断增加，如何实现异质媒体的关联与模式发现成为研究和应用的关键问题。数据的多维分析与可视化的挑战现有的媒体信息呈现方式一般采用简单罗列方式，这些媒体信息之间往往是孤立和单一的，浏览效率比较低，无法满足社会网络大数据呈现的需求。社会网络大数据二、社会网络中的用户影响力社会影响力用户影响力社会影响力是指社会网络中的个体由于社会地位、社会联系及社会财富等原因，改变他人思想、行为或情感的能力。用户影响力有着更多的表现形式，包括同伴压力和从众影响力及意见领袖。由此可见，社会网络通过“低成本替代”的方式，让人们可以用比传统社交更低的沟通成本相互结识、交流、互相影响，用户之间通过网络的高频率、多模态、多种方式和多维度的互动，使用户影响力在社会网络中的传播模式更为复杂、理解用户影响力更有助于对舆情监控和实现商务智能、个性化推荐等有重要价值的应用。09大数据应用大数据应用0102在智慧城市大数据发展规律的作用下，大数据在城市中的应用已有很多。5G时代将产生更多的城市数据，依托数据融通所衍生出的应用将层出不穷。智慧城市工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期的各个环节所产生的各类数据及相关技术和应用的总称。工业大数据智慧城市交通智慧城市社区智慧城市医疗智慧城市政务智慧城市公安工业大数据具有多模态的特点工业大数据具有高通量的特点工业大数据具有强关联的特点谢谢观看“新一代信息技术系列丛书信息技术（电子信息类）人工智能“新一代信息技术系列丛书信息技术（电子信息类）第三章01人工智能概述人工智能概述一、人工智能的基本概念人工智能（ArtificialIntelligence，AI）是通过计算机系统和模型（算法、算力和数据）来模拟、延伸和扩展人类智能的技术体系与实现方法的集合。人工智能的基本内涵计算机视觉计算机听觉自然语言处理知识图谱数据服务数据智能智能控制人工智能的主要技术分支人工智能概述二、人工智能的产生与发展人工智能从1956在美国的达特茅斯研讨会上第一次被正式提出至今，经过60多年的发展，随着2016年谷歌开发的AlphaGo战胜人类围棋顶尖选手，以及深度学习在图像识别、自然语言处理、计算机视觉、计算机听觉、自动驾驶和商业智能等领域取得突破性成绩，人工智能的多种专项技术的工程化、实用化的黄金时代到来了，整个人工智能产业迎来了蓬勃发展的朝阳时代。人工智能的主要应用领域人工智能概述三、人工智能的产业生态和人才需求人工智能产业链涉及的机构、企业、技术、产品和应用纷繁复杂，可以将相关的基础设施、核心算法、应用平台和解决方案与产品等，从承上启下和产业分工的视角，划分为3个大的层次，即底端的基础层、中间的技术层和顶端的应用层。特定的人工智能相关技术与岗位技能支撑着数据服务、算法实现、模型训练、AI应用开发和运维，营销等典型工作任务的完成，也是当今人工智能产业发展对人才的主要岗位能力需求。全球人工智能产业生态02知识表示与知识图谱知识表示与知识图谱一、知识表示与知识图谱的基本概念知识图谱是通过发掘实体及其之间的关联，将结构化、半结构化、非结构化等多种形态的数据进行整合，采用结构化的知识和关系表示，以实体或概念作为节点，通过语义关系相连的图结构形成的大规模语义网络，从而实现机器理解数据、解释现象、知识推理，并进一步发掘深层关系，实现智慧搜索与智能问答等感知智能。知识图谱、知识库及其应用知识表示与知识图谱二、专家系统与知识图谱全球人工智能产业生态近年来，专家系统技术逐渐成熟，广泛应用在工程、科学、医药、军事、商业等方面，而且成果相当丰硕，甚至在某些专项应用上接近人类专家的智能与判断。重构后的现代专家系统优势明显12知识表示方法多样知识获取来源多样3推理能力增强知识表示与知识图谱三、知识图谱的构成与技术栈知识图谱涉及的技术要素可以分为知识表示、存储、抽取、融合、推理、问答和分析等多个方面，主要技术要素的内涵包括以下几个。（1）基于图的知识表示：有向标记图是实现属性图和资源描述框架图两种知识表示的主要技术，另外还有更复杂的本体公理、规则逻辑等建模和表示方法。（2）图数据的存储与查询：图数据库和关系数据库都可以用来存储知识图谱，图数据库由于可以建立微索引，故其遍历查询的效率高些。（3）知识抽取：知识蕴含在结构化数据（关系数据库）、半结构化数据（网页、链接）、非结构化数据（文本、图片、语音、多媒体）等多种形态的海量数据中，“机器自动抽取+人工抽取”是当前知识图谱构建的主要方式。（4）知识融合：通过数据融合技术将多个数据源的实体或概念映射到统一的命名空间中，从而实现本体层面或实体层面的融合；基于表示学习的方法是当前实现知识图谱异构融合的主流技术。（5）知识推理：利用知识图谱中已经存在的关联关系或事实来推断未知的关系或事实，这是知识图谱的核心技术和任务，可以实现链接预测、补全缺失属性、检测错误描述、识别语义冲突、优化图谱质量、拓展问句语义、提高推荐精度等。（6）知识问答：包括问句的语义解析、匹配查询、叠加查询、答案生成等。（7）知识分析：利用各种图分析与挖掘算法对知识图谱进行深度分析、挖掘与优化。知识表示与知识图谱四、典型的知识图谱项目重大知识图谱项目有以下几个：123Wikidata：目标是世界上最大的免费知识库，是一个可以众包协作编辑的多语言百科知识库。YAGO：德国马克斯·普朗克研究所研制的链接数据库，它集成了Wikipedia、WordNet、GeoNames等数据源，考虑了时间和空间维度的知识表示。WordNet：由美国普林斯顿大学于1985年开始开发，它主要定义词与词之间的语义关系，用于支持自然语言理解任务的词义消歧。4BabelNet：当前最大的多语言词典知识库，包含271种语言、1

400万个同义词组。5OpenKG：中国中文信息学会在2015年启动的中文开发知识图谱项目，用来系统收集和整理中文领域的众多开发知识图谱。03机器学习机器学习机器学习（MachineLearning，ML）用来研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。从学习形式的视角，机器学习可以划分为监督学习无监督学习半监督学习强化学习从学习任务的视角，机器学习可以分为分类回归聚类降维异常检测04神经网络与深度学习神经网络与深度学习神经网络是一种运算模型，由大量的节点（或称神经元）相互连接构成。每个节点代表一种特定的输出函数，称为激活（或激励）函数（ActivationFunction）。每两个节点间的连接代表一个通过该连接信号的加权值，称为权重（或权值，Weight），这相当于神经网络的记忆。神经网络简介1深度学习22006年，Hinton首次提出深度学习（DeepLearning，DL）的概念，其通过多层的、多输入的、多连接的、多变换的、反向传播的神经元网络，可以模拟复杂的人脑神经网络，实现推理、判断、分类等智能活动，突破了传统机器学习需要人为特征提取的算法瓶颈。（1）从识别猫狗、物体、场景、人脸，到辨别血液中癌症的早期成分，再到识别核磁共振成像中的肿瘤；（2）AlphaGo是基于深度学习的人工智能围棋系统，它先是学会了如何下围棋，然后与自己进行下棋训练，24h就可以与自己反复地下几十万盘，能够迅速提高棋艺，目前的围棋水平已经超过人类专业围棋选手；（3）科大讯飞的语音识别技术也是基于深度学习的智能系统，非特定人的中文识别准确率达到了98%，方言的识别种类达到了22种（其中准确率超过90%的超过了10种）。现在，基于深度学习开发的人工智能应用系统，在一些场景中接近甚至超过人的水平：05计算机视觉计算机视觉计算机视觉是利用机器眼睛（照相机、摄影机、雷达等）、计算机及其软件系统模仿人的视觉系统对目标进行识别、跟踪、测量和处理的技术，是人工智能的研究与应用热点，主要包括以下几个方面。一、计算机视觉简介这是一种基于数据驱动的图像分类方法，该算法并没有直接在代码中规定每幅图像的类别，而是为计算机提供示例，然后设计一个学习算法，查看这些示例，并学习每个类别的视觉外观。对图中感兴趣的目标进行定位，判断出目标的具体类别，并给出边框。指在特定场景下跟踪一个或多个对象的过程，与传统跟踪技术的监测和观察不同，现在的目标跟踪还被应用于无人驾驶领域。计算机视觉可以将图像分成单独的像素组，然后对其进行标记和分类。特别地，语义分割试图在语义上理解图像中每个像素的角色。区别于语义分割，实例分割将不同类型的示例继续分割，需要执行更加复杂的任务，确定不同对象之间的边界、差异及彼此之间的关系。图像分类对象检测目标跟踪语义分割实例分割计算机视觉二、数字图像处理数字图像处理又称计算机图像处理，简称图像处理，是指将图像信号或视频信号（视频可以理解为连续的图像信号）转换成数字图像信号并利用计算机对其进行处理的过程。主要处理方法和技术包括去噪、增强、复原、分割、变换、重建、提取特征、识别（场景、物体、动作、形态等）、理解等。数字图像的基本处理技术经过几十年的发展，在理论、技术、工具上已经比较成熟，并且获得了广泛应用。民众可以方便地使用图像处理工具获取、处理、存储、传输数字图像；农林部门通过遥感图像了解植物生长情况，进行估产，监视病虫害发展及治理；水利部门通过遥感图像分析，获取水害灾情的变化；（1）（2）（3）气象部门通过分析气象云图，提高天气预报的准确度；国防、国土及测绘部门通过航测或卫星图像分析，获得地域、地貌及地面设施等资料；机械部门通过使用图像处理技术，自动进行金相图的分析与识别；（4）（5）（6）研究目标计算机视觉三、计算机视觉的内涵与应用计算机视觉是利用摄像机和计算机模仿人类视觉（眼睛与大脑），对目标进行分割、分类、识别、跟踪、判别、决策等功能的人工智能技术。使计算机具有通过二维图像认知三维环境信息的能力，即在基本图像处理的基础上，进一步进行图像识别、图像（视频）理解和场景重构。人脸识别智能监控图像识别分析驾驶辅助/智能驾驶三维图像视觉工业视觉检测智能医学影像文字识别图像/视频智能编辑计算机视觉是当今非常活跃的人工智能研究与应用领域机器视觉是人工智能正在快速发展的一个分支机器视觉就是用机器代替人眼来做测量和判断计算机视觉四、机器视觉的内涵与应用机器视觉计算机视觉侧重的是从视觉感官上去做人做不到的工作，如测量、检测、定位等，与光源镜头自动化控制相关。机器视觉会更注重对视觉上的一个“量”的分析，相关的知识侧重镜头光源、图像处理、运动控制等。机器视觉更侧重机器，更工程一些。更侧重利用计算机分析得到的图像，往往是对图像里面信息的一个分析处理。更加侧重的是对视觉的一个“质”的分析。计算机视觉更侧重计算机，更学术一些。机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息及加工控制信息集成,广泛用于工业、农业、航空航天等领域。06计算机听觉一、计算机听觉简介计算机听觉人工智能在模仿人的听觉方面的研究与应用主要划分为智慧语音和自然语言处理（NaturalLanguageProcessing，NLP）两大类别。指计算机系统模拟人类语音能力的相关技术，主要包括语音识别、语音合成、声纹识别、语音输入、语音交互、语音增强、语音转换、情感分析等多项专门技术；智慧语音指计算机系统模仿人类通过自然语言的学习、交流、推理和写作等能力，实现机器翻译、人机交互、文本摘要、文本分类、文本校对、信息抽取、智能机器人对话等。自然语言处理经过几十年的发展，计算机听觉技术取得了许多重大进展并得到了广泛应用。语音识别、语音交互、机器翻译、智能客服、智能音箱、智能机器人等广泛应用到了工农业生产和百姓的生活中。二、智慧语音计算机听觉从狭义上讲从广义上讲多模态数据指的是多媒体数据，如文本、音频、视频;多模态数据是对原始数据集采用不同的特征提取方法得到的不同特征组合。多模态数据是指在多种不同设备或场景下采集到的数据。现实世界中的数据集往往是多模态的。AbutionDB是一个多模态数据库，支持动/静态知识图谱、时序事件数据、空间数据、机器学习特征、关系型数据、文本数据的存储;其中动态知识图谱平台AbutionGraph是一套包含数据采集、存储、计算、分析、监控的闭环大数据解决方案多模态数据库AbutionDB07智能机器人一、机器人的概念与分类智能机器人机器人（Robot）是一种能够半自主或全自主工作的机器装置，具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。按照应用领域和服务对象的不同，机器人可以划分为12工业机器人集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的现代制造业重要的自动化装备。服务机器人工业机器人发展到一定的阶段，伴随着服务能力更加精细化而产生的一类机器人智能机器人云端智能机器人由“云端大脑”“安全神经网络”“机器人控制单元”和机器人本体组成。云端大脑提供机器人的AI能力，并利用安全高速的神经网络，将这些AI能力传输给远端的机器人控制单元和各种各样的服务型机器人、智能设备等本体，通过云、网、端协同实现机器人和智能设备的服务功能二、云端智能机器人端智能机器人技术架构三、云端智能机器人的系统架构智能机器人安全神经网络安全神经网络为保证机器人云端大脑与其本体之间的通信安全，为智能终端提供私有安全网络连接。网络接入点（PointofPresence，PoP）设立在运营商的数据中心里，PoP间租用基础运营商的专线，是与Internet完全隔离的安全私有网络。云端大脑机器人控制单元云端大脑旨在实现百万级机器人的同时运营。它将视觉处理、自然语言处理、机器人运动控制和数字孪生等技术集成在云端，利用深度学习、强化学习和迁移学习技术，通过物理、虚拟平行智能引擎及多模态AI能力，让机器人的智能快速向人类智能汇集机器人控制单元提供接入云端智能平台的标准化机器人控制器，向上基于4G/5G网络接入云端智能增强平台；向下连接机器人本体中央控制单元（CenterControlUnit，CCU），完成RCU和CCU的数据交换；实现对机器人的指挥控制、指令响应等。四、智能服务机器人的典型应用场景智能机器人010206030407智慧门店智慧酒店智慧社区智慧医养智慧工业智慧园区05智慧教育08智慧场馆09智慧交通08人工智能的挑战、发展趋势与未来人工智能的挑战、发展趋势与未来一、人工智能推动工业革命和社会进步作为未来科技发展的核心技术，人工智能对人类生产生活及各个行业的波及之大、影响之广，已经超乎一般人的想象，充满机遇和挑战。一些“智能代工”的场景和案例：（1）成立于2006年的苏州穿山甲机器人公司的总部位于江苏省昆山市，主要经营送餐机器人。（2）2017年7月，江西省南昌市一家面积仅有25m2的we-go无人智能便利店“火”了一把。（3）徐工集团在动臂焊接方面，我们采用了行业智能化程度最高的柔性焊接生产线，焊接线会自动给机器人分配任务。（4）使用智能手术机器人做手术创口小、出血少，患者术后辅助药物费用更低，且恢复时间更短。（5）北京、天津、义乌等地的快递公司启动机器人智能分拣系统，可减少70%的分拣人力；浙江一家喷雾器企业的自动化流水线上，20个大大小小的配件可自动组装成喷头；人工智能正在代替金融行业的交易员；（6）德国的KUKA机器人（智能机器手臂）于2014年3月击败了世界乒乓球名将蒂姆·波尔，它还可以安装汽车、锯木、造房。人工智能的挑战、发展趋势与未来二、人工智能的发展趋势125大公司将赢得未来算法和技术将会进行整合用工具的开源换取更大的市场份额6人机交互技术将得到改进3数据众包市场将非常巨大7人工智能逐步影响所有的垂直行业4企业并购8出现安全、隐私、伦理与道德问题人工智能的挑战、发展趋势与未来三、人工智能面临的挑战人工智能的人才挑战人工智能的技术挑战历史上曾掀起多次发展人工智能的热潮，一些人对人工智能的发展速度和作用所持态度过于乐观。而一些科技界精英认为人工智能未来会给人类社会带来“存在风险”（ExistentialRisk）。

人工智能的法律、安全与伦理挑战人才缺口巨大、人才结构失衡是当前全球人工智能发展所面临的一个巨大挑战。据LinkedIn统计，全球目前拥有约25万名人工智能专业人才，其中美国约占三分之一。人工智能在模仿人类智能方面还面临诸多的理论和技术挑战。当前主流的、以深度学习为基础建立的人工智能技术一般用大数据解决小问题，而人类智能往往能够以小数据解决大问题；人类可以凭借自己的观察和判断形成最终的价值决策，而当前机器的语音识别、视觉识别等AI能力还很难支撑对事物的理解与判断，距离完整的行为规划或事项决策仍有较大的发展空间；人类的学习可以适应持续动态变化的环境，而目前的机器学习（深度学习）一般是定期离线训练，不能有效应对时刻变化的环境；人工智能的挑战、发展趋势与未来四、拥抱人工智能的明天010203040506在商业服务、家庭服务领域的全面应用，正为人工智能的大规模商用打开一条新的出路人工智能产品将全面进入消费级市场2023年，中国人工智能产业产值与人才需求呈现出双位数的增长趋势。人工智能人才将呈现井喷式的大量需求“认知专家顾问”在Gartner的报告中被列为未来2～5年被主流采用的新兴技术，这主要依赖深度学习能力的提升和大数据的积累。认知类人工智能产品将赶超人类专家顾问水平从发展趋势上来看，人工智能的进步或将改写人类对自我、知识和教育的理解。人类的知识、智慧、人性或将被重新定义各样的、专门的AI应用都可以通过Web服务的方式提供可复用的、免费或可购买的智能服务。人工智能将成为可复用、可购买的智能服务谷歌I/O2018开发者大会首日，谷歌CEO桑达尔·皮查伊展示了最新研发的对话AI——GoogleDuplex一次非凡的突破——打电话的AI通过了图灵测试谢谢观看“新一代信息技术系列丛书信息技术（电子信息类）现代通信技术“新一代信息技术系列丛书信息技术（电子信息类）第四章01通信概述c一、通信的基本概念通信，指人与人、人与机、机与机通过某种行为或媒介进行的信息交流与传递，从广义上指需要信息的双方或多方无论采用何种方法、何种媒介，将信息按要求准确、安全传输到收信方，实现信息的时/空转移。通信媒体可分为：如电子文本、电话声音、网络视频等；感觉媒体如mp3、mp4等编码器；表示媒体如显示器、电视机等；表现媒体如数字化存储设备；存储媒体如光缆、电缆、通信设备等通信设施。传输媒体通信媒体的分类通信概述二、通信技术的发展历程自19世纪初通信技术问世以来，其经历了100多年的发展，下表中给出了通信技术发展的重要事件。重要事件时间主要贡献者电报技术1837威廉·库克（WilliamCooke）、

塞缪尔·莫尔斯（SamuelMorse）电话技术1876亚历山大·贝尔（AlexanderBell）无线通信技术1896伽利尔摩·马可尼（GuglielmoMarcheseMarconi）、亚历山大·斯捷潘诺维奇·波波夫

（AlexanderStepanovichPopov）数据传输理论1928哈利·奈奎斯特（HarryNyquist）时分复用技术1937里夫斯（Reaves）数字通信理论（信噪比—传输速率）1948克劳德·艾尔伍德·香农（ClaudeElwoodShannon）光纤通信技术1966高锟表

通信技术发展的重要事件量子信息技术主要的两个应用方向是量子通信与量子计算机。量子通信被证明是无条件安全的通信方式，被认为是下一代通信领域的支撑性技术。“物联网”的概念是在1999年被提出的，物联网技术是指各类传感器和现有的互联网相互衔接的一个新技术。贝尔实验室提出了蜂窝移动通信的设想，并于1978年成功研制出了第一代移动电话系统——类压式移动电话系统（AdvancedMobilePhoneSystem，AMPS）。电报技术电话技术无线通信技术数据传输理论时分复用技术数字通信理论通信概述二、通信技术的发展历程量子通信技术物联网技术移动通信技术光纤通信技术02信息传输信息传输一、通信系统的基本模型简单通信系统模型1模拟通信系统模型2数字通信系统模型3信源编码的目的就是减少信息冗余，进行信息压缩，实现更有效地传输，最常见的信源编码形式就是压缩编码。信源解码是信源编码的逆过程。信息传输二、模拟调制与解调在发送端，首先把要传输的模拟信号变换成适合长距离传输的调制信号，再进行传输，这个过程称为调制；在接收端，把接收的信号解调成原始电信号，这个过程称为解调。所谓数字调制，实际上是把0、1的数字信号进行变化，转换为正弦波的幅度、相位、频率的变化。解调的过程就是把正弦波的变换翻译成0、1形式的数字信号。三、数字调制与解调四、信源编码与解码在信息通信系统中，通常利用信道编码对数码流进行处理，使系统具有一定的纠错能力和抗干扰能力，有效避免误码的发生。信道解码是信道编码的逆过程。五、信道编码与解码03通信网络与协议通信网络与协议一、从简单通信到通信网络最初的通信是点对点进行的，用线路将两部电话或计算机进行连接就可以实现点对点通信。当用户规模增大后，需要建立交换网。也就是说，所有的设备不是直接互联，而是连接到一台交换设备（如交换机）上。一个完整的电信系统应由终端设备（如电话、计算机）、传输设备（包括线路）和交换设备三大部分组成。点对点通信交换机的出现电信系统的组成传统的电信网，按业务可分为：电话网、数据网、移动网、微波与卫星通信网等。现在的通信网，网络融合的趋势明显，因此，分类也就越来越综合了。通信网络与协议二、接入网技术与应用从水平方向的视角分析1按照与用户距离的远近，电信网可以划分为公共电信网和用户驻地网两部分。公共电信网又可以划分为接入网和核心网。接入网离用户相对较远，物权归通信运营商或内容服务商所有，接入网属于电信运营商或服务商，一般包含用于完成用户间通信的各种机线设备。（3）核心网作为电信网的核心，是数据交换、转发、接续和路由的网络部分。用户驻地网一般靠近用户，通常是指在一栋建筑物内，完成用户通信和控制功能的用户驻地布线系统，物权归用户所有。从水平方向的视角来看，接入网一般位于用户驻地网和核心网之间，是整个公共电信网的边缘部分，也是公共电信网中距离用户最近的部分，一般通过光纤或无线形式将用户汇接到电信核心网中。通信网络与协议二、接入网技术与应用从垂直方向的视角分析2从垂直方向（实现的功能）的视角来看，电信网自上而下可分成应用层、业务层、核心层和传送层，支撑网保障各层次功能的正常运转。应用层是利用各种业务网络实现信息服务的网络。业务层是基于核心层实现各种业务的网络。核心层是基于传送层（承载网）的传输功能实现用户驻地网和业务网络之间的连接，其主要实现的是数据交换、电路交换等功能。传送层主要实现业务信息的传输和承载。传统电话接入网实现本地电话业务节点到用户驻地网之间的信息传输。用于接入数据业务的IP接入网，除了具备传输功能，还具备部分交换功能，位于电信网的传送层和核心层。通信网络与协议三、通信协议和标准制定机构通信协议是通信双方进行通信所必须遵循的规则和约定，其中语法、语义、时序被称为通信协议的3个组成要素。确定数据与控制信息的结构或格式，主要解决怎么讲的问题。指控制信息的含义和需要做出的动作及响应，描述讲什么的问题。规定了动作的顺序，说明什么时候做及动作的先后顺序问题。语法语法语法最典型的通信协议就是OSI七层协议，每层负责完成本层规定的功能，直接为上层提供服务，并且所有层次都互相支持，它奠定了今天以IP为基础的开放的互联网络。04固定电话通信固定电话通信一、固定电话通信过程（1）当电话用户摘机时，主叫用户的摘机信号发送到发送端的电话交换机（简称发端交换机）。（2）发送端的电话交换机收到用户摘机信号后，立即向主叫用户回送拨号音。（3）主叫用户听到拨号音后开始拨号，并将被叫用户的电话号码发送给发送端的电话交换机。（4）发送端的电话交换机根据被叫用户的电话号码选择局向及中继线，并在选好的中继线上向接收端的电话交换机发送占用信号，同时把被叫用户的电话号码发送给接收端的电话交换机。（5）接收端的电话交换机根据被叫用户的电话号码，呼叫并连接到被叫用户，并向被叫用户电话发送振铃信号，同时向主叫用户电话发送回铃音信号。固定电话通信一、固定电话通信过程（6）当被叫用户摘机应答时，接收端的电话交换机收到应答信号，并将应答信号转发给发送端的电话交换机。（7）主叫用户与被叫用户进入通话状态，此时线路上传输话音信号，计费系统开始计时。（8）通话结束，任意一方挂机，交换机发送拆线信号。（9）接收端的电话交换机拆线后，同时回送一个拆线证实信号，线路与设备复原，计费结束。固定电话通信二、固定电话业务固定电话业务可分为本地电话业务、长途电话业务、特殊号码业务、被叫集中付费业务和主被叫分摊付费业务。123本地电话业务：本地电话业务是指在同一个长途编号区内电话用户相互通话的电信业务。用户拨打本地电话不加长途区号，直接拨打被叫用户电话号码即可。长途电话业务：长途电话业务是指处于两个不同长途编号区内的电话用户，利用电话进行信息交换的一种通信方式，通过话音交换实现信息的双向交流。特殊号码业务：特殊号码，是电信部门为方便服务大众而设立的电话号码，其中一些重要的电话号码是完全免费的。4被叫集中付费业务：被叫集中付费业务简称800号业务，是指当主叫用户拨打800业务号码时，即可接通到由被叫用户（企业）指定的电话号码或呼叫中心。5主被叫分摊付费业务：主被叫分摊付费业务简称400号业务，它可以为被叫用户提供一个全国通用的服务号码，当主叫用户呼叫这个号码时，交换机将接至被叫用户指定（规定）的目的地（电话号码或呼叫中心）。固定电话通信三、固定电话网的发展与演变我国的电话网采用的是等级结构。电话网的等级结构是指把全网的交换局划分成若干个等级，低等级的交换局与管辖它的高等级交换局相连，形成多层级汇接辐射的网络结构（星形网）；最高等级的交换局（如核心网交换局）间通过复合网或网状网相互连接。我国的电话网设有3个国际出口局，分别在北京、上海和广州。1.电话网的等级结构长途网。我国早期的固定电话网采用的是五级结构，其中长途网分为四级。本地网。本地网的网络结构一般设置汇接局（Tm）和端局（C5）两个等级。汇接局（Tm）具体分为市话汇接局、郊区汇接局、农话汇接局等；端局（C5）被称为五级交换中心，也就是