交通基础设施智能化基础 课件 第1-5章 交通基础设施智能化概述 - 物联网概述

第1章交通基础设施智能化本章重点

交通基础设施发展规划及现状交通基础设施机遇与挑战交通基础设施智能化解读本章重点

交通基础设施发展规划及现状交通基础设施机遇与挑战交通基础设施智能化解读交通基础设施发展规划及现状5大交通运输体系基础设施是指为社会生产和居民生活提供公共服务的物质工程设施，是用于保证国家或地区社会经济活动正常进行的公共服务系统。目前我国的交通运输体系主要分为铁路、公路、水路、管道和航空五大类。五大交通运输方式交通基础设施发展规划及现状公路运输是指是在供汽车、人力车、畜力车等众多载运工具及行人使用的道路上进行货物或人员运输。发展历程古埃及修建金字塔的道路秦始皇统一中国的秦直道中国茶马古道连霍高速公路珲图高速公路交通基础设施发展规划及现状公路运输交通基础设施规划《国家干线公路网（试行方案）》《“五纵七横”国道主干线系统规划》《国家高速公路网规划》《国家公路网规划（2013年-2030年）》交通基础设施发展规划及现状公路运输发展现状“神州第一路”沈大高速沪蓉西高速连霍高速公路代表性工程我国的高速公路里程居世界第一；公路总里程居世界第二；截止至2019年末，全国公路总里程为501.25万公里；公路货运成为货物运输的主要中坚力量，全年完成货运量与周转量分别为344亿吨及59636亿吨公里。交通基础设施发展规划及现状铁路运输一种陆上运输方式，以机车牵引列车车辆在两条平行的铁轨上行驶。传统方式是钢轮行进，但广义上还包括磁悬浮列车、缆车、索道等非钢轮行进的方式，或称轨道运输。萌芽阶段(1825-1900年)发展阶段(1900-1945年)衰退阶段(1946-1964年)复苏阶段(1964年后)世界铁路发展历史铁路运输中国铁路发展历程及规划1875年第一条营运铁路吴淞铁路建成通车1909年第一条自主设计并建造的铁路-京张铁路建成通车20世纪50年代初，新中国政府开始填补西部地区铁路空白2004年提出铁路“四纵四横”规划2016年提出铁路“八纵八横”规划2017年发布《铁路“十三五”发展规划》京张铁路“四纵四横”路线图“八纵八横”路线图交通基础设施发展规划及现状铁路运输发展现状时至今日，我国已建成世界上最现代化的铁路网和最发达的高铁网，形成了全国以北京为中心，各省以省会为中心伸展线路的铁路网骨架。2014-2019年全国铁路运营里程青藏铁路京沪高铁交通基础设施发展规划及现状航空运输是在具有航空线路(航线)和航空站点(机场)的条件下，利用航空器(飞机等)作为运输工具进行货物、人员流通的一种运输方式。萌芽飞艇时代飞机出现飞机大型化、远程化航空器发展历程达芬奇扑翼机“兴登堡”飞艇莱特兄弟试飞欧盟A350系列交通基础设施发展规划及现状航空运输2008年实施《全国民用机场布局规划》，计划于2020年布局规划民用机场总数达244个2017年制定了新一轮全国民用运输机场布局规划，计划于2025年全国民用运输机场规划布局370个2020年全国民用机场布局规划分布图2025年全国民用机场布局规划分布图中国民航发展规划交通基础设施发展规划及现状航空运输发展现状截至2019年底，我国民航机场已形成了以北京、上海、广州等国际枢纽机场为中心，省会和重点城市区域枢纽为骨干，以及其他干、支线机场相互配合的格局。2019年各地区颁证运输机场数量2019年我国定期航班条数及里程交通基础设施发展规划及现状交通基础设施发展规划及现状水路运输水路运输是以船舶为主要运输工具、以港口或港站为运输基地、以海洋、河流或湖泊等水域为运输活动范围的一种运输方式。发展历程早在石器时代的独木舟。公元前4000年的帆船1807年第一艘蒸汽驱动船舶公元前214年连接长江和珠江两大水系的灵渠唐代的海上丝绸之路交通基础设施发展规划及现状水路运输全国内河高等级航道和主要港口布局方案图2015-2019年全国内河航道通航里程发展规划：2007年国务院批准发布的《全国内河航道与港口布局规划》是我国第一个全国航道和港口布局的纲领性文件。该规划将全国内河航道划分为高等级航道和其它等级航道两个层次，形成了两横一纵两网十八线(简称2-1-2-18)和28个主要港口布局。发展现状：

截至2019年末，全国内河航道通航里程12.73万公里，全国港口拥有生产用码头泊位22893个。交通基础设施发展规划及现状水路运输代表性工程洋山深水港长江航道被誉为中国的“黄金水道”，与美国密西西比河、欧洲莱茵河并称世界三大内河航道，是中国全年昼夜通航最长的深水干线内河航道。位于浙江省舟山市嵊泗县，属于上海港管辖。其集装箱吞吐量到达1842万标箱，占整个上海港集装箱吞吐量的近一半，成为上海国际航运中心新坐标。交通基础设施发展规划及现状管道运输是使用管道作为运输工具的一种长距离输送液体和气体物资的运输方式，是一种专门由生产地向市场输送石油、煤炭或化学产品的运输方式，是综合运输网中干线运输的特殊组成部分。发展历程美国宾夕法尼亚州第一条原油输送管道竹子连接成管道输送卤水中国第一条输油及输气管道以五大干线为主的全国原油长输管道系统巴渝输气管道新疆克拉玛依到乌苏独山子原油管道“西气东输”工程的建成交通基础设施发展规划及现状管道运输交通基础设施规划2017年5月制定了《中长期油气管网规划》，规划期为2016-2025年，远期展望到2030年。天然气主干管网规划原油主干管网规划成品油主干管网规划

截至2019年底，我国累计建成天然气、原油和成品油管道里程分别为8.1万公里、2.9万公里和2.9万公里，总里程合计13.9万千米。发展现状交通基础设施发展规划及现状管道运输代表性工程

西气东输我国距离最长、口径最大、投资最多、输气量最大、施工条件最复杂的输气管道。

中俄原油管道为中国四大能源战略通道之一，管道全长999.04公里，设计年输量1500万吨。本章重点

交通基础设施发展规划及现状交通基础设施机遇与挑战交通基础设施智能化解读交通基础设施机遇与挑战当前交通基础设施正处在由“大”变“强”的历史转折期，在国家“一带一路”倡议、“交通强国”战略、“新工科”、“新基建”的新时代发展背景下交通基础设施的发展充满了新机遇和新挑战。“新基建”“一带一路”倡议“交通强国”战略“新工科”交通基础设施机遇与挑战“一带一路”倡议：“一带一路”

是“丝绸之路经济带”和“21世纪海上丝绸之路”的简称,是国家级顶层合作倡议。共商、共建、共享陆上运输通道建设海上运输通道建设空中运输通道建设政策沟通设施联通贸易畅通资金融通民心相通五通三同建设原则交通基础设施机遇与挑战“北极政策”白皮书：2018年1月26日发表的《中国的北极政策》白皮书标志着“冰上丝绸之路”的建设从理念正式进入到行动阶段。北极航道“冰上丝绸之路”典型建设成果——扎鲁比诺港交通基础设施机遇与挑战“交通强国”战略：2019年9月19日，中共中央、国务院印发《交通强国建设纲要》，明确从2021年到本世纪中叶，我国将分两个阶段推进交通强国建设。到2035年，基本建成交通强国，形成三张交通网、两个交通圈。发展目标第一阶段：到2035年，基本建成交通强国第二阶段：到本世纪中叶，全面建成交通强国建设重点1.构建现代化综合交通基础设施网9.建设覆盖全球的交通体系8.加强乡村交通运输体系建设7.破解城市交通拥堵6.提升交通安全水平5.坚持绿色交通发展4.实现一流交通服务3.提升交通智能化水平2.实施创新驱动交通发展交通基础设施机遇与挑战“新工科“新工科建设“三部曲”“复旦共识”启动“新工科研究与实践”项目的设想。2017年2月18日，教育部在复旦大学召开了高等工程教育发展战略研讨会。“天大行动”新工科建设行动路线。2017年4月8日，教育部召开新工科建设研讨会，提出了三大阶段性目标。“北京指南”新工科建设指南2017年6月9日，教育部召开工作会议，全面启动部署新工科建设。新工科专业建设：指新兴产业的专业以及针对传统工科专业的升级改造。数据科学与大数据技术机器人工程物联网工程智能电网信息工程光电信息科学与工程交通基础设施机遇与挑战新基建苏州5G无人公交CIM城市信息管理平台阿里云超级数据中心新型基础设施信息基础设施融合基础设施创新基础设施通信网络基础设施新技术基础设施算力基础设施智能交通基础设施智慧能源基础设施重大科技基础设施科教基础设施产业技术创新基础设施本章重点

交通基础设施发展规划及现状交通基础设施机遇与挑战交通基础设施智能化解读交通基础设施智能化解读随着人工智能、大数据、云计算、物联网等新技术与交通行业的深度融通，交通基础设施正朝着智能化领域进军，迎来了新一轮的技术转型和产业变革期。智能化交通人工智能云计算物联网大数据智能化发展历程——美国美国是最早针对于道路基础设施智能化研究的国家1970年代，北美公交机构研究公交车辆定位(AVI)系统1985年，开展军方自动陆上驾驶车辆（ALV）的研究1990年,美国智能车辆-公路系统项目成立2001年，编制《美国国家智能交通系统10年发展规划》2012年，研究部署联网车辆安全试验交通基础设施智能化解读智能化发展历程——欧洲欧洲ITS的研究采取整个欧洲一体化的方针。SCOOT系统尤里卡联合研究与开发计划推动欧洲各国在技术研究发展方面的合作，建立跨欧的智能化道路网。《欧洲2010交通政策：决策的时刻》制定了未来10年的交通政策，提出来实现ITS一体化市场的建议。第五代道路提出新一代道路应该具有自适应、自动和环境影响韧性等三大特性，描述未来道路的特征根据检测器得到的实时数据计算交通量、占用时间、占有率及拥挤程度。交通基础设施智能化解读智能化发展历程——日本日本也是世界上率先开展ITS研究的国家之一。综合汽车交通控制系统（CACS）先进道路运输系统道路-交通-车辆智能化推进协会开始时间：1973年；研制出一套道路导航系统并进行了试验；开始时间：1980年代；形成了以道路-车辆一体化来改善道路交通的概念；开始时间：1994年；进行一系列与ITS有关的活动，其使命是推进ITS的研究、开发和利用；道路-交通-车辆智能化推进协会开始时间：2006年；将日本智能交通系统建设提升至国家战略的高度，全民促进智能交通系统建设发展，并积极向国际标准靠拢；交通基础设施智能化解读智能化发展历程——中国我国智能交通系统起源可追溯到20世纪70年代末的城市交通信号控制试验研究,其在20世纪90年代中后期开始迅速发展，后又逐渐发展为智能运输系统。开始时间城市交通信号控制试验研究1970年代前期发展相关研究阶段《中国智能交通系统体系框架》1999年九五期间智能交通系统关键技术开发和示范工程2002年十五期间863计划设立“现代交通技术领域”2006年十一五期间863计划对智能公路协同、区域交通协同联动控制部署2011年十二五期间《“十三五”现代综合交通运输体系发展规划》2017年十三五期间交通基础设施智能化解读交通基础设施智能化解读智能化解读智能交通基础设施是通过运用多种先进技术，模拟智慧生物体机体的基本构成和功能特征，实现整个交通基础设施中各类信息的获取、处理和控制。因而以人体为参考，进行交通基础设施智能化的仿生解读，主要包括三种类型。交通基础设施智能化的概念相似的基本元素及功能相似的交流、学习、创造能力相似成长与发展过程交通基础设施智能化解读智能化解读智能交通基础设施元素对应图

第一、具有与人体的感官和神经系统、大脑、肌体、四肢、心脏等相似的、不可或缺的信息感知、信息传递、信息处理、功能发挥、主动调控和能量供给等基本元素及功能。交通基础设施智能化解读智能化解读

第二、具有与人体生老病死等相似成长与发展过程，并能在一定程度上实现资源的再生及循环利用。交通基础设施与人体的全寿命周期对应交通基础设施智能化解读智能化解读

第三、具有与人类语言沟通相似的信息交流能力以及主动感知、自动辨析、自主适应、主动调控、自主供给等学习、进化及创造能力。智能分级主动感知自动辨析信息交互自主适应主动调控自主供给0I□□II□□□□III■■□□□IV■■■■□■V■■■■■■（注：□初步具备■已经成熟）交通基础设施智能化阶段借鉴人工智能发展阶段，从传统的交通系统到全面智能的新型交通系统，可划分为五个发展阶段。交通基础设施智能化解读智能化内容分析平台设施主体结构监测通信网络决策系统交互系统感知系统结构与材料能量系统数据分析总体调控数据汇集网络协同信息交互路运一体智能感知位移监测振动监测智能感知位移监测振动监测软件处理硬件支持智慧交通基础设施系统构成交通基础设施智能化解读智能化内容智能交通系统是一个以智能基础设施和智慧载运工具为中心，面向运营环境、驾驶者、管控中心等多个信息源的智能信息交互平台。智能交通系统行为信息状态信息交通信息物理信息动态准动态准静态静态交通信息模型设施环境人车交通基础设施智能化解读智能化发展趋势智能交通系统的发展趋势，大致可以概括为从部分设施的功能化到系统整体实现智能化的逐步发展。智能交通系统的发展趋势第2章人工智能概述主讲人：董泽蛟教授、博导本章重点人工智能机器学习深度学习AI本章重点人工智能机器学习深度学习AI什么是人工智能？人工智能：简称AI（ArtificialIntelligence），是指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序的手段实现的类人智能技术。该词同时也指研究这样的智能系统是否能够实现以及如何实现的科学领域。认知建模像人一样思考思维法则合理地思考图灵测试像人一样行动合理Agent合理地行动合理性逼真度行为思维与推理人工智能的四类实现途径人工智能发展历程1956-2060s1960s-1970s1970s-19851985-19951995-20102011至今人工智能发展现状人工智能在算法、算力和算料方面已取得重要突破，正处于从“不能用”到“可以用”的技术拐点，但是距离“很好用”还有诸多瓶颈。专用人工智能取得重要突破通用人工智能尚处于起步阶段人工智能创新创业如火如荼创新生态布局成为人工智能产业发展的战略高地人工智能的社会影响日益凸显我国人工智能发展趋势高度重视国家战略层面国务院发布《新一代人工智能发展规划》面向2030年的我国人工智能发展路线图态势喜人全球投融资规模最大的国家发表论文数量居世界第一高校纷纷成立人工智能学院差距不小在基础研究、原创成果、顶尖人才、技术生态、基础平台、标准规范等方面距离世界领先水平还存在明显差距前景看好具有市场规模、应用场景、数据资源、人力资源、智能手机普及、资金投入、国家政策支持等多方面的综合优势我国人工智能发展趋势2020年8月4日，国家标准化管理委员会、中央网信办、国家发展改革委、科技部、工业和信息化部联合印发《国家新一代人工智能标准体系建设指南》人工智能、机器学习与深度学习机器学习：一种实现人工智能的主要方法深度学习：一种实现机器学习的热门技术人工智能

V机器学习

V深度学习数据获取预处理特征提取特征选择推理/预测/识别人工特征表达树突树突细胞体细胞体电脉冲形成信息处理传输输入输出输入输出大脑“黑箱”人工神经网络“黑箱”本章重点人工智能机器学习深度学习AI机器学习基础机器学习：对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升任务T分类：确定输入是属于k类中的哪一类回归：计算输入的预测数值异常检测：对输入数据进行异常数据寻找聚类：将数据分为m个簇，簇内具有高度相似降维：对高维数据进行特征提取和特征减少性能度量P性能度量P是特定于系统执行的任务T而言的分类：准确率回归：均方误差…经验E从训练数据获取经验根据学习过程中不同的经验，可分为监督学习、无监督学习、半监督学习、强化学习机器学习基础机器学习三要素：模型，策略和优化算法模型策略优化算法学习的目的就是在模型的假设空间中选择一个最佳的模型，即最接近真实映射的映射函数或者条件概率分布，然后再利用该模型去完成相应的任务从假设空间中如何选择最优的模型的问题，即学习策略的问题对于选择的模型的预测值与样本真实值之间的差异，通常用损失函数或者代价函数来衡量机器学习的训练是一个不断求解最优化问题的过程最常见的优化算法是梯度下降法机器学习基础机器学习的学习方式监督学习无监督学习半监督学习强化学习学习带标签的数据，预测新数据的标签分类、回归学习无标签数据，从数据中发现规律降维、聚类将未标记数据与少量标记数据结合使用，同时利用监督学习的低歧义性与无监督学习对数据结构性特征的捕捉能力学习数据，并做出尝试获得反馈，得出最佳动作正确的决定会带来奖励，错误的决定会带来惩罚，直到最终彻底掌握问题的答案机器学习算法回归算法试图采用对误差的衡量来探索变量之间的关系的一类算法基于实例的算法根据某些近似性把新数据与样本数据进行比较，寻找最佳的匹配机器学习算法正则化方法根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚决策树算法根据数据属性采用树状结构建立决策模型，其常用于解决分类和回归问题机器学习算法贝叶斯算法基于贝叶斯定理的一类算法，主要用来解决分类和回归问题基于核的算法基于核的算法把输入数据映射到一个高阶的向量空间，有些分类或回归问题在高阶向量空间里能够更容易解决机器学习算法聚类算法按照中心点或分层的方式对输入数据进行归并。试图找到数据的内在结构，以便按照最大的共同点将数据进行归类关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则机器学习算法人工神经网络模拟生物神经网络，是一类模式匹配算法，通常用于解决分类和回归问题降低维度算法以非监督学习的方式试图利用较少的信息来归纳或者解释数据可以用于高维数据的可视化或者用来简化数据以便监督式学习使用机器学习算法集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来机器学习工具库Scikit-learn本章重点人工智能机器学习深度学习AI深度学习算法卷积神经网络基本运算单元包括：卷积运算、池化运算、全连接运算和识别运算权值共享网络结构降低了网络模型的复杂度，减少了权值的数量卷积网络是为识别二维形状而特殊设计的一个多层感知器，对平移、比例缩放、倾斜或者其它形式的变形具有高度不变性当前图像识别领域的热点算法深度学习算法循环神经网络在简单“输入层=>隐藏层=>输出层”的三层结构基础上多了一个闭环循环神经网络拥有记忆能力，通过W将以往的输入状态进行总结，而作为下次输入的辅助，h=f(现有的输入+过去记忆总结)

当前时间序列数据分析领域的热点算法深度学习算法生成式对抗网络让生成器G和判别器D这两个网络互相博弈，生成器从训练集数据中选取真实数据加入干扰噪音，产生新的训练样本，判别器通过与真实数据进行对比，判断数据的真实性近年来无监督学习中最具前景的方法之一，应用于数据生成、图像风格迁移、图像降噪修复、图像超分辨率等领域深度学习框架名称使用语言硬件支持开发者发布时间TheanoPythonCPU、GPU蒙特利尔大学2010TensorFlowC++、PythonCPU、GPUGoogle2015KerasPythonCPU、GPUFrancoisChollet2015MXNetC++、PythonCPU、GPU李沐等2014CNTKC++、PythonCPU、GPUMicrosoft2016Caffe/Caffe2C++、PythonCPU、GPU贾扬清2013PyTorchLua、PythonCPU、GPUFacebook2017结语第3章大数据概述主讲人：董泽蛟教授、博导本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术什么是“大数据”

大数据概念形成的标志性事件《科学》(Science)杂志专刊——Dealingwithdata第一次综合分析了大数据对人们生活的影响，详细描述了人类面临的“数据困境”麦肯锡研究院发布报告《BigData：Thenextfrontierforinnovation,competition,andproductivity》,第一次清晰地定义了大数据2008.092011.022011.05

大数据是指大小超过经典数据库系统收集、存储、管理和分析能力的数据集，是基于经典数据库的处理能力进行的定义。

大数据是规模庞大，结构复杂，难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集。

大数据是具有规模巨大、种类繁多、增长速度快和变化频繁的特征，且需要一个可扩展体系结构来有效存储、处理和分析的广泛的数据集。

给出了大数据“4V特征”的定义强调了大数据的数量、多样性、速度和真实性等方面，后来也引进数据价值，成为大数据的“5V特性”。美国《自然》(Nature)杂志专刊——TheNextGoogle第一次正式提出“大数据”概念大数据基本概念大数据（BigData）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。互联网每天产生的全部内容可以刻满6.4亿张DVD网民每天在Facbook上要花费234亿分钟，所产生的数据量高达44PB每天会有2.88万小时的视频上传到YouTube，够一个人昼夜不停地看3.3年Google每天要处理24PB的数据全球每秒发送290万封电子邮件，以1篇/min的速度够一个人昼夜不停地读5.5年Twitter上每天发布5000万条消息，以10s/条的速度够一个人昼夜不停地浏览16年世界每天产生大数据大数据基本概念大数据（BigData）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。符号名称容量符号名称容量B字节8BitPB拍字节1024TBKB千字节1024BEB艾字节1024PBMB兆字节1024KBZB泽字节1024EBGB吉字节1024MBYB尧字节1024ZBTB太字节1024GBBB-1024YB大数据分类按数据来源分机器产生的数据人类活动产生的数据按数据格式分结构化数据半结构化数据非结构化数据感知设备、计算机等网络日志、聊天记录等传统的关系型数据库等XML、HTML类，自描述，数据结构与内容混杂的数据文档、图片、视频、音频等数据的计量单位大数据发展历程萌芽期成熟期大规模应用

上世纪90年代至本世纪初2010年以后

大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。本世纪前十年

Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动大数据技术走向成熟，形成了并行计算与分布式系统两大核心技术。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。大数据的基本特征Veracity数据体量大5V

特征VolumeVelocityValueVariety真实有效性传输速度快数据种类多潜在价值高采集量大存储量大计算量大增长速度快处理速度快时效性要求高来源广维度多类型杂隐含知识价值高但价值密度低需要数据挖掘本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术大数据的发展动力需求的驱动数据量剧增储存成本下降运行计算能力提高人工智能发展新经济时代...需求数据资源数据处理和存储使机器理解数据数据资源分析应用数据来源计算方法应用空间“用数据说话”，“让数据发声”已然成为一种新的方法论（一）大数据成为推动经济转型发展的新动力（二）大数据成为重塑国家竞争优势的新机遇（三）大数据成为提升政府治理能力的新途径2015年9月，国务院印发《促进大数据发展行动纲要》系统部署大数据发展工作，指出数据已成为国家基础性战略资源，要坚持创新驱动发展，加快大数据部署，深化大数据应用。同时，也指出大数据的发展形势和重要意义。以国家战略应对大数据时代大数据的发展动力国家的发展战略大数据的价值核心价值在各应用领域价值1发现客户需求规律2解释现象发生原因3预测未来发展态势4提高科学决策水平5优化社会资源配置，激发商业模式创新天气实时预测医疗精准诊断改善生物基因量化农牧生产优化商业布局了解社会舆论改进社会服务...大数据的发展趋势大数据发展趋势可总结为“融合、跨界、基础、突破”。1.大力发展跨学科、跨领域交叉的数据分析应用;2.建立系统全面的大数据治理体系，如隐私保护、数据安全与共享管理机制等3.以开源为基础构建自主可控的大数据产业生态4.积极推动国际合作并筹划布局跨国数据共享机制互联网+物联网通信网车联网电视网连接泛在化......计算多元化机器学习数据挖掘流式计算批量计算量子计算......数据产业化工业大数据政府大数据商业大数据教育大数据科学大数据......应用智能化智慧城市智能家居智能制造智慧医疗智慧交通......创新生态化跨界融合创新产业协同创新技术集成创新......本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术数据采集从现实世界中采集的(非)结构化海量数据，对其进行清洗、过滤、校验、转换、集成，最后输入到数据仓库或数据集市数据存储与管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库等，实现对结构化、半结构化和非结构化海量数据的读取、分类、编码、存储、索引和查询数据处理与分析利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理与分析数据可视化与应用基于海量数据建立多维可视化图形，并进行交互处理与应用，深入洞察海量数据中隐藏的关键信息和规律大数据的关键技术大数据采集大数据采集与预处理是获取有效数据的重要途径，也是大数据应用的重要支撑。数据采集方法采集物理世界信息的传感器采集设备运行状态的日志文件采集互联网信息的网络爬虫外包和众包系统日志状态用户交互行为诊断系统错误发现用户偏好优化运行效率WEB初始化URL下载网页网页URL初始URL待访问URL已访问URL数据库数据采集工具ChukwaFlumeScribleKafkaCrowdsourcing-众包

一大群不固定的志愿者参与

Outsouring-外包

已知的雇员大数据管理Hadoop系统由Apache基金会所开发的，一种利用集群的方式进行高效数据存储、处理的一种分布式系统基础框架。数据采集数据储存与管理数据处理与分析数据应用Hadoop核心分布式存储HDFS分布式处理MapReduceHDFS分布式文件系统MapReduce分布式计算框架Hive数据仓库Pig数据流处理Mahout数据挖掘库Ambari（安装、部署、配置和管理工具）Zookeeper分布式协作服务HBase实时分布数据库SqoopETL工具Flume日志收集大数据管理分布式文件系统（DistributedFileSystem，DFS）文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。网络文件系统NetworkFileSystem,NFS通用并行文件系统GeneralParallelFileSystem,GPFSGoogle文件系统GoogleFileSystem,GFSHadoop分布式文件系统HadoopDistributedFileSystem,HDFS

HDFS特性：主从体系结构支持大文件储存容错能力强分块并行性流式数据访问可扩展性一致模型大数据管理HDFS分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，适合部署在廉价的机器上及超大数据集的应用程序，以提供高吞吐量访问应用程序的数据。

HDFS架构大数据管理关系数据库一种基于关系模型的数据库，常以行和列的二维表形式存储数据，具有易于读取、结构性好、独立性高、共享性好、冗余度小等特点。NoSQL数据库泛指非关系型的数据库，具有高扩展性、高读写性能、数据模型灵活及较好的容灾能力。关系数据库NoSQL键值数据库图数据库文档数据库CouchDBMongoDBRavenDBCouchbaseCloudant列式数据库BigTableHypertableHBaseCassandraRiakRedisBekeleyDBMembrainVoldemortInfinitedGraphNeo4JGraphDBOrientDBOldSQLTeradataNetezzaParAccelEMCCalpontSOLServerMySQLOracleIBMInfoSphere云数据库DatastoreAPPEngineSimpleDBNewSQLHandlerSocketMySQLClustrixAmazonRDSSQLAzureFathomDBXeroundDAkibanScaleBaseCodeFuturesSchoonerMySQL大数据分析大数据分析包括描述性分析、预测性分析和规范性分析。大数据计算模式包括批处理计算流计算图计算查询分析计算针对大规模数据的批量、离线处理针对流数据的实时计算针对大规模图结构数据的处理针对大规模数据的储存管理与查询分析图、表、数值等描述性分析预测未来事件发展趋势提供具体的应对措施MapReduce工作原理图大数据分析批量计算系统

一种面向大规模数据集（>1TB）并行处理的计算模型，具有可靠性、可扩展性、高容错等特点，适用于大规模、离线的算法图形处理、文字处理。数据切片Map计算产生中间结果Reduce计算产生最终结果数据应用中间结果交换大数据分析流式计算系统

一种针对具有实时性、易失性、突发性、无序性、无限性等特征的数据流进行实时处理及反馈的计算模型，适用于对信息时效性要求较高的场景。常见流式框架包括Storm,SparkStreaming,S4,Samza,Flink,Timestream。Storm基本概念：计算流程：大数据分析数据挖掘

从大量的数据中通过算法搜索隐藏于其中信息的过程，通常被视为数据库知识发现（KnowledgeDiscoveryInDatabase，KDD），后者包括从数据的预处理到数据挖掘结果的后处理等一系列过程。数据输入数据预处理结果分析展示数据挖掘实施过程数据挖掘流程数据挖掘算法：神经网络法分类决策树法遗传算法粗糙算法模糊算法关联规则法大数据可视化运用计算机图形学和图像处理技术，将大型数据集中的数据转换为图形或图像显示，并进行交互处理的理论、方法和技术。文本可视化时空数据可视化网络数据可视化高维数据可视化层次化数据可视化本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术大数据应用大数据主要应用于教育、交通、能源、医疗、金融等领域。智慧城市框架图大数据主要应用于教育、交通、能源、医疗、金融等领域。大数据应用建立患者电子病历，支持医院间信息共享和远程在线就诊，深度挖掘病例规律，实现精准治疗及健康预警。体现在旅游管理、旅游服务、旅游营销和旅游运营等层面，优化旅游资源和信息资源，并服务于公众、企业、政府等充分发挥市场监管、经济调节、社会管理和服务公众的职能，数据统筹助力决策参考，数据公开辅助政府监督。利用交通实时大数据进行人车交通行为预测、智能疏导、公共车辆管理、拥挤路段/时段的车辆调度。主讲人：董泽蛟教授、博导第4章云计算概述目录云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用大数据发展的推动数据量大（Volume）类型繁多（Variety）价值密度低（Value）速度快（Velocity）数据复杂（Complexity）无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。制造业交通运输生物医学物流行业IBM提出什么是大数据？大数据特征大数据应用环境技术/市场条件技术条件数据中心技术和WSC宽带网络普及化大规模分布式系统的成熟虚拟化技术开源软件带来一系列标准化推动云计算发展市场条件发展过程埃里克·施密特Google总裁起源1961年约翰·麦卡锡首次提出“网络即计算机”，为云计算概念前身。提出2006年埃里克·施密特在搜素引擎大会（SESSanJose2006）上首次提出“云计算”概念。云计算产生的五大契机约翰·麦卡锡图灵奖获得者VMWare公司成立并首次引入x86虚拟化技术贝尼奥夫离开Oracle，创建Salesforce，在网络端向客户提供软件服务Google发表学术论文详细论述OFS文件系统和MpaReduce框架亚马逊推出S3、EC2服务，开创IaaS服务先河Google、Microsoft、IBM推出云计算服务2004年1999年2005年2008年发展过程约翰·麦卡锡提出“效应计算”概念。电厂模式阶段MIT和DARPA下属信息处理技术办公室共同启动了“MAC”项目，开发“多人可同时使用的电脑系统”。效应计算阶段网格计算应用在商业模式、技术和安全性方面，但存在诸多问题，并未在工程、商业界取得成功。网格计算阶段虚拟化、WSC等技术以及互联网大规模应用、人工智能不断发展的多方面因素推动下，云计算迎来了前所未有的发展。云计算阶段云计算发展的四个阶段并行计算云计算网格计算集群计算云计算定义一个虚拟化的计算机资源池。托管多种不同的工作负载通过快速提供虚拟机器或物理机器，迅速部署和增加工作负载。以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务。“云—端计算”即“云”和终端都会具备很强的计算能力；所有应用程序都在本地终端上使用也不一定合理，因此强调“云”和终端的均衡将是一种合理的方式；云是“软件+服务”的综合。一种将规模可动态扩展的虚拟化资源通过Internet提供对外按需使用服务的计算模式，用户无需了解提供这种服务的底层基础设施，也无需去拥有和控制。“云计算”是一种可随时随地通过网络以便捷且按需付费的方式获取可配置计算资源（网络、服务器、存储、应用和服务等）的模式。权威机构关于云计算的定义云计算核心理念理念1：并行化理念2：虚拟化理念3：规模经济核心设计理念“云”内资源“云”外终端用户开放硬件平台，软件与硬件解耦；分布式设计，软件定义存储；IT建设转向互联网架构；动态调配、弹性伸缩、低成本、标准化硬件等；芯片、新介质取得突破，CPU、硬盘等性能大幅提升为IT架构水平化演进提供了技术支撑。不开放硬件平台，软件与硬件捆绑；烟囱式系统建设，IT成本高（硬件/能耗/管理）；建设周期长，无法快速提供与部署；每个系统按峰值规模建设，资源利用率低。传统IT建设云计算IT建设云计算基本框架图共享的资源池快速的伸缩性按需的自助服务泛在的网络访问可度量的服务混合云私有云公有云社区云软件即服务(SaaS)平台即服务(PaaS)基础设施即服务(IaaS)5个基本特征4种部署方式3种服务模式云计算基本理念1.共享的资源池2.快速的伸缩性3.按需的自助服务5.可度量的服务4.泛在的网络访问本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用云计算服务类型分类云计算服务提供商专注于自己所在层次，无需拥有三个层次服务能力，上层服务提供商可以利用下层云计算服务来实现自己计划提供的云计算服务。软件即服务SaaS（SoftwareasaService）平台即服务PaaS（PlatformasaService）基础设施即服务IaaS（InfrastructureasaService）应用层平台层基础设施层云计算服务：云计算是一种新的技术，也是一种新的服务模式。IaaSIaaS：把计算、存储、网络以及搭建应用环境所需的一些工具当成服务提供给用户，使得用户能够按需获取IT基础设施。低成本免维护伸缩性强支持应用广泛灵活迁移AmazonEc2IBMBlueCloudSunGrid优势PaaSPaaS：是一种分布式平台服务，为用户提供一个包括应用设计、应用开发、应用测试及应用托管的完整的计算机平台。优势友好的开发环境丰富的服务精细的管理和控制弹性强多租户机制整合率高FGoogleAppEngineWindowsAzureCloudFoundrySaaSSaaS：软件服务提供商为了满足用户的需求提供的软件计算能力。SaaS云服务提供商负责维护和管理云中的软件以及支撑硬件设施，同时免费提供服务或者以按需使用的方式向用户收费。优势GoogleAPPSSoftWare+Services使用简单支持公开协议成本低安全保障本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用公有云公有云：一种对公众开放的云服务，由云服务提供商运营，为最终用户提供各种IT资源，众多用户可在开放的共有网络中共用一个云服务器。优势劣势适用群体前期无需进行大量投资和建设价格低廉、使用便捷维护成本较低小微、创新型企业数据安全性较低流量峰值期易出现网络问题数据移动时费用较高私有云私有云：组织机构建设的专供自己使用的云平台，可部署在企业数据中心防火墙内，也可部署在一个安全主机托管场所。适用群体优势劣势支持动态灵活的基础设施，降低IT架构的复杂度，降低企业IT运营成本安全性及隐私性较高定制程度较高企业需要有大量的前期投资，需要采用传统的商业模型私有云的规模相对于公有云来说一般要小得多，无法充分发挥规模效应金融、电信、政府、能源、教育、交通等大中型企业社区云社区云：服务的用户是一个特定范围的群体，它既不是一个单位内部的，也不是一个完全公开的服务，而是介于两者之间。适用群体优势劣势便于统一管理及资源整合方便用户使用支持范围较小建设成本较高混合云混合云：由私有云及外部云提供商构建的混合云计算模式。使用混合云计算模式，机构可以在公有云上运行非核心应用程序，而在私有云上支持其核心程序以及内部敏感数据。使用场景优势劣势跨国灾备由于跨平台等导致兼容性较差后期维护成本较高混合云部署方式对提供者要求较高公有云、私有云相互独立又相互结合，发挥多种云计算模型优势企业可以在私有云的私密性和公有云的低廉之间做一定的权衡本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用云布局“让计算离用户更近“共有云全国布局“让内容离用户更近“阿里云CDN“离能源丰富的地方最近“微软海底数据中心“离寒冷的地方最近“谷歌芬兰数据中心云布局原则存储存储：一方面是虚拟内存的组成部分，另一方面也是软件、数据的存放场所。目前的技术已能够做到将存储与CPU分离，该技术带来很多好处，例如可以共享存储、计算机可以无状态、便于计算资源横向伸缩等。根据存储与CPU分离的程度外部存储直接存储分布式存储虚拟化虚拟化分类按虚拟平台角度完全虚拟化半虚拟化按实现结构分类宿主型Hypervisor型混合型按层次分类软件辅助虚拟化硬件支持虚拟化按应用领域分类服务器虚拟化存储虚拟化应用程序虚拟化平台虚拟化桌面虚拟化云计算资源配置应用效率物理实体机虚拟机①虚拟机②实体资源抽象化打破结构阻碍虚拟化优势集中化管理高硬件利用率动态资源配置高可靠性减少总体成本终端设备少虚拟化虚拟化在云计算应用领域分类①服务器虚拟化将物理资源抽象成逻辑资源，一台服务器变成多个虚拟服务器，将硬件转换为可动态管理的“资源池”，提高资源利用率，简化系统管理。②存储虚拟化将所有的存储模块在一个存储池中得到统一管理，为使用者提供大容量、高数据传输性能的存储系统。A类B类虚拟化分离解耦虚拟化在云计算应用领域分类桌面终端通过网络访问个人的桌面系统⑤平台虚拟化集成各种开发资源虚拟出一个面向开发人员的统一接口。分离解耦应用程序操作系统解决版本不兼容问题③应用程序虚拟化④桌面虚拟化负载均衡如何合理安排众多用户的需求？负载均衡技术需要解决的问题服务器承担较多的活跃桌面服务器消耗资源占比相等应用软件相同的桌面分配到同一服务器同一租户分配在同一服务器本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用园区云园区管委会主导并运营云端，通过光纤接入区内企业，企业内部配备云终端。应用云化后部署于云端，企业按需租用，降低成本。企业应用云移动办公云实现随时随地办公、应用部署快速更多精力投入核心业务。数据存储云规避诸多事故导致的企业数据丢失或泄密风险。电子商务云对内可以打通上下游企业的信息通路，降低成本；外形成统一的门户和宣传口径，避免内部恶意竞争。高性能计算云园区统一引入高性能计算云和3D打印设备，出租给需要的企业，从而加快产品迭代的步伐。医疗云以全民电子健康档案为基础，建立覆盖医疗卫生体系的信息共享平台，打破各个医疗机构信息孤岛现象，建立远程医疗系统，尤其使得很多缺医少药的农村受惠。有利于公共业务联动服务；有利于疾病预防与控制管理……公共卫生服务管理部门有利于提高医疗服务质量；有利于节省患者支出，缓解群众看病贵问题……医疗卫生服务机构有利于开展“六位一体”业务；有利于开展健康干预跟踪服务……社区卫生服务站能减少重复的检查检验开支；便于“移动”（如转院、跨地区等）治病……个人公民档案云全部纸质材料电子化后集中存放于云中，再辅以公民的指纹数据，并给每个公民发放一对独一无二的公/私钥，而且还可以纳入公民和企业的诚信信息、学历资料等。人口普查档案调动户口迁移诚信信息检索简历查询公共决策户口注册和注销交通云将车辆监控、路况监视、驾驶员行为习惯等错综复杂的信息，集中到云计算平台进行处理和分析，并推送到云终端，建立一套信息化、智能化、社会化的交通信息服务系统，使国家交通设施发挥最大效能。智慧公交无人驾驶其他云服务器联合起来，组成高性能计算集群，承载大型、特大型计算任务。科学计算建模与仿真工程模拟图形渲染具有人的智慧、情感和超强的运算速度，能学习、能推理、能和人类进行语言互动，科学研究基于其他云提供数据日常生活与工作习惯身心健康与疾病检测学习与饮食习惯影响高性能计算云高性能计算云第5章物联网概述主讲人：董泽蛟教授、博导本章重点物联网概念感知识别网络传输应用场景IOT什么是物联网？物联网：物联网（IoT，IntenetofThings）是通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。物联网的三层体系结构物联网体系构成感知层是物联网全面感知的基础物联网感知层感知层作用标识物体采集和捕获信息感知层实现方式RFID标签和读写器传感器网络和网关摄像头和监控GPS/北斗定位智能家居网关M2M终端和传感器感知层突破方向更敏感和更全面的感知能力解决小型化和低成本问题解决低功耗的问题无线&有线RFID读写M2M终端传感器网络摄像头GPS/北斗智能家居网关物联网体系构成网络层是物联网无处不在的前提物联网网络层网络层作用连接感知层和应用层当前最成熟的部分网络层主要层次接入网：无线/光纤各种类型的接入形式业务支撑：业务统一管理部署和运营支撑核心网：统一IP协议上的大宽带的可靠网络网络层突破方向扩展规模，以实现无处不在简化结构，上下层面融合业务可扩展的管理运营能力随时随地连接实现IP统一协议有效降低实现成本规模扩展带来IPv6的发展动力业务平台鉴权平台计费平台经营分析平台业务支撑平台提供终端和业务的通道和联动控制逻辑实现不同终端和业务统一管理、部署和扩展核心网络&业务网关统一IP协议的高效率的核心网络/设备/接口边缘业务控制实现业务感知、控制和策略转发接入网络无线接入：2G/3G/WLAN有线接入：光纤和铜线（xDSL）物联网体系构成应用层是物联网智能处理的核心物联网平台及应用层平台及应用层作用信息技术与行业专业技术结合应用层主要方向智能家居智慧城市智慧交通应用层突破方向信息技术与行业的深度融合基于云计算的应用整体架构信息社会化共享和安全保障实现广泛智能化应用的解决方案集合云计算是应用大规模部署关键智能电力智能通信服务智慧医疗云计算资源计算能力存储能力云计算业务SaaSPaaSlaaS物联网应用发展六大热点领域智慧交通智能医疗智慧城市智能通信服务物联网发展我国物联网发展趋势国家网信办发布《数字中国发展报告（2020年）》，“十四五”时期推动物联网全面发展，加快交通等传统基础设施的智能化升级，提升感知设施的资源共享和综合利用水平本章重点物联网概念感知识别网络传输应用场景IOT感知识别传感器：由敏感元件和转换元件组成，能感受被测量的信息，并按照一定的规律转换成可用输出信号的器件或装置。敏感元件传感器中能直接感受或响应被测量的部分是传感器的核心元件直接感受被测非电学量输出与被输出有确定对应关系的转换元件所能接受的其他物理量转换元件将对象特性和状态参数转换成可测定的电学量，然后将电学量分离出，送入传感器系统加以评测或标示转换元件可与敏感元件合为一体，如：热电偶传感器类型能量：有源传感器和无源传感器效应：物理传感器和化学传感器原理：电阻式传感器、电容式传感器、压电式传感器、光电式传感器等。感知识别传感器特性：静态特性和动态特性静态特性动态特性检测系统的输入为不随时间变化的恒定信号时,系统的输出与输入之间的关系线性度、灵敏度、迟滞、重复性、漂移、分辨力、阈值在输入是准动态信号或动态信号时，传感器的输出特性。在实际工作中，传感器的动态特性常用它对某些标准输入信号的响应来表示标准输入信号：阶跃信号和正弦信号传感器发展：1.

高精度、高量程、高灵敏度；2.微型化；3.智能化和数字化；4.低功耗和无源化。无线传输感知识别MEMS传感器：MEMS（MicroelectroMechanicalSyst