智慧城市交通行业大数据平台课件

智慧城市交通行业大数据平台技术创新

变革未来智慧城市交通行业大数据平台技术创新变革未来12城市交通大数据技术应用与发展09年开始建设交通行业数据中心，2014启动大数据基础设施建设基础设施可视化数据应用2城市交通大数据技术应用与发展09年开始建设交通行业数据中23基础平台Step1（十一五）Step2（十二五）Step3（十三五）数据采集和存储数据管理与应用平台化数据服务09年北京探索建设交通行业数据中心，实现从无到有突破以关系型数据库为主数据接入与共享梳理信息资源元数据标准形成初步资源管理平台升级行业数据中心为交通行业大数据中心大数据存储与计算智能动态监测与管理规范化管理体系（ISO20000）初步的数据服务和定制服务全面打造开放数据服务平台，数据开放共享不再以“搬家式”为主，更强调以服务的形式数据服务开放平台定制可视化平台3

.

信息服务资源平台3基础平台Step1（十一五）Step2（十二五）Step334交通行业大数据中心建设交通行业大数据中心高技术、强管理、重服务！以接入、管理和应用大数据为主；存储方式更多样化；处理和存储能力达到较高水平；更强调数据应用与服务；数据中心发展的目标以技术和管理为基础，以服务为核心！4交通行业大数据中心建设交通行业大数据中心以接入、管理和应用45基础平台服务创新资源目录定制化服务大数据处理平台信息服务资源发布管理创新可视化管理与监测全流程规范化管理技术创新集约化大数据中心整体框架、分布式数据存储与处理平台5基础平台服务创新资源目录管理创新可视化管理与监测技术创新集56基础平台-技术创新结合主流技术架构打造交通行业大数据中心框架，构建大数据存储、大数据计算、共享交换、应用服务和管理支撑五大平台。截止目前共接入业务系统41个，数据量40T，处理速度可达3.3亿条/5分钟，日接入量26G。6基础平台-技术创新结合主流技术架构打造交通行业大数据中心框67虚拟化平台对前置器、中间库、处理服务器进行虚拟化管理提高服务器利用率和管理精细化水平；SAN存储网络安全管理域VCENTER互联网域集群4

ESXI主机559G

内存100GHz

CPU外部应用域集群4

ESXI主机575G

内存165GHz

CPU外部数据域集群3

ESXI主机487G

内存108GHz

CPU共享交换域集群2

ESXI主机127G

内存50GHz

CPU内部应用域集群5

ESXI主机319G

内存159GHz

CPU内部数据域集群3

ESXI主机190G

内存95GHz

CPU7虚拟化平台对前置器、中间库精细化水平；SAN存储网络安全管78数据存储EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁带库交互区存储0-1年数据整合区存储0-3年数据近线区存储3-10年数据归档区存储大于10年数据存储池业务库历史库备份库数据生命周期创新数据存贮管理技术应用，一是历史库与业务库二元模式，对存储进行合理划分和功能定位；二是，实现数据的分级及周期管理，实现存储介质的池化管理，最大化利用空间资源；三是实现对关系数据库数据和文件数据的统筹管理，根据数据应用特点选择合理的存储方式。8数据存储EMC-1（高速）HDS（高速）25TEMC-2（89技术创新之分布式处理平台分布式处理技术创新，基于开源平台在数据安全、故障恢复、性能优化、中间件和工具、平台化服务。9技术创新之分布式处理平台分布式处理910管理创新之可视化监测管理10管理创新之可视化监测管理1011管理创新之规范化全流程管理线下审批流程与运维考核建立规范化流程,每年完成批办50余项，形成巡检报告300余篇，平均处理故障125个！并于2014年4月通过获得ISO20000认证，同年12月规范化管理软件平台投入试运行，实现线上线下全流程管理。线上规范化流程11管理创新之规范化全流程管理线下审批流程与运维考核建立规范1112基础平台-服务创新结构定制权限发布资源识别智能检索配置向导信息展示数据报表定制分析图表定制在线分析定制科学数据下载服务页面定制发布权限定制业务规则定制大数据综合查询流程实例介绍API二次开发数据处理集群环境管理信息服务管理权限配置服务发布AK

密钥申请API

样例说明SDK

下载定制化服务大数据开放平台数据资源目录信息服务发布12基础平台-服务创新结构定制数据报表定制大数据综合查询信息1213城市交通大数据技术应用与发展围绕交通监测与信息服务，致力于大数据处理与应用技术研究基础设施可视化数据应用13城市交通大数据技术应用与发展围绕交通监测与信息服务，致1314处理应用案例分享-出租车出租行业数据计算主要涉及GPS数据、交易数据、司机合同数据、审批数据、电召数据等，总数据量1.1~1.2亿条/天，存储量约17-20G/天。这些数据主要用于计算运营指标（50余项字段）、设备完好率、小时出车率、重点区域小时出车数量、电召日均订单数量等，主要服务于行业考核、监管与监测。计算能力得到提升：计算33亿条出租车数据，计算耗时由原来20小时缩短到20分钟，提高60倍。14处理应用案例分享-出租车出租行业数据计算主要涉及GPS数1415处理应用案例分享—地面公交地面公交数据与地理信息数据在线匹配

实时计算公交走廊运行速度、预测公交到站时间和预测公交客流分布；基于稳态理论的信号交叉口均衡延误模型、速度缺失路段填补算法，实现对每个路口、路段的预测预报，提高信息的准确度。15处理应用案例分享—地面公交地面公交数据与地理信息数据在线1516处理应用--移动信令技术研究基于移动终端定位数据的居民出行调查方法，处理每日数据总量100G的移动信令数据。完成居民出行OD、出行时空分布分析，实现居民出行行为的自动、及时、准确获取，为交通政策制定、交通规划、设计和管理等提供数据支持和决策依据。16处理应用--移动信令技术研究基于移动终端定位数据的居民出1617城市交通大数据技术应用与发展依托交通行业大数据中心，打造交通映像平台，让数据会说话基础设施可视化数据应用17城市交通大数据技术应用与发展依托交通行业大数据中基础设施1718数据可视化将大数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。直观化：直观形象地呈现数据关联化：挖掘、突出呈现数据之间的关联艺术化

:

增强数据呈现的艺术效果交互性：实现用户与数据的交互，增强用户对数据的控制18数据可视化将大数据以图形图像形式表示，并利用数据分析和开1819数据可视化D3.JS+R语言+Google

Charts+ProcessingOD分布图公交路网路况轨道换乘图轨道客流分布出租汽车热点图在数据空间中描绘城市交通出租数据+地铁客流分布数据+地面公交分布数据+手机信令与OD数据+省级客运实名制客流19数据可视化D3.JS+R语言+GoogleCharts1920创新在省际客运量分布、公