交通大数据平台概述相关两份资料

交通大数据平台概述一、发展背景二、现状与需求分析三、综合交通运输大数据总体思路四、综合交通运输大数据建设内容1、发展政策汇总2、政策解读3、大数据建设部门4、大数据建设的必要性目录12月12日，交通运输部关于印发《推进综合交通运输大数据发展行动纲要（2020—2025年）。9月19日，中共中央国务院印发《交通强国建设纲要》。2015年09月05日，国务院关于印发促进大数据发展行动纲要的通知（国发〔2015〕50号）2017年1月17日，工业和信息化部关于印发《大数据产业发展规划（2016－2020年）》的通知2019年7月25日，交通运输部关于印发《数字交通发展规划纲要》的通知2019年9月19日，中共中央国务院印发《交通强国建设纲要》2019年12月12日，交通运输部关于印发《推进综合交通运输大数据发展行动纲要（2020—2025年）》的通知1、发展政策汇总政

策日期交通运输部《推进综合交通运输大数据发展行动纲要（2020—2025年）》2019.12中共中央国务院《交通强国建设纲要》2019.9交通运输部《数字交通发展规划纲要》2019.7交通运输部、国家旅游局《关于加快推进交通旅游服务大数据应用试点工作的通知》2018.3工业和信息化部《大数据产业发展规划（2016－2020年）》2017.1国家发改委《关于组织实施促进大数据发展重大工程的通知》2016.1国务院《促进大数据发展行动纲要》2015.9国务院《关于积极推进“互联网+”行动的指导意见》2015.71、发展政策汇总2、政策解读中共中央国务院《交通强国建设纲要》主要建设任务《交通强国建设纲要》建设任务

一、基础设施布局完善、立体互联（一）建设现代化高质量综合立体交通网络（二）构建便捷顺畅的城市（群）交通网（三）形成广覆盖的农村交通基础设施网（四）构筑多层级、一体化的交通枢纽体系二、交通装备先进适用、完备可控（一）加强新型载运工具研发（二）加强特种装备研发（三）推进装备技术升级三、运输服务便捷舒适、经济高效（一）推进出行服务快速化、便捷化（二）打造绿色高效的现代物流系统（三）加速新业态新模式发展三、运输服务便捷舒适、经济高效（一）推进出行服务快速化、便捷化（二）打造绿色高效的现代物流系统（三）加速新业态新模式发展四、科技创新富有活力、智慧引领（一）强化前沿关键科技研发（二）大力发展智慧交通（三）完善科技创新机制五、安全保障完善可靠、反应快速（一）提升本质安全水平（二）完善交通安全生产体系（三）强化交通应急救援能力六、绿色发展节约集约、低碳环保（一）促进资源节约集约利用（二）强化节能减排和污染防治（三）强化交通生态环境保护修复七、开放合作面向全球、互利共赢（一）构建互联互通、面向全球的交通网络（二）加大对外开放力度（三）深化交通国际合作八、人才队伍精良专业、创新奉献（一）培育高水平交通科技人才（二）打造素质优良的交通劳动者大军（三）建设高素质专业化交通干部队伍九、完善治理体系，提升治理能力（一）深化行业改革（二）优化营商环境（三）扩大社会参与（四）培育交通文明2、政策解读《数字交通发展规划纲要》建设七个体系一、构建数字化的采集体系推动交通基础设施全要素、全周期数字化布局重要节点的全方位交通感知网络推动载运工具、作业装备智能化二、构建网络化的传输体系推动交通运输基础设施与信息基础设施一体化建设，促进交通专网与天网、公网深度融合，推进车联网、5G、卫星通信信息网络等部署应用，完善全国高速公路通信信息网络，形成多网融合的交通信息通信网络，提供广覆盖、低时延、高可靠、大带宽的网络通信服务。

三、构建智能化的应用体系打造数字化出行助手推动物流全程数字化推动行业治理现代化四、培育产业生态体系聚焦基础设施和载运工具数字化的关键环节与核心技术，鼓励优势企业整合电子、软件、通信、卫星、装备制造、信息服务等领域资源，构建强强联合、优势互补、高效适配的协同创新体系。加快北斗导航、卫星通信、高分辨率对地观测等技术行业应用。五、健全网络和数据安全体系贯彻落实《中华人民共和国网络安全法》以及国家关于数据安全的要求，落实各级交通运输管理部门及相关机构的网络安全职责，健全信息通报、监测预警、应急处置、预案管理等工作机制，建立专家库。落实网络安全等级保护制度，确保各级安全防护合规达标。六、完善标准体系加快完善面向数字交通应用的交通基础设施工程建设标准。按照交通运输信息化标准体系，持续完善相关标准。加快自动驾驶国家及行业标准体系建设，完善生产制造、测试评价、网络安全、数据共享、运行使用等标准。七、完善支撑保障体系营造发展环境多渠道筹措资金促进创新应用加强人才支持2、政策解读交通运输部《推进综合交通运输大数据发展行动纲要》主要内容把握一条主线，关注四个重点，实施五大行动，加强四个保障新的发展共识——“一条主线”。推进综合交通运输大数据发展已经成为新时代交通运输信息化发展的核心内容。新的发展特征——“四个重点”：（一）统筹推进、（二）加强采集、（三）充分汇聚、（四）综合应用”。怎么推进？——“五大行动”行动一：夯实大数据发展基础行动二：深入推进大数据共享开放行动三：全面推动大数据创新应用行动四：加强大数据安全保障行动五：完善大数据管理体系如何做好？——四个保障：（一）加强组织领导。（二）加强队伍建设。（三）加强经费保障。（四）加强效果评估。

2、政策解读交通运输部《推进综合交通运输大数据发展行动纲要》主要工作任务（一）夯实大数据发展基础1.完善标准规范2.强化数据采集3.加强技术研发应用（二）深入推进大数据共享开放4.完善信息资源目录体系5.全面构建政务大数据6.推动行业数字化转型7.稳步开放公共信息资源8.引导大数据开放创新（三）全面推动大数据创新应用9.构建综合性大数据分析技术模型10.加强在服务国家战略中的应用11.提升安全生产监测预警能力12.推动应急管理综合应用13.加强信用监管14.加快推动“互联网+监管”15.深化政务服务“一网通办”16.促进出行服务创新应用17.推动货运物流数字化发展（四）加强大数据安全保障18.完善数据安全保障措施19.保障国家关键数据安全（五）完善大数据管理体系20.推动管理体制改革21.完善技术管理体系分类图例基础研究应用系统大数据支撑管理体制3、大数据建设部门市交通运输局是市人民政府主管全市交通行业的职能部门。下属市港航管理（地方海事）局、公路管理局、道路运输管理处和市地方公路管理处。行使全市水上交通港政管理、运政管理、海事管理、航道管理和船舶检验五项职能。市交通运输局运政管理客运管理货运管理驾校管理汽车维修管理运输服务证照管理运政执法运政信息管理行政办公路政管理公路规划公路改建和养护依法维护路产路权征收汽车轮渡渡运费港航海事交通港政管理运政管理海事管理航道管理船舶检验内设机构办公室工程管理和质量监督科财务审计科法律和运输管理科纪委（监察室）行政审批科

强化综合交通运输运行监测和行业监管能力的需要

提升交通运输行业服务水平的需要

实现城市交通运输可持续发展的迫切需要推动综合交通运输行业数字化转型的需要实现基于交通大数据的辅助决策的需要4、大数据建设的必要性目录一、发展背景二、现状与需求分析三、综合交通运输大数据总体思路四、综合交通运输大数据建设内容1、交通运输信息化现状2、大数据产业发展现状3、现状问题分析4、大数据需求分析1、交通运输信息化现状近年来，交通运输行业经过努力已经不同程度地建立交通运输信息化系统。TOCC平台应急指挥平台信息服务平台公路养护管理系统公路路政管理系统公路运输管理系统海事管理系统视频监视系统行政执法系统物流信息服务系统办公系统移动应用系统2、大数据产业发展现状大数据产业构建可分为6个层次，分别为：硬件设施、基础服务、数据来源、技术开发、融合应用及产业支撑。产业结构简

介硬件设施采集设备传感器、采集器、读写器、交互设备等传输设备光电传输设备、微波通信设备等计算存储芯片、服务器、路由器、交换机、防火墙、入侵检测防护设备、一体机等设计集成硬件设备及附带软件的设计、安装、调试等基础服务网络服务电信运营、商业WIFI、网络运维等云平台服务数据中心：基础设施即服务IaaS托管、租用等；云服务：平台即服务PaaS、软件即服务SaaS等系统开发架构设计、系统集成、软件定制等数据来源/政府数据、行业数据、企业数据、物联网数据、通信数据、互联网数据、第三方数据技术开发数据管理数据集成：中间件、数据库等。数据清洗：数据填充、光滑噪声等；数据规约：维度规约、数值规约等技术研究基础研究：高性能计算、数据可视化、物联网、5G、人工智能、机器学习、深度学习等；应用研究：图像、文本、视频、语音、空间地理、社交等信息安全数据监管、数据加密、脱敏脱密、数据认证等融合应用/工业、农业、政府、医疗、金融、电信、电商等行业需求相关的整体解决方案产业支撑/数据评估中心、数据交易中心、科研机构、行业联盟、咨询机构、论坛会展、融资平台、孵化机构等2840.83549.84384.55386.26605.88070.625.0%23.5%22.8%22.6%22.2%21%21%26%25%25%24%24%23%23%22%22%01000200030004000500060007000800020162017 2018 2019E中国大数据产业规模（亿元）2020E2021E同比增长（%）华北27.6中南26.2华东20.1东北6.1西北6.12016-2021年中国大数据产业规模（单位：亿元，%） 2018年中国大数据产业区域分布情况（单位：%）9000西南14.22、大数据产业发展现状2015年8月，国务院颁布《促进大数据发展行动纲要》，大数据正式上升为国家发展战略。2016年，工信部印发了《大数据产业发展规划（2016-2020年）》，全国引来大数据产业建设高峰，目前已形成八大大数据综合试验区，建成100多个大数据产业园。2018年中国大数据产业规模为4384.5亿元，同比增长23.5%；到2021年，中国大数据产业规模将超过8000亿元。从企业业务布局来看，大数据产业主要集中在华北、华东及中南地区。3.现状问题分析1、在行业大数据规划方面，缺少整体规划和顶层设计。公路、铁路、航空、航运等各个单一数据应用较多，综合交通大数据缺少整体的规划和顶层设计。亟需加大对多源、多态、多维度大数据的整合和共享。2、在行业大数据治理的观念方面，认识不够。对数据的使用还存在不敢用、不能用的问题。由于缺乏统一的数据治理体系，在数据采集、存储、处理等环节可能存在不科学、不规范等问题，导致错误数据、异常数据、缺失数据产生，无法确保数据的完整性和准确性。导致海量数据散落在不同的信息系统中，由于各系统数据接口不统一，不同机构的数据难以互联互通，严重阻碍数据开放共享，导致数据资产相互割裂、自成体系。3、数据质量不高，数据不好用，不能用。数据质量不高，标准化程度低，数据不好用，不能用。4、大数据标准不完备，难以形成协同共享的局面。由于业务种类多样，各业务部门往往数据采集标准不一、统计口径各异，同一数据源在不同部门的表述可能完全不同，看似相同的数据实际含义也可能大相径庭，数据一致性难以保障。用户需求宏观决策：交通管理、协同应急、资源共享公共服务：整合交通行业数据资源、为企业、公众，提供精细人性化服务。管理范围：公交、出租、客运、停车、驾培，维修，水运，公路等行业领域管理需求：运行情况（设施、运载工具）、客货运信息、从业人员、企业、信息服务属性特征：监管对象、服务提供者自身需求：政策法规、行政资格办理简单快捷、调度管理、协同发展（降本增效）服务多源化：出行前规划、出行中引导、个性化服务多样服务精准化：提升信息质量，以认同感为核心交通主管部门行业管理部门从业企业社会公众4、大数据需求分析业务需求信息资源整合与管理，实现交通信息共享；完善城乡公路监测设备，加强行业监管能力；加强公路服务水平，提高公众信息服务。覆盖全市交通运输行业的信息资源整合和管理；完善对客货运车辆的监管；提高全市运输行业安全性能，提升应急保障能力。基础设施建设：建设基于电子海图的基础设施系统；监测管理：对所管辖的航道和渡口实现全面的监测管理。公路业务运营业务港航业务4、大数据需求分析功能需求4、大数据需求分析运行监测预警的服务需求安全生产监管与安全应急服务需求运营车、船运行状况监控和应急需求危险品运输监控与应急需求公众信息服务需求大数据分析与辅助决策需求数据需求4、大数据需求分析民航客运铁路客运道路客运停车公共自行车出租汽车地面公交轨道交通社会资源货物运输维修驾培交通大数据交通参与者运载工具交通设施交通环境水路客运公路城市道路接入接入道路交通、轨道交通、民航客运、铁路客运、公安交警、高速公路视频等信息化程度较高的交通要素信息整合整合公交、出租、“两客一危”、维修、驾培、自行车等已有信息系统的交通要素信息，建立和完善数据标准融合融合百度、腾讯、阿里等互联网企业及通信运营商出行数据资源，强化交通出行服务能力目录一、发展背景二、现状与需求分析三、综合交通运输大数据总体思路四、综合交通运输大数据建设内容1、发展目标2、建设任务3、技术路线4、系统总体架构5、项目建设工程界面1、发展目标总体目标综合交通运输大数据标准体系更加完善，基础设施、运载工具等成规模、成体系的大数据集基本建成。政务大数据有效支撑综合交通运输体系建设，交通运输行业数字化水平显著提升。综合交通运输信息资源深入共享开放。大数据在综合交通运输各业务领域应用更加广泛。大数据安全得到有力保障。符合新时代信息化发展规律的大数据体制机制取得突破。综合交通大数据中心体系基本构建，为加快建设交通强国，助力数字经济勃兴提供坚强支撑。具体目标（一）夯实大数据发展基础（二）深入推进大数据共享开放（三）全面推动大数据创新应用（四）加强大数据安全保障2、建设任务建设内容一个大数据中心平台综合交通大数据中心三个大数据应用平台大数据运行监测和行业监管大数据交通服务大数据决策支持N个大数据创新应用系统安全生产监测预警交通运输应急管理交通信用监管“互联网+监管”系统政务服务“一网通办”出行服务创新货运物流数字化交通政策辅助决策交通运输网络规划交通运输系统评价……一套支撑支撑软件系统计算、存储支撑网络支撑

大数据安全支撑3、技术路线现状调查综合交通运输发展情况交通运输信息化发展现状大数据应用现状需求分析用户需求业务需求功能需求非功能需求顶层设计发展目标建设任务总体架构网络架构工程界面应用系统设计大数据运行监测和行业监管大数据交通服务大数据决策支持大数据平台设计大数据基础平台系统数据资源管理系统数据采集与交换共享系统数据运行监控系统标准规范体系设计基础数据技术平台/工具管理安全和隐私行业应用项目实施规划实施组织机构实施进度计划人才培训计划4、系统总体架构总体架构大数据治理及共享交换源数据大数据技术大数据应用大数据存储Map-ReduceSparkPhoenixHBASEHive大数据计算SQL计算流计算图计算大数据分析挖掘指标计算模型指标参数优化数据模型挖掘模型机器学习综合交通运输大数据创新应用行业辅助监管安全生产监测预警能力应急管理综合应用交通信用监管“互联网+监管”大数据信息服务政务服务“一网通办”出行服务创新货运物流数字化大数据决策支持交通运输政策辅助决策交通运输网络规划交通运输系统评价大数据治理数据采集数据清洗元数据管理资源审核资源目录管理数据安全管理结构化数据电子航道图数据航道数据航道设施数据航道维护数据航标维护数据…非结构化数据视频监测数据图像数据综合交通运输大数据标准体系综合交通运输大数据安全体系数据工厂数据API数据模型大数据共享交换交换管理数据溯源质量规则数据分发数据转换其他部门共享交换数据AIS数据VTS数据水文数据能耗数据工程界面与系统接口综合交通运输大数据平台省交通运输厅公安交警运营企业运营车辆交通运输状态、交通运输管理信息运营企业信息车辆信息交通、车辆、驾驶员信息5、项目建设工程界面行业监管系统视频监控系统行政执法系统统计分析系统综合办公平台交通运输部车辆、驾驶员信息视频信息测量信息视频信息决策、指令信息运行监测系统行业信息……

其他信息出行者状态市政务网目录一、发展背景二、现状与需求分析三、综合交通运输大数据总体思路四、综合交通运输大数据建设内容1、综合交通大数据资源2、综合交通大数据平台3、大数据应用系统1、综合交通大数据资源规划综合交通运输大数据来源综合交通运输大数据交通运输局运政数据客运数据货运数据驾校管理数据汽车维修数据运输服务数据证照管理数据运政执法数据运政信息路政数据公路规划公路养护路产路权数据港航海事数据港政管理运政管理海事管理航道管理船舶检验铁路局规划政策规划路网规划运输客运数据货运数据民航局规划政策规划路网规划运输客运数据货运数据1、综合交通大数据资源规划综合交通运输大数据来源（运政部分）序号数据分类数据内容数据来源采集方式更新频率数据采集可行性分析1道路空间地理数据道路路网GIS空间数据和属性数据、道路属性基础数据：道路名称、等级、区间、长度、宽度、最大载重量、设计年限等；主要桥梁、隧道、涵洞的位置、长度、限重、通过资费等交通运输局数据交换平台每年一次依托交通运输局现有道路数据库，通过人工补充采集道路详细属性数据2道路运输车辆基础数据车辆基本信息，车辆营运资质信息（经营许可、年审）、信息及通信设备（卫星定位、电子标签、车载视频）等信息交通运输局数据交换平台每月一次从交通运输局现有数据库导入3道路运输从业企业基础数据业户基本信息，经营资质、信用评价等信息交通运输局数据交换平台每月一次从交通运输局现有数据库导入4道路运输从业人员基础数据从业人员基本信息，专业技术证书、从业资格及认证、教育培训、考试、信用评价等信息交通运输局数据交换平台/人工录入每月一次从交通运输局现有数据库导入5道路运输经营线路基础数据客运线路、班次信息交通运输局数据交换平台每月一次从交通运输局现有数据库导入6道路运输场站基础数据客运场站信息、货运场站信息交通运输局数据交换平台每月一次从交通运输局现有数据库导入7应急资源数据应急管理机构、应急物资、应急人员等信息交通运输局数据交换平台/人工录入每年一次从交通运输局现有数据库导入8动态路况数据道路拥堵信息、交通管制信息、施工养护信息、紧急突发事件信息、主要国、省、县观测站交通量信息交通运输局数据交换平台/直接使用实时从交通运输局现有数据库导入9路网视频监控信息约80处重点地区自有视频监控数据交通运输局直接使用/数据交换平台实时约80处自有监控可使用10道路运输运行监测数据客运场站、货运场站运行数据，视频监控数据、道路运输车辆动态数据交通运输局数据交换平台/直接使用实时约80处自有监控可使用11行政办公数据公文信息、人员信息、后勤信息等交通运输局数据交换平台/人工录入每天一次通过本次工程建设获取，可采集12投诉数据投诉信息、投诉电话信息交通运输局数据交换平台/人工录入实时从交通运输局现有数据库导入综合交通运输大数据动、静态分类综合交通运输大数据结构化分类1、综合交通大数据资源规划结构化数据交通检测数据ETC费数据GPS数据手机信令数据互联网众包数据出行者数据车辆数据道路网数据公交线路数据停车场数据交通调查数据售票数据……半结构化数据交通新闻报道事件报警舆情数据……非机构化数据视频图片音频……动态数据交通检测数据视频数据ETC数据GPS数据手机信令数据互联网众包数据车路协同数据交通事件数据售票数据……静态数据出行者基础数据车辆基础数据道路网数据公交线路数据停车场数据交通调查数据……2.综合交通大数据平台大数据基础平台总体框架2.综合交通大数据平台大数据基础平台系统大数据基础平台用于存储应用系统与基础数据，相对于传统的数据库，大数据平台因其对海量数据的存储与计算优势，与分布式架构的可扩展性，更符合绿色货运配送运行监测服务平台的需求。大数据基础平台实时计算结构化非结构化数据存储消息队列NoSQL文件管理系统系统运行管理大数据基础平台架构2.综合交通大数据平台数据资源管理系统数据资源管理平台作为本项目数据与信息资源的枢纽，对上为多个应用系统提供数据资源管理服务，对下为数据供给方（数据源）和数据需求方提供管理平台，是整个数据资源体系的轴心。数据资源管理平台数据资源注册数据资源编目数据资源目录查询数据资源审核数据资源发布数据资源共享数据资源浏览目录维护用户权限管理与分配接口定义2.综合交通大数据平台数据采集与交换共享系统数据交换平台各交换节点各自负责部门内纵向信息汇聚与分发，通过数据交换平台实现交通管理、控制、服务各个应用平台的多部门、多平台的数据共享与交换。数据采集与交换共享平台数据来源分析数据对接配置数据交换组件数据传输方式数据传输协议用户权限管理与分配协议对接：车载终端数据交换静态数据接口：企业信息车辆信息从业者基础信息场站信息驾培信息数据交换动态数据接口：GNSS定位信息过车图片信息视频监控信息交通舆情信息数据交换交通信息数据接口：管控信息接口交通舆情信息接口车辆停车位接口道路交通流量接口2.综合交通大数据平台数据运行监控系统数据运行监控平台平台汇集了来自多个单位、企业、车辆、个人的动态、静态数据,平台通过数据监控与管理掌握数据服务质量，实现数据质量的提升，更好的服务于运行监测服务平台。数据运行监控平台数据传输监控对数据流量和状态的查询、统计与审计对信息交换平台自身运行状态的查询和监控对信息交换平台的远程监控数据传输监控交换系统整体交换状态的实时监控与状态查询前置机状态进行监控与管理运行日志监控交换状态和任务阶段的实时监控2.综合交通大数据平台大数据可视化界面遵循双屏画面布局设计，分为4类主要区域。地图展示区：包含和界面相关的地图展示。综合云图地图主要有城市客流、安全监测、出行热力三个图层组成。指标展示区采用模块化设计，指标以不同颜色突出显示。以动态实时类指标为主，以折线图、饼状图、数字等方式显示用户关注的重要指标。图层控制区：右上角，通过点击切换不同图层。菜单切换区：在页眉上方，通过点击或悬浮下拉展示所有云图图标，点击图标切换不同主题界面。地图展示区图层控制区指标展示区A指标展示区B菜单切换区3、大数据应用系统大数据应用功能架构综合交通运输大数据创新应用大数据运行监测和行业监管安全生产监测预警重点营运车辆监测超限车辆监测重点船舶及水域监测重点建设工程监测客运码头监测危险货物港口装卸存储设施监测铁路运输监测民航运行监测交通运输应急管理综合交通运输运行动态信息分析应急资源管理应急处置和指挥调度应急评估交通信用监管信用舆情监测信用风险预警信用指数分析“互联网+监管”交通综合执法业务流程数字化“互联网+监管”系统大数据交通服务政务服务“一网通办”电子证照信息共享“一窗式”业务办理政务服务数据分析和展示新型出行服务出行即服务（MaaS）交通旅游服务定制公交货运物流数字化多式联运信息平台快件数据监测道路货运行业运行监测分析智能航运大数据决策支持交通政策辅助决策交通运输需求管理交通发展政策评估交通建设项目排序公交补贴政策运价辅助决策交通运输网络规划交通运输网络规划交通运输枢纽规划公交线路规划多式联运线路规划交通运输系统评价交通运输系统运营评估交通态势研判交通安全生产评价绿色交通评价3、大数据应用系统功能清单序号系统/子系统/模块功能描述1运行监测与行业监管基于大数据的综合交通运输全流程监管，实现重点营运车辆、超限车辆、重点船舶及水域、重点建设工程、客运码头、危险货物港口装卸存储设施以及铁路运输、民航运行等重点领域安全生产风险的监测预警和重大风险的防范化解。利用大数据研究推进综合交通运输信用舆情监测、信用风险预警、信用指数分析等。通过大数据实现行政检查、行政处罚及行政强制全过程的数字化。1.1安全生产监测预警通过对安全生产元素的全面透彻的感知，对安全生产数据和信息的全面互联互通，对安全生产隐患和事故的智能化处置，实现对安全生产领域中的不安全行为、不安全状态和不安全环境，迅速、灵活和正确的预测和解决的创新管理模式。1.2交通运输应急管理通过对全市各种交通运输方式的监测，对各种应急事件进行预警，主要包括：事态评估子系统、应急处置子系统、调度指挥子系统、应急资源管理子系统。1.3交通信用监管将征信的发展与交通行业相互融合，通过构建考虑交通大数据的征信模型来达到既发展交通行业又发展征信行业的目标，形成双方共赢的局面。1.4“互联网+监管”优化综合执法业务流程，推动实现行政检查、行政处罚及行政强制等执法活动全过程数字化。加快建立交通运输“互联网+监管”系统，实现与国家“互联网+监管”系统对接，为实现综合监管、智慧监管提供支撑。2大数据交通服务利用大数据实现交通运输的高效服务，实现政务服务“一网通办”、出行服务创新、物流信息服务智能化。2.1政务服务“一网通办”依托一体化在线政务服务平台，深入推进交通运输政务服务“一网通办”。推动电子证照信息共享，逐步实现统一身份认证、统一电子印章和统一电子归档。2.2出行服务创新以数据衔接出行需求与服务资源，鼓励各类市场主体培育“出行即服务（MaaS）”新模式。促进交通旅游服务大数据创新应用。利用大数据分析评价道路客运、公共汽电车、出租汽车、汽车分时租赁等领域新老业态发展特征，推动新老业态动能转化和融合发展。2.3货运物流数字化推动交通运输物流公共信息平台、多式联运公共信息系统、网络货运平台等建设。完善全国快件数据监测体系，为全程可跟踪、可追溯的“一站式”快递服务提供数据支撑。3大数据决策支持综合运用跨行业、跨层级交通运输大数据集，研究建立具有较强应用价值的综合性、全局性大数据分析模型，形成一系列易理解、有结论、实用性和权威性较强的大数据分析成果，有效支撑综合交通运输决策管理与服务。3.1交通政策辅助决策通过融合空间位置地理信息、社会活动信息数据、客货运数据、个人行为数据在内等多源数据挖掘城市交通供需关系变化对包括交通运输需求管理、交通发展政策评估、交通建设项目排序、公交补贴政策、运价辅助决策在内等多项政策进行决策支撑。3.2交通运输网络规划通过采集包括公交刷卡数据、手机信令数据在内数据，通过全样本数据基于研究对象细分组群，实现对交通运输网络、交通运输枢纽、公交线路、多式联运线路等的精细化规划。3.3交通运输系统评价通过多种大数据算法模型从经济、安全、绿色、管理等角度对由多种运输方式组成的客货运系统进行评价。3、大数据应用系统三个应用平台大数据运行监测和行业监管安全生产监测预警能力应急管理综合应用交通信用监管“互联网+监管”……大数据交通服务政务服务“一网通办”新型出行服务货运物流数字化大数据决策支持交通政策辅助决策交通运输网络规划交通运输系统评价3、大数据应用系统大数据运行监测和行业监管基于大数据的综合交通运输全流程监管，实现重点营运车辆、超限车辆、重点船舶及水域、重点建设工程、客运码头、危险货物港口装卸存储设施以及铁路运输、民航运行等重点领域安全生产风险的监测预警和重大风险的防范化解。利用大数据研究推进综合交通运输信用舆情监测、信用风险预警、信用指数分析等。通过大数据实现行政检查、行政处罚及行政强制全过程的数字化。大数据运行监测和行业监管安全生产监测预警重点营运车辆监测超限车辆监测重点船舶及水域监测重点建设工程监测客运码头监测危险货物港口装卸存储设施监测铁路运输监测民航运行监测交通运输应急管理综合交通运输运行动态信息分析应急资源管理应急处置和指挥调度应急评估交通信用监管信用舆情监测信用风险预警信用指数分析“互联网+监管”交通综合执法业务流程数字化“互联网+监管”系统视频管理界面运维管理界面告警界面交通拥堵监测3、大数据应用系统大数据交通服务通过本项目建设提供一个区域性出行服务基础平台，提供气象、道路信息、施工信息、公交信息、客运信息等服务，实现一定的用户体验，为后续建设提供前瞻性的服务支撑。视频信息信息查询路径规划状态显示大数据交通服务政务服务“一网通办”电子证照信息共享“一窗式”业务办理政务服务数据分析和展示新型出行服务出行即服务（MaaS）交通旅游服务定制公交货运物流数字化多式联运信息平台快件数据监测道路货运行业运行监测分析智能航运大数据决策支持通过交互式模型配置、数据分析、机器学习、业务算法、可视化组件等多种类型的算子组件和模型工具，将数据分析算法步骤封装成算子，通过前端交互式模型配置页面来操作大数据分析流程。通过大数据可视化分析实现多源数据的分析。3、大数据应用系统大数据决策支持交通政策辅助决策交通运输需求管理交通发展政策评估交通建设项目排序公交补贴政策运价辅助决策交通运规划输网络交通运输网络规划交通运输枢纽规划公交线路规划多式联运线路规划交通运输系统评价交通运输系统运营评估交通态势研判交通安全生产评价绿色交通评价公共交通运营指标分析交通政策辅助决策通过融合空间位置地理信息、社会活动信息数据、客货运数据、个人行为数据在内等多源数据挖掘城市交通供需关系变化对包括交通运输需求管理、交通发展政策评估、交通建设项目排序、公交补贴政策、运价辅助决策在内等多项政策进行决策支撑。3、大数据应用系统交通运输需求管理需求预测总量控制空间均衡时间调控交通运输结构优化交通发展政策评估能源和运输结构公路铁路建设规划推动新能源汽车发展交通建设项目排序公路建设项目排序铁路建设项目排序水路建设项目排序多类型项目排序公交补贴政策公交定价分析新能源公交补贴政策公交基础设施建设公交专用道建设运输补贴决策高铁运输补补贴政策物流基础设施建设补贴政策交通运输网络规划通过采集包括公交刷卡数据、手机信令数据在内数据，通过全样本数据基于研究对象细分组群，实现对交通运输网络、交通运输枢纽、公交线路、多式联运线路等的精细化规划。3、大数据应用系统交通运输网络规划公路规划铁路规划水路规划民航规划交通运输枢纽规划交通枢纽场站布局优化枢纽系统设计社会经济评价公交线路规划公交线路网规划站场规划公交车辆规划多式联运规划多式联运选址多式联运路径规划交通运输系统评价综合运用跨行业、跨层级交通运输大数据集，根据《交通强国建设纲要》要求，通过研究建立具有较强应用价值的综合性、全局性大数据分析模型，从经济、安全、便捷、高效、绿色等角度对由多种运输方式组成的客货运系统进行评价,形成一系列易理解、有结论、实用性和权威性较强的大数据分析成果，有效支撑综合交通运输决策管理与服务。3、大数据应用系统经济货物运输成本旅客旅行成本公共交通投资比例社会折现率安全交通事故死亡数交通事故死亡率交通事故数交通事故财产损失便捷高速公路所占比重高速公路网密度公路网密度轨道交通网密度铁路网密度高效干道高峰小时平均车速平均换乘次数居民出行时耗货物运输时间旅客旅行时间绿色路段空气质量超标率地铁噪声分贝值运输二氧化碳排放率道路绿地率结束金融集团大数据分析平台总体架构议程大数据分析平台综述1大数据分析平台总体架构2大数据分析平台演进路线3大数据分析平台一期实施重点4附录：数据质量管理平台5金融集团管理分析类应用建设现状基本分析关注的内容存在的问题基本的现状商城数据仓库累积数据没有充分利用缺乏面向整个金融集团的统一、完整的数据视图；缺乏支撑金融集团日常业务运转的风险评估体系；缺乏金融集团客户360度视图，客户行为分析和预测无法实现；缺乏面向金融业务运营管理的关键绩效指标体系；……商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；金融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；……数据平台、数据应用、数据管控……基础数据平台和BI应用建设是未来一段时间的重点！数据平台整体架构；数据平台各层建设的标准；较成熟的金融业数据模型；数据质量治理；元数据管理；

数据标准建设数据整合；

数据应用建设；数据平台的软硬环境……大数据分析平台建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI应用自定义报表工具行＋列的简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用BI应用实现业务协作和创新BI分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况大数据分析平台建设预期收益2.加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础3.促进业务创新金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值1.实现数据共享议程大数据分析平台综述1大数据分析平台总体架构2大数据分析平台演进路线3大数据分析平台一期实施重点4附录：数据质量管理平台5大数据分析平台总体架构历史数据查询数据交换平台应用集市数据区商城零售供应链金融人人贷系统基金系统……系统企业内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品零售数据供应链数据增值产品数据区主题数据区……用户访问层客户汇总账户汇总机构汇总……社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理……外部用户贴源数据区……管理分析用户历史归档数据区IT人员风险管理大数据分析平台总体架构——数据产生层业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……企业非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……

源数据内容在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式源数据增量大数据分析平台总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件金融集团系统数据服务层外部大数据商城系统Hadoop元数据云数据推送平台数据平台导入临时区数据平台导出临时区NAS存储ETL程序区大数据分析平台总体架构——数据交换层NAS存储Hadoop集群元数据区数据平台ETL数据处理程序区数据平台临时数据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射大数据分析平台总体架构——数据交换层大数据交换组件企业非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发Java或C应用，调用大据源API，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NAS指定目录存储数据到数据平台大数据区指定HDFS目录定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区处理对象实现技术实现功能应用场景大数据分析平台总体架构——数据交换层数据库数据交换组件企业业务系统产生的结构化数据，包括两大来源：商城零售业务数据，数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库金融集团互联网金融业务数据，数据存储在MySQL数据库Perl程序数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，Perl执行文件级数据质量检查数据加载，调用HiveLoad数据命令，加载到数据平台临时数据区的HiveTable组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（LZO压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区云数据推送平台连接供应链金融系统数据库，分析供应链金融MySQL数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件到数据平台临时区Hive表处理对象实现技术实现功能应用场景大数据分析平台总体架构——数据交换层数据区数据交换组件数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区处理对象实现技术实现功能应用场景大数据分析平台总体架构——流程调度层批量处理流程批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：获取业务系统结构化数据，存入临时数据区获取企业内外部非结构化数据，并进行结构化处理，存入主题或集市数据区按照贴源数据模型整合数据（标准化、数据更新/追加）按照主题数据模型整合数据并生成汇总数据加工计算后，结果交付到数据集市，支持分析类应用大数据分析平台总体架构——流程调度层实时数据处理流程实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：通过数据库数据交换组件获取增量数据，加载到实时数据区通过大数据交换组件获取非结构化数据，并利用Storm处理数据，加载到实时数据区针对实时数据区数据执行标准化处理和贴源整合大数据分析平台总体架构——流程调度层归档数据处理流程数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群，归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：数据文件通过HDFS命令行copyfromlocal进行归档贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqoop或数据库提供的Hadoop集成技术（如：外部表）执行归档大数据分析平台总体架构——数据存储层业务系统前日增量数据缓存数据，支持后续ELT数据处理数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求贴源数据模型保存最近7天数据贴源数据区和主题数据区批量作业访问无最终用户访问I/O敏感，连续小批量的数据抽取和加载少量量数据使用Hive的Load命令，大量数据使用MR程序与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问I/O敏感，日终批量ETL以ELT形式通过HiveSQL执行与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机贴源数据模型不保存历史业务系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区大数据分析平台总体架构——数据存储层（续）企业内外部非结构化、半结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求数据按照HDFS文件存储建议保留1年集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行大数据分析MapReduce分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）与主题区/贴源区构成一个Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询MapReduce分布式计算，HDFS命令实现Hadoop集群内归档，Sqoop实现数据库归档，通过Hive提供历史查询独立的Hadoop集群（HDFS+Hive）无单点故障，7×24小时+非工作日有限停机数据按照HDFS文件存储数据文件按照数据区划分目录，建议保留7年其他各数据区历史数据按数据生命周期规划归档平台过期数据，支撑历史数据查询大数据区历史归档数据区大数据分析平台总体架构——数据存储层（续）业务系统历史明细数据打破业务条线整合数据数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求第三范式模型保留长期历史，需要根据主题细化主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（连接、聚合、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机逆范式宽表依赖于集市数据需求对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总，为集市提供数据主题数据区—明细主题数据区—汇总大数据分析平台总体架构——数据存储层（续）按沙盘演练需求，准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求模型依赖于沙盘演练需求在整个沙盘演练周期内保留集市区/沙盘区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF独立的Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机沙盘区/归档区批量作业访问决策人员、管理人员、业务人员访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）基于开放平台的完全无共享

MPP数据库集群+内存数据库无单点故障，7×24小时+非工作日有限停机维度数据模型依赖业务需求面向企业管理分析类应用需求的汇总数据为客户、运营等管理分析主题和数据增值产品提供数据服务沙盘演练数据区应用集市数据区大数据分析平台总体架构——数据存储层（续）根据外部用户的数据使用需求数据平台加工计算的结果数据为部署在数据平台上的企业内外部增值产品提供数据支持数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求应用模型，依赖于用户业务需求依赖于用户业务需求企业外部人员，如：京东客户通过自己部署在Paas平台上的应用访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）独立的Paas平台，部署Hadoop集群无单点故障，7×24小时+非工作日有限停机企业业务人员高时效、高并发、高可靠性的联机交易类查询CPU敏感，BI工具或业务系统高并发、高时效查询，以及准实时连续ETL处理+SQL批量处理独立的内存数据库集群无单点故障，365×24小时不停机贴源数据模型依赖用户业务需求面向应用的业务系统快照数据和一段时间的交易流水为实时获准实时分析应用提供数据服务增值产品数据区实时数据区大数据分析平台总体架构——数据存储层数据流数据集成层操作型聚合数据临时数据区实时数据区公共汇总数据主题明细数据结构化数据非结构化&半结构化数据沙盘演练数据区实验室数据集市数据区POP自营数据贴源数据区金融业务数据主题数据区客户管理集市财务管理集市运营管理集市风险管理集市……集市大物流系统数据供应链系统数据财务审计数据财务研发数据操作型明细据归档数据区大数据区源系统数据文件贴源数据主题数据集市数据高时效数据大数据增值产品数据区大数据分析平台总体架构——数据应用层大数据平台应用针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用历史查询类应用通常使用BI工具或自主开发实现客户经理等最终业务人员针对当前业务的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用管理分析类应用主要实现了集团客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能管理分析类应用通常采用套装软件和BI工具（MicroStrategy等）实现业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果沙盘演练类应用通常使用R语言在Hadoop分布式体系下实现金融集团数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品数据增值产品通常采用R语言和BI工具实现，面向企业内外部用户管理分析类应用1沙盘演练类应用3历史查询类应用4高时效类分析应用5数据增值类产品2实时分析类应用通常使用CEP、ESB等技术实现大数据分析平台总体架构——平台发展不同阶段对应应用工作负载复杂度大数据平台发展阶段划分操作为主阶段什么正在发生？动态数据仓库阶段

让正确的事情发生！分析为主阶段为什么会发生报表为主阶段发生了什么预测为主阶段将会发生什么？批量随机查询数据分析持续更新加载/短查询基于事件的动态触发数据量增长用户数增长查询复杂度增长ETL处理复杂度增长管理分析类应用历史查询类应用实时分析类应用沙盘演练类应用数据增值类产品大数据分析平台总体架构——管理分析类应用总账分析资产负债表分析损益表分析现金流量表分析财务指标分析盈利分析机构贡献度产品贡献度客户细分贡献度渠道绩效资产负债分析主要指标报告，如：净利息收入、净收入、净现值、市场价值等头寸报告现金流报告风险价值（VaR）计算财务预算与计划财务预算财务计划执行监控执行过程分析年末财务计划执行分析预测与场景分析业务规模预测收益预测……领导管理驾驶舱机构绩效考核客户经理考核客户经理工作量评估客户经理服务客户收益评估产品绩效考核业务量考核供应链金融业务人人贷业务保理业务基金业务其它中间业务……渠道成本与收益……风险监控报表/信息披露流动性报表利率敏感性报表资本充足率报表……市场风险市场风险暴露值流动性管理、利率管理信用风险信用风险暴露值计算信用风险控制（贷前控制、贷中监控、贷后分析）操作风险异常交易预警后督差错检查……防欺诈/反洗钱定义欺诈交易模型可能性欺诈交易预警欺诈交易分布分析全面风险管理……目前监管机构没有明确要求客户单一视图公司客户信息管理个人客户信息管理同业客户信息管理目标客户搜索重点客户关怀客户风险客户异动客户客户细分个人客户细分公司客户细分客户行为分析客户轮廓分析产品交叉销售分析百分比分析渠道偏好分析营销活动管理营销活动规划营销活动定义营销活动执行营销活动苹果营销活动自动化渠道接口与集成流程自动化……客户管理运营管理财务管理风险管理监管披露示例大数据分析平台总体架构——数据访问层即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持静态报表：按照预先定义格式，批处理报表，在线查询报表等Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度问题发现Office集成Web服务挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值数据科学家业务系统Web服务：将分析应用的功能发布为Web服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果多种展现形式满足各层级用户及应用系统使用需求大数据分析平台总体架构——数据管控层金融数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台四个域。数据标准管理数据质量管理元数据管理工作流管理……组织数据与信息标准化委员会数据管理人数据所有人数据生产人数据使用人IT支持团队考核指标责任评价标准执行评价政策执行评价评价标准数据类型数据格式业务分类真实性定义及时性定义完整性定义技术元数据流程评价与考核流程考核指标建立/维护流程标准建立/维护流程组织建立/维护流程评价与考核业务含义一致性定义数据认责平台安全等级权限定义数据停用数据共享数据移动数据存储数据创建业务元数据管理元数据数据全生命周期数据安全管理数据标准数据质量元数据数据安全…………审计定义保留策略……大数据分析平台总体架构——数据管控体系运转机制管控组织数据管控委员会数据所有人数据认责人IT支持……管控流程数据接入流程数据变更流程数据授权流程数据退役流程标准/政策制定流程评价考核流程……评价与考核标准（数据标准、质量要求、安全要求）遵守标准所需要的政策政策与标准遵从考评定义……数据产生者数据使用者………流程支撑流程支撑制定管控平台工具支撑明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。考评制定通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。管控综合管理标准/规范管理流程管理考核仪表盘……元数据管理业务元数据管理技术元数据管理管理元数据分析……数据质量管理稽核规则管理数据稽核质量报告……工具支撑组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。大数据分析平台总体架构——数据管控组织数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：数据管控负责部门岗位角色数据管控主导方信息管理委员会

数据标准管理员数据质量管理员数据产生部门数据管控参与方业务协调人数据分析员数据主管数据使用部门业务协调人数据分析员数据主管数据拥有部门业务协调人数据分析员数据主管数据管理部门运维组织实施项目组数据安全管理员数据管控经理元数据管理员大数据分析平台总体架构——数据标准管理消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。数据标准建立和维护数据分类数据结构关键业务对象关键代码数据维度代码映射客户类数据标准产品类数据标准。。。类数据标准数据标准执行数据标准管理的考评定性考评定量考评数据标准分析报告数据标准理念推广归档系统……ODS大数据分析平台总体架构——数据质量管理数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求数据及时性要求数据质量标准数据质量验证规则数据质量考核指标数据质量提升数据补录手工修正自动修正数据质量考评数据质量监控不定期数据质量检查数据质量分析报告大数据分析平台总体架构——元数据管理业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述大数据分析平台总体架构——数据安全管理数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。数据安全分级数据敏感度数据安全等级定义数据访问授权数据重要性数据使用需求数据使用者权责数据访问授权规则安全技术大数据分析平台总体架构——高阶工作流程业务数据规划管理高阶流程数据认责流程数据治理考核体系数据治理考核流程数据治理考核指标体系数据标准管理管理高阶流程数据标准建立流程数据标准维护流程数据质量管理管理高阶流程数据质量要求确定流程元数据管理高阶流程元数据变更流程数据安全管理管理高阶流程数据安全审批流程数据认责流程数据标准、质量、元数据、安全管理流程协调会议考核流程大数据分析平台总体架构——数据管控平台数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口首页标准管理主菜单指标速递待办事项信息地图标准浏览标准维护工作管理流程管理绩效指标系统管理用户管理权限管理规范管理数据管控平台统一用户集成界面数据标准知识库数据管控平台知识库……元数据管理元数据采集……元数据知识库质量管理规则配置……质量稽核库数据层应用层展现层大数据分析平台总体产品框架非结构化/半结构化数据管理分析平台（X86MPP集群）京东业务系统结构化数据基础计算平台（贴源数据区+主题数据区+大数据区）（Hadoop集群+Hive）数据交换平台（自主开发交换组件+NAS存储）实时分析