XXX分公司综合信息管理平台建设方案

XXX分公司综合信息管理平台建设方案版本号：1.3XX分公司综合信息管理平台建设方案河北高速公路集团XXX分公司2023年10月目录20781概述 819511.1项目背景 8241251.2设计依据和相关标准 9279581.3政策依据 1044151.4项目目标 11220051.5工程界面 15190241.5.1软件工程边界 15263561.5.2硬件工程边界 1582831.6设计原则 1643181.6.1经济性和实用性 16187211.6.2先进性和可靠性 1690011.6.3整体性和开放性 16276601.6.4可扩展性和易操作性 17118041.6.5安全性和规范性 17278241.7开展培训与宣贯 17209571.8建设规模（需要业主确认） 17291911.9建设周期（需要业主确认） 18192351.10术语定义 19227742建设条件 20210512.1现有软件业务平台情况（需要业主确认） 20295992.2中心大屏硬件情况 21183122.3收费系统现状（需补充） 21175392.4监控系统现状（需补充） 22165443总体方案 2270513.1软件系统建设方案 22255263.2硬件系统建设方案 23277504软件系统建设内容 24109944.1总体设计 24125204.1.1概述 24143074.1.2软件架构设计 24325894.1.3数据传输设计 29243714.1.4服务与基础设施监控设计 35316184.2一期工程软件建设内容 4159544.2.1综合信息管理平台框架建设 41173894.2.2路段监控平台升级完善 5421344.2.3道路通行状态感知系统建设 58156954.2.4隧道感知增强系统建设 60131784.2.5重点车辆管控系统建设 61324204.2.6公众服务平台建设 6434094.3二期软件工程建设内容 66259164.3.1高速公路收费营运分析系统建设 6652084.3.2隧道感知系统完善 69231334.3.3高速事故快速定位上报系统建设 71262274.3.4公众服务平台升级完善 71243644.3.5大数据分析平台建设 72142724.4三期工程软件建设内容 79227094.4.1高速+文旅支撑系统建设 79238004.4.2高速公路收费营运分析系统升级完善 7995345硬件建设内容 94281385.1硬件建设概述 9434205.2监控中心硬件架构设计 95268435.3网络系统设计 96302875.3.1中心平台接入交换机 96178675.3.2中心平台核心交换机 97104295.4硬件资源估算 9984275.5带宽估算 101219535.6一期工程硬件建设内容 10176325.6.1数据中心硬件资源扩容 10156015.6.2隧道出入口感知系统建设 103289615.7二期工程硬件建设内容 108144585.7.1中长隧道雷达感知系统建设 108114745.7.2高速事故快速定位标志部署实施 109121765.7.3网络安全防护系统建设 11028655.8三期工程硬件建设内容 1148155.8.1网络安全防护系统的升级完善 11459596系统安全设计 117206666.1安全方案总体设计 117177596.1.1设计原则 117158426.1.2参考标准 119257816.1.3设计思路 120174306.1.4保护框架设计 123234446.2安全技术体系设计 12483616.2.1安全物理环境设计 124269896.2.2安全通信网络设计 125222816.2.3安全区域边界设计 130180976.2.4安全计算环境设计 137239866.2.5安全管理中心设计 149308376.2.6整体安全防护设计 15350656.3安全管理体系设计 15377156.3.1安全管理机构设计 154195886.3.2安全管理人员设计 162291266.3.3安全管理制度设计 164263066.3.4安全建设管理设计 168142646.3.5安全运维管理设计 171231756.4方案设计总结 1781837系统集成 178131137.1软件集成实施 178311527.2硬件集成实施 180257997.3安装培训 18178667.4测试管理 18469597.4.1计划管理 18448887.4.2风险管理 185243097.4.3资源管理 187118467.4.4问题管理 193323927.4.5测试质量管理 19436677.4.6业务功能测试 197275677.5运行维护系统设计 200169167.5.1系统运行维护制度 200300607.5.2系统运行维护工作组织 201291787.5.3系统运行维护方式 201189447.5.4系统年运行维护内容 201257428主要设备与材料清单 202189268.1主要软硬件选型原则 202255748.1.1经济性和实用性 202154038.1.2先进性和可靠性 202295738.1.3兼容性和开放性 202135478.1.4可扩展性和易操作维护性 2026508.2工程量清单 203193648.2.1硬件设备清单 203256348.2.2软件系统清单 205251418.2.3业务平台接口开发清单 208267588.2.4数据初始化清单 21236808.3机房及配套工程清单 2127999计划及预算 212327539.1里程牌计划 21237069.2预算编制依据 213208149.3预算编制说明 21413349.4一期工程预算 214238709.4.1硬件采购预算 214325369.4.2软件系统开发预算 216194949.5二期工程预算 217317069.5.1硬件采购预算 217235769.5.2软件系统开发预算 21944789.5.3各业务平台接口开发预算 221169939.5.4数据初始化预算 2265509.6三期工程预算 226149719.6.1硬件采购预算 22676189.6.2软件系统开发预算 227137049.7整体预算 228

概述本章对河北高速集团XX分公司的综合信息管理平台建设背景、建设目的、建设原则、建设范围、建设周期等主要内容进行描述。项目背景河北高速公路集团有限公司XXX分公司成立随着国家高速公路网络的逐渐完善，高速公路建设进程也从建设期向建管期进行转变。加强高速公路的管理能力，提高高速公路服务水平，增收创效成为现阶段亟待解决的突出问题。伴随着集团公司转企改制，立足集团发展定位“1+N”，XXX分公司面临经营业务与互联网、大数据、人工智能深度融合，提升数据赋能能力的需求，同时还需要紧跟智能交通发展前沿，探索智能交通与产业发展深度融合，全面加快推进企业数字化转型，急需对XXX分公司的信息化系统进行一次梳理和提质升级。XXX分公司在多年高速公路建设的同时，也积累了相当丰富的软件及信息化建设经验，同时也将经验应用于公司的运行管理当中，解决了实际的业务问题，提高了效率。但是面临当今复杂多变的形式和各系统积累的大量数据，如何能够破解信息孤岛、综合应用数据，深度挖掘数据间关系，得到数据价值，做到用数据决策、用数据管理、用数据服务，成为了新的研究方向。各个部门目前都有相关的信息化业务系统进行支撑，如：指调中心建设有“路警一体化联勤联动平台”，集团公司建设的“数字云”，收费系统建设有“高速公路收费系统”等等。在已建的这些系统都在为本部门的业务进行管理和数据的支撑，但同时又都各自为政，部门与部门之间数据不能共享从而形成了“信息孤岛”。在综合分析目前公司经营情况时，还采用原始的取数手段，降低了数据时效性。在进行数据分析时，大都采用人工分析，无法通过科学的数据手段进行数据分析和数据挖掘，找到数据与数据之间的内在联系。无法通过现有数据对未来进行科学、可观的趋势分析。基于此，建设一套以大数据平台为核心的综合信息管理平台，将现有平台数据整合，规划相关业务子系统，形成数据仓库，供大数据引擎进行查询分析，完成普通业务系统无法完成的复杂的、大规模的数据计算，为公司实现移动办公、经营分析、精准营销、保畅处突、辅助决策提供数据依据和系统支撑的综合业务管理平台势在必行。设计依据和相关标准本项工程的设计、制造、安装和开通使用下列最新版本的标准与规程：中华人民共和国国家标准。中华人民共和国交通运输部标准（含原交通部行业标准）。中华人民共和国工业和信息化部标准（含原信息产业部标准和原邮电部标准）。中华人民共和国公安部标准。产品生产国的国家标准及相关国际标准。对于以下标准，本项目要求重点关注：《收费公路联网收费技术要求》（原交通部2007年第35号公告）。《高速公路监控技术要求》（交通运输部2012年第3号公告）。《高速公路通信技术要求》（交通运输部2012年第3号公告）。《公路网运行监测与服务暂行技术要求》（交通运输部2012年第3号公告）。针对软件开发遵循的技术规范如下：GB/T8566-2007《信息技术、软件生存期过程》GB/T11457《软件工程术语》GB/T16680《软件文档管理指南》JT/T456-2001《高速公路监控系统交通数据报表格式》GBT28059《公路网图像信息管理系统平台互联技术规范》GB/T8567《计算机软件产品开发文件编制指南》；GB/T9385《计算机软件需求说明编制指南》；GB/T9386《计算机软件测试文档编制规范》；GB/T14394《计算机软件可靠性和可维护性管理》；GB/T14079《软件维护指南》；GB/T12504《计算机质量保证计划规范》GB/T22240-2008《信息安全技术信息系统安全等级保护定级指南》；GB/T20270-2016《信息安全技术网络基础安全技术要求》GB/T20272-2016《信息安全技术操作系统安全技术要求》GB/T34945-2017《信息技术数据溯源描述模型》GB/T34945-2017《信息技术科学数据引用》GB/T35295-2017《信息技术大数据术语》GB/T34945-2017《信息技术大数据技术参考模型》GB/T34945-2017《信息安全技术大数据服务安全能力要求》高速公路ETC门架系统技术要求（交办公路函〔2019〕856号）《交通交通运输部关于推进公路数字化转型加快智慧公路建设发展的意见》（交公路发〔2023〕131号）政策依据2023年9月20日，《交通交通运输部关于推进公路数字化转型加快智慧公路建设发展的意见》交公路发〔2023〕131号，明确提出提升路网管理服务数字化水平，推动智慧出行，要求以“可视、可测、可控、可服务”为目标，依托建设、养护等数据资源，完善部省站三级监测调度体系，提升路网智能感知、决策、调度、服务能力。经过走访调研，各部门对移动办公、接入监控视频、综合统计分析、破除信息孤岛均有迫切需求。但是目前的网络条件限制下还是有相当大的阻碍。收费数据目前通过收费数据主干网进行路段传输，骨干传输需要保证其安全性，因此与外界物理隔离，如果需要分析XXX分公司的营业收入数据，就需要通过各站将每日的营收数据通过人工方式进行导出，增加了各站数据管理人员的工作量，甚至出现过数据损坏或报送出错的情况。如何解决收费数据的采集成为了制约收费数据分析的重要因素。在调研的过程中不难发现，信息孤岛的问题十分突出，比如：工区对于能够查看路段监控视频的需求十分迫切，需要通过监控视频了解路上的遗撒物、边坡、桥隧、施工等信息，这类视频数据本身在路段监控平台是可以看到的，但是监控信息处在监控网内，监控网与其他办公网、收费网也是隔离的状态，需要看路段的监控视频就只能通过监控网来进行调取。营运部需要收费系统、路段监控平台的数据分析，了解营业收入变化趋势，重点监控和管理的业务。工程部需要收费系统、路段监控平台、路段监控视频的数据分析，为动态养护，科学决策提供数据支撑。因此可见，以大数据分析为核心的XXX分公司综管平台应着重于收费系统、数字云、路段监控平台三个板块业务。通过对收费数据、指调数据的分析，可以对道路车辆变化与收费费额之间关系进行分析，找到车辆通行规律。对数字云的集成，通过综管平台建设契机，完成互联网应用的安全解决方案，实现办公系统移动办公，解决移动办公的突出需求。通过路段监控平台的不断升级建设，打造路警联动示范机制。本项目提供具有前瞻性的设计，并分期建设：一期工程，具体内容包括：综合信息管理平台框架搭建；路段监控平台的升级完善；进行中心网络的安全防护规划设计；开展隧道车辆精准信息的采集；建设XXX分公司公众信息统一发布平台。二期工程，具体内容包括：建设符合等保二级要求的安全网络环境，完成三网（收费网、监控网、办公网）融合；建设大数据计算平台，实现接入收费系统、路段监控平台、办公系统数据；基于大数据进行数据分析开发；建设面向公众的互联网应用（公众号、小程序）等。三期工程，具体内容包括：建设在通过已有的安全互联网平台部署更多的互联网应用，集中部署、统一管理，形成XXX分公司信息化中心。同时，建设重点车辆管控系统建设，探索高速+旅游产业的应用，完善网络安全防护，实现等保三级要求。项目目标本系统为独立于其他信息化应用系统之外，建设一套以大数据应用技术为核心的XXX分公司综合信息管理平台。基于一套平台的建设，构建XXX分公司公路设计、施工、养护、运营等“一套模型、一套数据”，基本实现全生命期数字化，初步达成XXX分公司的数字化转型。一期工程的主要目标：综合信息管理平台框架建设，打造分公司统一门户平台根据XXX分公司现状，建设综合信息管理平台基础功能，初步实现路段监控平台整合，并实现新建系统的融合，实现一个大平台、一套模型、一套数据的雏形，为未来功能的不断升级和开发，奠定数字化基础。路段监控平台的升级完善，提升路网决策调度服务能力根据路段监控平台的使用情况，对路段监控平台的功能进行升级，并新增功能。包括监控业务无纸化、情报板一键发布、值班信息管理、机电设备健康监测、录音电话管理、事件处置、数据分析等功能研发。隧道感知系统增强建设，打造路网智能感知体系在中长隧道出入口、隧道中增设感知设备，补充隧道车辆感知手段，充分覆盖车辆特征的感知需求，并将数据推送给集团建设的隧道管控平台，为重点车辆管控、事件处置提供数据支撑，提高隧道的安全系数。公众服务平台建设，打造数字赋能的公路出行服务体验通过公众服务平台的建设，打通高德、百度、腾讯等地图发布渠道，构建XXX分公司的统一的公众信息发布门户，打造数字赋能的公路出行服务体验，为公众安全出行提供有力支撑。二、二期工程的主要目标：搭建满足安保要求的网络安全防护系统，构建智慧公路安全防护体系目前公司内部应用接入互联网的安全保障不足，不具备网络安全等保要求，对互联网办公的要求又十分紧迫，因此需要建立网络安全保护机制，以便使部署于内部应用系统能够接入互联网，并且打通收费网、监控网、办公网的物理隔离状态。使数据源能够安全的传输至综管平台，使综管平台出接入互联网一进一出得到有效的安全防护，建立综管平台内网安全防护，建立办公网安全防护。网络安全逻辑架构图高速公路收费营运分析系统建设，发挥数据潜能支撑公路数字化转型依托大数据计算平台，进行通行量、收费、称重等数据分析，实现流量、收费的预测，加快构建与完善符合XXX分公司的相关应用模型和专业算法，发挥数据潜能，强化数据分析、信息提炼、智能深度学习、智慧交互等功能，有力支撑公路数字化转型和产业化升级，壮大公路数字经济。道路通行状态感知系统建设，打造路网智能感知体系在充分利用高速公路既有感知设施的基础上，综合利用ETC门架系统、通信基站等设施，应用摄像机、雷达、气象检测器、无人机等各类感知手段，建设覆盖基础设施、运行状态、交通环境、载运工具的公路全要素动态感知网络，拓展各类数据应用，加强对车路协同和路网管理的支撑服务，建设全面覆盖、数据精准的感知系统。持续完善隧道感知系统，持续完善路网智能感知体系在中长隧道加装毫米波雷达，解决目前隧道内车辆定位信息缺失的问题，建设覆盖基础设施、运行状态、交通环境、载运工具的隧道全要素动态感知网络，不断完善XXX分公司的路网智能感知体系。高速事故快速定位上报系统建设，丰富车路协同应用场景和服务方式借鉴浙江经验，张贴高速二维码，当发生事故，可进行扫码和信息录入，用于快速定位事故地点，并联动附近视频进行应急指挥，丰富事件上报渠道，缩短事故发现时间。完善公众服务平台，提升路网服务能力完善XXX分公司公众号功能，新建高速小程序，为公众出行提供事件提醒、视频查看、事件上报等功能，同时探索内部应用的移动协同办公，提升路网服务能力。大数据分析平台建设，构建施工、养护、运营等“一套模型、一套数据”建设XXX分公司信息化系统的大数据分析平台，实现一套数据的存储、技术和分析，为上层业务平台业务应用提供数据支撑，符合交通运输部要求，构建高速施工、养护、运营等“一套模型、一套数据”三期工程的主要目标高速+文旅支撑系统建设，探索文旅拉动营运收入的新模式针对当地重点旅游线路，从“拥堵指数、车流量、黄牌占比、平均速度、饱和度”等角度进行驾驶舒适度和客户服务等级评价。对司机来说，可通过信息发布模版，获取更具驾驶舒适度的路线推荐；对高速管理方来说，可基于模型获取管理改善意见。高速公路收费营运分析系统升级完善，发挥数据结果指导经营能力根据XXX分公司的管理形式、路网形态，不断研究和扩充收费营运分析功能，增加分析指标，打造经营快报。通过大数据、人工智能等技术的深度应用，用数据结果指导经营，完成高速公路收费运营分析系统的建设目标。重点车辆管控系统建设，进行安全隐患的精准管控依托隧道卡口、ETC门架、收费数据等各类采集系统，实现两客⼀危一重等重点车辆连续性跟踪，充分发挥路网运行大数据、人工智能、机器视觉等技术能力，实现精准管控和预警，降低重点车辆带来的事故率。网络安全防护系统升级完善，实现等保三级要求不断完善网络安全防护系统的建设，对设备及平台进行升级，实现XXX分公司数据中心网络防护等级三级防护要求，打造安全网络。三期工程将在前期建设基础之上全面覆盖公司所有软件平台项目，接入其他软件系统数据，采集互联网数据源数据，进一步丰富数据分析维度和手段，做综合全面的数据统计、分析及预测，并深入掘数据隐含价值，充分利用数据分析为领导决策提供数据支撑，为内部管理提供数据报表、分析结果，服务公众出行。工程界面软件工程边界XXX分公司综合信息管理平台建设，涉及到综管平台基础功能建设、路段监控平台的升级完善和其他新建系统开发与对接。路段监控平台的开发单位负责原有功能的升级完善、新功能的开发和综管平台的数据接入。其他新建系统的开发单位，提供标准接口，并按照综管平台的技术规范和标准，接入综合信息管理平台。硬件工程边界气象站、摄像机、车辆检测器等传统机电设备的更换、点位补充，由分公司机电管理中心通过养护经费或专项工程解决，本项目不涉及传统机电设备的更新和补充。隧道出入口的卡口设备、中长隧道的雷达设备、网络安全系统的建设由本项目负责，并提供清晰的界面给其他工程。其中卡口设备、雷达设备，通过感知系统提供标准的API接口给上层业务平台调用。网络安全系统，提供网络安全环境，包括IP规划、区域划分等。涉及到的公有云资源由本项目负责，包括固定IP、带宽扩容、域名申请、备案等。现有系统涉及到公有云部署的，统一按照本项目的技术要求进行服务迁移实施。本项目提供资源，由原系统的运维单位负责迁移，无运维单位的平台，由本项目的承建单位协助迁移。硬件建设部分不包含机房基础建设、控湿控温、防火防盗、安全管理、门禁系统、防静电、防雷击、稳压及不间断电源（UPS）等设计。如果涉及到以上提到的设备采购、安装、调试等内容，需要由其他项目解决。设计原则经济性和实用性系统的方案设计、设备采购、系统建设等应充分考虑到XXX分公司已建设的基础条件；贯彻面向应用、注重实效的方针，坚持经济、实用的原则。在充分满足系统运行技术与性能要求的前提下，尽量采用性能价格比高的产品与技术，并在工程项目实施过程中本着厉行节约的原则，精打细算，以保证项目建设的合理开销。充分利用成熟先进的技术，避免盲目追求新技术，同时又要防止系统处理能力不够的现象出现。应用软件应符合管理需要，易于维护，系统实用。先进性和可靠性本项目的建设将运用多种高新技术，在技术和系统设计上与国内外交通发展趋势紧密结合，使系统方案具备一定的前瞻性，并能在较长时间内保持技术的先进性。系统应具有较好的发展潜力，能保证在未来若干年内占主导地位。需要注重系统硬件设备安装、软件系统应用、网络连接、施工图设计等，充分利用已有的研发成果，集成经过实践检验的成熟技术和标准化的实用产品，设备选型充分考虑已有设备状况、市场覆盖率、技术成熟度及自主开发等因素，以保证系统的稳定和可靠。整体性和开放性在系统的设计和建设中，充分考虑系统功能、结构、配置等各个方面的开放特性，充分考虑各个系统之间的相互联系及整合，通过集成和优化各系统，实现资源共享，提高系统的整体利用效率。除了保证系统内部之间的有机协调和开放性之外，还留有面向外部系统的标准接口，以实现与在建系统、新建系统等相关系统之间的数据交换，保证新系统、新模块、新功能的不断叠加。可扩展性和易操作性系统结构、数据、功能等易于扩充，以适应今后可能出现的较大任务负载。系统设备及软件向下兼容，以保护系统的原始投资。系统各部分均采用模块化结构，各自具有相应的软硬件自检、故障诊断和安全保护措施，并有利于用户从事简单的现场维护。系统软件界面友好，充分考虑操作人员的特点，尽量采用图形化中文操作界面，使数据处理工作简单、方便、快捷，业务流程清晰，符合常规业务处理习惯。安全性和规范性设计中既要考虑数据资源的充分共享，也要考虑数据的保护和隔离。对不同的应用和不同的环境，采取相应的措施对系统和数据进行保护。安全保密技术措施主要从以下几个方面考虑：设备的安全性、系统访问权限、使用监控和报警、防火墙、防止计算机病毒、安全性报表等。系统应遵循有关国际标准、国家标准和行业标准，在门户接口、安全接口认证、元数据、服务接口和操作法规等方面体现规范性。这些规范的建立不但可以对前期建设系统的数据结构、发布方式有统一的识别和接收，也为未来的业务模块留有转换接口和软件。开展培训与宣贯本项目由XXX分公司领导挂帅，信息中心牵头组织开展业务、技术、安全相关设计与培训，确保项目落地，有序推进。相关培训工作按照XXX分公司的日常工作安排协同开展。建设规模（需要业主确认）项目总体建设规模如下表所示：序号项目单位数量建设阶段1路段监控平台升级完善项1一期2高速公路收费营运分析系统建设项1二期3道路通行状态感知系统建设项1一期4隧道感知增强系统建设项1一、二期5重点车辆管控系统建设项1一期6高速事故快速定位上报系统建设项1二期7公众服务平台建设项1一、二期8大数据分析平台项1二期9综合信息管理平台建设项1一、二期10高速+文旅支撑系统建设项1三期11综管平台硬件及网络环境搭建项1一期12网络安全防护系统建设项1二、三期建设周期（需要业主确认）本项目分为三期建设，各期的建设周期如下：第一期：时间节点2023年12月31日前，完成工程建设内容，实现一期工程建设目标；第二期：时间节点2024年12月31日前，完成工程建设内容，实现二期工程建设目标；第三期：时间节点2025年12月31日前，完成工程建设内容，实现三期工程建设目标；参考2023年9月20日《交通运输部关于推进公路数字化转型加快智慧公路建设发展的意见》的要求，到2027年，公路数字化转型取得明显进展。构建公路设计、施工、养护、运营等“一套模型、一套数据”，基本实现全生命期数字化。基本建成“部省站三级监测调度”体系，公路运行效能、服务水平和保通保畅能力全面提升，打造公路出行服务新模式，提升公众满意度。公路市场数据资源充分整合，提升公路领域市场服务和治理能力。建立健全适应数字化的公路标准体系，在国家综合交通运输信息平台架构下，完善公路基础数据库，形成公路数字化支撑保障和安全防护体系。本项目工程在2025年基本实现交通运输部的2027年建设目标，初步完成XXX分公司的数字化转型。术语定义XXX分公司综合信息管理平台（ChengdeHighwayComprehensiveInfomationManagePlatForm），简称综管平台（HCMP）。大数据运营管理平台（BigDataOperationandManagementPlatForm），综管平台建设核心,包含数据仓库、算法引擎、数据模型等，简称大数据平台（BOMP）。自动化办公管理系统（OfficeAutomationSystem），综合办公自动化管理信息系统，简称OA系统。ETL子系统（ExtractTransformLoadSystem），通过ETL工具对数据前置平台中的数据进行抽取、转化、清洗、加载、存储等操作，将数据存储至数据仓库供存储、分析使用。大数据可视化子系统（BigDataVisualizationSystem），将大数据平台的分析结果通过可视化技术进行展现。辅助决策子系统（AssistantDecisionSubSystem），为领导辅助决策提供数据分析结果展现，实现预警提醒、获取报告、专题研究、指标分析、趋势分析等功能。智能报表分析子系统（IntelligentReportAnalysisSubSystem），为业务管理人员提供固定报表生成、自助报表分析、主题化报表分析、动态图形展示、企业经营快报等功能。数据发布子系统（DataPublishingSubsystem），将大数据分析结果通过数据接口向公众、内部管理人员、企业经营参与者发布功能。大数据（bigdata），具有体量大、来源多样、生成极快、且多变等特征并且难以用数据体系结构有效处理的包含大量数据集的数据。数据平台框架（dataplateformframework），用于指导结合相关应用编程接口（API）访问的逻辑数据组织和分发的集合。集群管理（clustermanagement），以非关系模型方式驻留数据的集群资源之间提供通讯的一种机制。处理框架（processingframework），覆盖为支持大数据应用实现所需基础软件设施的、定义数据的计算和处理的集合。消息/通信框架（messaging/communicationsframework），源于高性能计算环境、为水平扩展及集群中节点之间的可靠查询、传输和接收数据提供API的集合。资源管理框架（resourcemanagementframework），大数据框架提供者可能提供的、利用数据本地化作为一种输入变量来确定是否安装新的处理框架元素（如，主节点、处理节点、作业位置），从而实现CPU和存储两大资源高效且有效管理的集合。分布式文件系统（distrubutedfilesystem），多个结构化数据集分布在一个或多个服务器集群的各个计算节点的文件系统。分布式计算（distributedcomputing），一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。流数据（streamingdata），经由接口传递，从连续运行的数据源产生的数据。非结构化数据（unstructureddata），不具有预定义模型或未以预定义方式组织的数据。数据仓库（datawarehouse），在数据准备之后用于永久性存储数据的数据库。元数据（metadata），关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和数据易变性的数据。建设条件现有软件业务平台情况（需要业主确认）根据部门的不同职能，不同部门对应不同的信息管理系统。需要进行调研XXX分公司公司现有系统一览表序号机构名称系统名称所属网络系统建设方系统架构运行情况已产生数据量估算1公司数字云互联网集团B/S已上线——2营运部收费网公司C/S已上线同收费3营运部大件运输审批平台互联网省厅B/S已上线——4营运部数据管理平台办公网公司B/S已上线——5安质部安全生产监管系统互联网B/S已上线——6综合办自动化办公管理系统办公网集团B/S已上线1TB7工程部智能化养护管理平台互联网集团B/S已上线——8指调中心路段监控平台监控网公司B/S已上线5TB9收费站高速公路收费系统收费网交通厅C/S已上线20TB收费网数据无法与其他内网互通，属于物理隔离。人工导入收费数据量随着道路信息化程度的发展，上报不及时、上报错误、传输错误等问题凸显，分析的基础数据来源错误导致分析数据的不准确也时有发生。路段监控平台部署于监控网内，与路段中的各类设备进行数据交换，提供可视化监控和联勤联动的页面，主要完成联勤联动、视频监控、情报板发布、广播管理、设备维修管理、辅助决策、无纸化办公、对外信息发布、统计分析、预案设置、系统管理等功能。目前可以接入互联网访问（视频监控无法互联网访问），并开发一套手机APP管理软件。系统接入互联网，但并未达成安全等级要求。序号系统名称所属网络部署位置数据日期上线条件接入需求1收费系统（含ETC门架数据）收费网机房2019年已上线数据需要接入综管平台2路段监控平台监控网中心2020年已上线数据需要接入综管平台3数字云互联网公有云2022年已上线部分数据开放，需要接入综管平台中心大屏硬件情况目前路段监控平台通过监控室工作站预览调用拼接器的DVI控制将画面投屏至LED大屏，未来，综管平台也需要复用大屏进行可视化展现。综管平台完成建设后，将作为大屏主要显示内容进行呈现，在运营过程中，如果需要进行路警协同工作时，通过大屏复用的方式，切换到路段监控平台界面进行监管。收费系统现状（需补充）收费系统现状描述（后期补充）。监控系统现状（需补充）监控系统现状描述（后期补充）。总体方案XXX分公司综合信息智能管理平台建设围绕大数据平台建设，以大数据平台建设为核心，建设一套以业务数据为基础，涵盖收费系统、路段监控平台、数字云等各类生产系统，以数据分析为主、业务管理为辅的综合性信息管理平台。平台将作为XXX分公司的统一平台提供服务，并建立数据融合、业务融合的基础规范和标准。整体来说，软件建设包括大数据平台、综管平台、各类业务系统的开发建设。硬件包括新增隧道感知设备、服务器、网络安全设备及网络设备。总体方案包含软件系统建设方案与硬件系统建设方案两部分。软件系统建设方案综管平台软件架构图综管平台软件架构主要分为数据层、存储计算层、平台层、业务应用层、展示层。数据层主要涉及收费系统及ETC门架系统的数据采集、路段监控平台数据采集、其他各类已建信息化系统的数据采集及网关类、网络类设备的数据采集。存储计算层包括使用大数据组件，部署组成从数据抽取、清洗、加载到Hadoop分布式存储，建立数据仓库，利用大数据计算特点，进行批量计算、流式计算，通过数据指标分析、主题库和数据集市，对采集上来的数据持久化。通过模型对数据进行分析、预测。平台层建设XXX分公司综合信息管平台，构建统一门户，完成现有系统数据融合，为未来将所有的系统和数据整合奠定基础。新建系统，必须依托综管平台建设。业务应用层主要是综合信息管理平台服务集成，既将新建系统的服务集成至统一管理平台，提供可具体的业务功能。展示层提供大屏、PC端、移动端等各类面向客户的展示。硬件系统建设方案硬件建设方案包括外场设备设施建设和监控中心硬件改造两部分。本项目的外场设备设施建设主要是隧道出入口感知系统建设、中长隧道雷达感知系统建设及高速事故快速定位标志部署等三个方面。监控中心硬件改造主要包括满足等保要求的网络安全防护系统建设、数据中心存储计算资源扩充等两部分。硬件系统建设组成图软件系统建设内容本章详细描述XXX分公司综合信息管理平台软件系统建设内容，涵盖基础设施类、综合管理平台、及各个业务子系统的建设内容。软件系统的建设按照分期目标进行内容描述。总体设计概述根据调研结果，确定综管平台的建设独立于业务系统之外，只针对接入的业务数据通过大数据分析技术做数据分析、数据统计、数据挖掘及结果呈现，实际业务还在原系统处理。综管平台提供以大数据技术生态为基础的数据操作平台，从某种意义上来说，综管平台监是XXX分公司所有信息化系统的底层，是交通操作系统。综管平台，利用数据交换平台将已建设的业务系统数据通过传输、监控机制汇集到大数据管理中台，再通过大数据分布式存储计算服务将复杂度高、耗时长、易出错的统计指标需求变成简易、快捷、准确的统计结果通过图表进行输出，同时根据各业务种类进行数据治理，达到数据成果可信、可用的要求。利用成熟的算法工具，实现数据挖掘，将潜在的数据价值变现。充分考虑未来XXX分公司的发展方向及互联网应用需求，实现硬件资源的弹性扩展。最终将数据成果应用于领导辅助决策、提高业务水平和能力，为广大司乘、公众提供数据服务。软件架构设计整体架构设计XXX分公司综管平台整体架构如下图所示：综管平台软件整体架构图XXX分公司综管平台从层级结构分层包括数据源层、数据传输层、计算层、数据存储层、持久化层、业务层、表现层。数据源层数据源层主要包含收费系统（ETC收费门架数据）、路段监控平台、数字云等信息化系统。其中收费系统对应传输层是通过单向网闸实现。双方约定文件格式和目录，通过网闸监听主动抓取文件到数据采集服务器指定目录中。数据采集服务器根据数据文件变化定期写入到HDFS系统当中。路段监控平台通过双向网闸，双方约定数据接口，通过HTTP协议通过RestAPI传输数据。数据前置采集平台（DCPP）集成数据监听服务，当业务系统发送数据传输指令，集成服务开始启动传输机制。为避免业务系统处理压力过大建议每天1:00进行数据传输。数据传输层数据传输层依托两台数据传输采集服务器，互为主备，为数据传输提供7*24小时传输服务。传输服务分为文件传输服务、数据接口消息服务。文件传输服务为数据文件监听，当数据文件传输完毕后，监听服务将读取文件流写入分布式存储文件系统（HDFS）。数据接口服务采用自主开发，根据不同数据库、不同表结构约定传输协议，当业务系统通过数据接口提交数据时，数据接口服务将数据接收后放入消息中间件，通过消息中间件将数据写入到存储库（HBase）。数据接口服务需要提供数据推送/接收服务、消息队列服务、校验/过滤服务、状态监听服务。对于文件的传输控制同时提供日志、异常管理，主备服务器节点管理，数据结构管理，映射关系管理等。数据清洗服务贯穿数据周期将数据进行抽取、转换、清洗、加载等手段，将数据存储至分布式存储系统，形成数据仓库，来满足面向主题、效率足够、支持扩展等特性。计算层数据计算层主要包括对XXX分公司各项指标进行计算所用到的算法模型。算法模型包括实时交通分析模型、通行收费分析模型、设备监控分析模型、车流OD分析模型、安全生产分析模型等，使用如决策树算法、随机森林算法、逻辑回归算法、K均值算法、朴素贝叶斯算法等，通过大数据引擎对数据进行分析，完成经效分析、趋势预测等功能。数据模型可以说是大数据运营管理平台的核心。持久化层根据综管平台各统计分析数据成果，为了防止数据在I/O层成为瓶颈，因此设计了专为综管平台提供数据展示的业务数据库存储集群。业务层综管平台在完成各类数据统计分析结果呈现的同时，也提供标准的集成接口，将各个新建系统作为功能模块在平台呈现，通过功能、界面等约定，打造一个感官统一、功能清晰的数字平台。展示层展示层主要对大数据分析结果进行可视化呈现。目前大数据可视化系统有十分成熟的产品，可以对大数据分析结果进行可视化展现。使用各种动态图形界面，让管理者更加直观的看到大数据分析结果。同时还需要支持多种移动客户端平台的展现，如Android,IOS等，并且支持大屏投屏展现。综合运用计算机图形学、图像、人机交互等技术，将采集或模拟的数据映射为可识别的图形、图像、视频或动画，并允许用户对数据进行交互分析的理论、方法和技术。标准体系标准体系建设主要是规范数据标准，统一数据统计口径，规范数据交换协议，规范数据范围，使数据指标保持一致性。统计口径的匹配，如收费额分实收收费额、拆分收费额、月结算拆分收入等，需要指标含义明确。需要结合业务实际要求，加强数据标准体系的制定、发布、实施、检查、监督、修订、评估等。安全体系安全体系可分为数据安全分级、数据访问授权两部分，数据安全分级是指根据业务的需要，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据保护和访问提供数据安全控制的基础。数据访问授权是指根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。安全体系建设主要由于整个系统涉及大量的保密数据，而且部分数据共享基于网络环境，在设计过程中，必须考虑信息安全及保密措施，确保系统中的信息资源不被非法窃取和篡改，数据中心不被破坏，同时还要保证用户能够正常使用系统中的共享资源，提供应有的信息服务。为了确保该系统的安全性，在建立健全安全管理制度基础上，还必须采用有效的安全保密技术。系统技术架构设计XXX分公司综管平台系统技术架构如下图所示：综管平台技术架构图数据传输层应根据业务实际要求，收费系统中的收费数据通过单向网闸向数据前置采集平台进行汇总，路段监控平台等监控系统业务通过双向网闸，直接将实时数据通过数据传输服务也就是接口服务进行报送数据。双方通过约定，将业务系统中的数据采集至数据传输前置平台。存储计算层采用CDH进行部署，大数据存储选取分布式文件存储系统HDFS，存储接口采用HttpFs进行数据抽取接收。同时消息中间件Kafka作为中间资源池，进行疏导。当文件进入分布式文件存储系统当中，通过抽取、清洗、转换，将元数据转存如Hbase形成数据仓库，通过Hive对数据仓库中的数据进行归类、查询、调取，最终形成数据集市。通过大数据工作流调度Oozie、Yarn进行批量调度，通过Zookeeper进行大数据各节点管理。计算工具采用Spark进行批量与流式数据计算。集群管理采用CloudraManager、Hue，进行可视化监控。除此之外，统一日志平台贯穿始终，这里采用ELK的可视化日志管理，实现日志采集、日志分析、日志存储。综管平台的系统监控基础设施与服务监控，采用Gafana提供的服务器监控工作台，docker作为总体容器服务，负责管理镜像。数据传输设计概述针对各已建设系统，本项目将开发数据采集前置与交换平台，逻辑上位于各业务系统之上，与各业务系统直接对接，通过提供规范的数据接口，由各业务系统向数据采集与数据交换平台进行数据传输。其中数据交换平台部署与内外网交界位置，对内担负各业务系统数据采集，对外担负为ETL采集系统存储数据的功能，从而形成大数据分析的基础数据池。收费系统传输设计收费系统传输架构示意图收费数据传输要求1. 收费数据传输程序该程序根据业务实际需求，定时从收费库采集相关数据，以双方约定好的格式，形成数据文件，写入指定目录，由单向网闸同步到数据采集前置机。目录应按数据类别、采集时间、数据集名称等进行划分。文件名称中，应当包含数据集名称、采集周期、数据分片编号等内容，便于数据交换过程中对数据进行识别。2. 数据采集程序，应根据数据需求方提供的数据表清单，按设定的采集周期，采集数据库表指定范围内数据。3. 采集数据时，应根据实际情况，制订采集周期，尽量避开业务高峰期。通过调整采集周期，来调整采集数据范围及采集数据集大小，避免因单次采集量过大，造成收费数据库卡顿或崩溃。4. 对于过大的数据集，应采用适当分片策略，将单个大文件拆分成数个小文件，从而提高数据传输效率，避免因传输错误而导致整个文件重传。5. 数据传输程序从数据库将指定范围的数据导出写入文件完成后，应采用非对称加密算法生成文件签名，同时写入签名文件，用于接收端验证数据合法性及数据完整性。6. 数据传输程序应提供全量和增量两种采集方式，全量采集用于数据初始化，增量采集用于业务数据批量同步。数据接收程序1. 数据接收程序，监听数据同步目录文件写入完成事件，收到事件通知后，读取相应数据文件，进行校验，将校验结果写入传输监控程序数据库。2. 数据校验成功后，将数据传输至大数据存储平台相应目录。3. 如果校验不成功，则等待传输监控程序发送重传通知，进行重传。数据传输监控程序1. 数据监控程序，定时扫描数据传输状态，及时发现传输问题数据。2. 对于网闸同步过来的数据，如果存在错误，无法进行重传信息的传递。此时监控程序应当报警，通知管理人员进行人工干预。3. 对于前置机到大数据存储平台之间存在错误，应当通知传输服务进行数据重传。4. 监控程序应当对传输完成的数据文件进行定期检测，对超过归档期限的数据进行删除，以节省存储空间。接口设计平台设计采用主备模式，防止数据接口服务停止导致业务系统无法及时供数的情况，保证平台无单点故障，支持线性扩展。内部传输使用HTTP协议，采用文件作为传输的载体，文件内容可以是JSON 形式（具体格式由具体服务接口定义）。考虑到安全性，各业务系统需通过带票据（TIKECT）认证获取令牌（TOKEN），通过带令牌进行接口通信。前置平台根据TOKEN验证业务系统数据来源的可信性，而后接收数据。协议标准和说明Request：请求属性名值（示例）必填备注RequestHeadersbinfile-md5mm必填文件md5摘要，用于数据完整性校验md5摘要值兼容大小写bnegzpTrue/False必填mbneauhTcket必填鉴权码Content(Form)binFile传输文件的二进制流必填文件流multipart/form-data;boundary=inputstreamfilenameXXX_REQ_yyyyMMddHHmmssSSS.json必填Response:请求Header属性值（示例）必填备注ResponseHeadersbned5响应文件二进制流的MD5摘要示例：bcf7837571fab538772f65b137b71b9d必填文件MD5摘要，用于数据完全校验，MD5摘要值兼容大小写Conen-DspoonAachenfenae=XXX_RES_yyyyMMddHHmmssSSS.json必填与HTTP协议规定相同filename=返回文件命名规范Content-EncodingGzip必填同HTTP协议ConenenghConenengh492必填数据长度HTTP响应状态0~999必填详见响应码附件Content1.请求成功时为返回文件的二进制流。2.当状态码>=700时返回错误信息字符串必填数据传输采用HTTP协议；基于HTTPPOST方式进行数据请求，编码格式统一为：UTF-8编码；协议对HTTP协议做适当扩充，但不改变已有的HTTP标准的任何定义，实现者可充分利用实现语言的HTTP开发包;请求和响应的文件格式均用JSON;其他业务系统数据传输其他业务系统指的是：数字云、路段监控平台、数字云等各类业务平台。其他业务系统数据传输架构示意图1. 各系统集成方，须根据双方约定的数据清单，定时生成所需数据，并在指定的采集周期内，调用双方约定的数据传输接口，将数据及时上传到采集前置机。2. 数据量较大的平台，需进行流式计算，可由数据传输服务将消息上载到消息中间件，由中间件传输到大数存储计算平台，进行流式计算和持久化。3. 因数据传输服务处理数据量较大，可以通过单机运行多个服务实例进行扩容，并在传输服务前加入负载均衡组件，加大吞吐量和数据计算能力，同时保证服务高可用。4. 为加大前置机网络吞吐量，需对网卡进行聚合。5. 数据传输服务，需将数据传输和处理结果传输至传输监控服务，无论传输成功与否，都应提供相应传输记录，以供审计。6. 数据传输服务应根据数据传输是否成功，给各系统集成服务提供返回值，传输失败时，各系统集成服务应进行重传。7. 数据传输接口约定，双方必须对数据进行MD5签名校验，以保证数据完整性。数据采集与交换平台功能描述运用数据采集与交换平台,主要是为了适应信息共享的发展趋势,具有内部不同业务系统间、内部与外单位不同业务系统间进行信息交换的功能。收费系统通过数据文件进行交互，监控系统数据通过数据接口直接进入综管平台存储计算中。数据采集前置平台的建立应为今后业务系统的升级、扩展提供基础平台，大大缩短并减少管理系统的开发、部署周期和投资。数据采集与交换平台，提供定义和配置内部数据集成与协同的方法，对每次数据交换请求,能根据数据报特征计算与之相匹配的数据路由，并按数据路由的定义次序依次调用相应的数据处理服务，从而实现不同数据库间的数据与信息共享。数据采集与交换平台可根据数据接口定义，各业务系统数据表标准，要求业务系统向该平台周期性供数。并通过各外部系统API接口，制定数据采集或交换任务，从而拿到外部数据。1、支持主流硬件厂商的硬件平台及操作系统平台。2、平台能集中管理、控制各交换结点间数据交换规则和路径。提供数据交换全过程的配置方法，实现、松耦合零编程、强扩展的目标。具体配置交换任务时，从前置机数据包（或数据库）到各应用数据库服务器的数据处理及分发均可自定义。针对不同的交换任务，可自行定义数据采集、业务逻辑处理、数据存放等多个步骤。其中业务逻辑处理应以SQL语句或存储过程的形式体现，并嵌入到数据交换过程。中间交互过程和数据对象均应透明。在联网业务变化时，只要通过常用的数据库编程，即可完成任务的新增和修改，不需要掌握相关的编程技术，进行任务编程和编译发布。3、平台对外部数据交换采用前置联网服务器方式。联网前置机能与主流中间件产品进行直接联接，支持多协议接入，如SOCKET、TUXEDO、MQ、TCP/IP、FTP、NOTES等。联网时可根据接入点情况，通过联网属性定义（无需编程）完成联网的要求。同时还需要提供采用FTP形式进行数据交换的技术手段。最大程度降低接入点的成本投入，保证扩展的便捷性和兼容性。4、平台必须支持主流的数据库，如Oracle、SQLServer、Mysql等，支持异构数据库间的数据集成与协同，并保证多数据库（异构或同构之间）的全局事务一致性。具有数据同步/异步调用和交易冲正机制等功能。针对不同数据库分别提供相匹配的高效数据处理引擎，支持多结果集的数据处理，支持对多媒体等多种数据格式的读取、更新等处理能力。5、平台能支持64位技术；能与64位版本的数据库系统集成。针对不同的操作系统和数据库，可提供一致的缓冲区、消息的持久化；具有交易的调度功能，支持路由规则的动态变更；支持提供客户端和服务器之间多种通讯方式：会话、广播通知、管道、发布/订阅；提供多种接收通知消息的机制满足不同的应用场景需求；联网报文采用字符串报文、二进制流、XML格式报文、文件等形式。6、平台能支持不同地域的服务器进行服务端连接，能够进行连接策略和加密的配置；支持跨越广域网的服务器间进行透明的请求转发和内容依赖路由机制；提供服务器间的连接保持机制，保证连接不会因为短暂的空闲被断开；提供网络传输压缩功能，以减少应用在网络上的传输量，压缩功能必须是可配置的，对应用透明。7、平台要提供多种高可用性，能够在服务节点间进行请求转移；支持在单机模式和多机模式下，提供多种不同的负载均衡算法，包括轮、权值等；支持有计划的停机，提供工具将业务组件迁移到其他节点，对节点维修后，可以将原有组件迁回，并正常运行。8、平台必须具备事件触发、定时任务、数据触发（当某些敏感数据发生变化时主动触发）数据交换的发起数据交换请求的技术性能。数据触发服务，即数据交换过程中，可根据特定情况进行特殊处理的服务（如业务高峰期间），外单位向交换平台发送了大批量数据处理请求，为了保证内部核心业务系统的正常运行，交换平台接收请求后并不及时处理，而是在业务空闲期再响应外单位请求等。9、交换平台应具备完善的日志管理机制。对交换任务全过程进行监控和日志管理。具备直观、详细的运行与状态日志，同时还具有日志分析功能，帮助用户调整优化平台运行性能。性能要求1、对简单的实时交易，数据交换平台能在1秒内完成交易从接受请求到处理完成。2、数据交换平台具有较高的稳定性，对10万次以上的连续请求处理无故障。3、对实时或批量的数据交换业务请求予以响应，支持至少10个并发请求的响应，具备大并发量处理机制，支持实时与批量数据的均衡调度。4、对大数据包的处理，记录量在100万条左右，能在10分钟以内完成交易从接受请求到处理完成。服务与基础设施监控设计本系统基于Prometheus+Grafana实现，为平台服务、基础设施提供统一监控功能。服务与日志监控框架示意图监控分为系统服务监控和基础设施2部分：系统服务监控：系统服务基于Java实现，通过Actutor组件，对系统监控数据进行采集，采集到的监控数据经过Prometheus的Exporter进行格式化，由特定端口输出，Prometheus监控组件拉取该数据后，存储到时序数据库。基础设施监控：针对不同的基础设施，使用不同的Exporter进行数据采集，由特定端口输出，监控组件拉取该数据后，存储到时序数据库。Grafana通过读取Prometheus的数据序列，通过PromQL语句对数据进行查询、过滤、汇总后，由Grafana的各种看板进行数据可视化，供相关人员查看，辅助决策。监控系统主要监控内容有如下方面：负载均衡组件监控本模块用于监控负载均衡组件Nginx的运行情况。监控内容包括请求数、响应数、请求时间、响应时间、访客数量、性能表现等。负载均衡监控界面示意图分布式文件系统监控本模块用于监控分布式文件系统GlusterFS的运行情况。监控内容包括Inodes大小、文件热度、数量存储容量、存储块有效性等。HDFS监控界面示意图平台服务组件监控平台服务组件基于SpringBoot+Actuator实现，本模块用于监控这些服务组件的运行情况。监控包括以下内容：服务状态：实例运行状态、运行时间、错误数量、警告数量、平均响应时长、API状态：每秒请求数量、热度前10排行Tomcat：请求处理时长、每秒响应数量、线程数量JVM：空闲内存数量、实时内存占用、空闲Heap内存、空闲非Heap内存、实时Heap内存占用、时间非Heap内存占用、JVM垃圾回收：回收次数、FullGC时长等。JVM杂项：CPU占用百分比、系统平均负载、线程数、文件描述符数等。平台服务监控界面示意图平台服务监控界面示意图数据库监控本模块用于监控MySQL、Oracle等关系型数据库的运行情况。监控内容包括启动实例数量、启动时间、连接数、磁盘IO、网络流量、查询速度、线程数量、中止客户端数量、中止连接数量等。数据库监控界面示意图数据库监控界面示意图服务器节点监控本模块用于监控服务器节点，如Linux操作系统和Windows操作系统运行情况及资源使用情况。监控内容包括系统运行时间、CPU核心数量、内存容量、CPU使用率、CPUIO、内存使用率、打开的文件描述符数量、根分区使用率、最大分区使用率、实时系统平均负载、磁盘空间分布、分区使用率、CPU使用率曲线、磁盘IO曲线、内存使用曲线、磁盘读写速率、磁盘读写容量大小、磁盘IO读写时间、网络流量、TCP连接情况等。服务器节点监控界面示意图服务器节点监控界面示意图消息队列监控本模块用于监控Kafka消息中间件节点的运行情况。监控内容包括实例运行状态、连接数量、通道数量、消费者数量、节点启动情况、各队列消息积压数量、各状态消息数量、磁盘使用量、内存使用量等。消息队列监控界面示意图一期工程软件建设内容综合信息管理平台框架建设概述面对日益复杂的高速运营环境，利用大数据技术突破常规软件的限制，在规定的时间内对海量的数据进行统计计算，挖掘数据价值，分析用户的行为特性、提升用户体验、为企业带来更多的商业价值是大势所趋。综管平台部署于互联网应用区，接入“收费系统”，“路段监控平台”，“办公系统”，对其进行数据信息采集，通过大数据集群进行数据分析与计算，通过PC端完成数据指标分析过程，通过指调中心大屏展现大数据分析成果，同时为移动端平台提供数据展现接口。XXX分公司的信息化建设是一个长期工程，基于目前已建设的系统，需要顶层设计。一期工程的核心目的就行搭建XXX分公司综合信息管理平台的框架，将目前核心业务系统纳入平台分析范围，同时对新建系统进行系统融合、数据融合，实现XXX分公司整体信息化的数据底座、模型底座和平台底座。综合信息管理平台的功能架构图如下：综管平台软件功能架构图以上为综管平台的功能架构图，综管平台是以大数据分析计算为核心的平台。因其独立于其他业务系统采集、接收业务系统数据，通过大数据技术对业务数据进行存储、计算、分析，因此功能上并不参与各业务系统中的实际业务管理。综管平台的核心业务是针对于公司的各项指标，提供指标管理、模型管理、数据集市管理、数据资产监控等管理界面。本期建设的核心是搭建综合信息管理平台框架，并在此基础上进行已建系统的集成和后续新建系统的接入。角色描述序号角色名称机构人员备注1公司领导公司总经理、副总经理、总工程师、业务部门领导2管理人员各收费站站长、部门主任、科长。2普通人员各部门工作人员3指标管理人员各部门领导、工作人员、数据分析师4指标分析人员各部门领导、工作人员、数据分析师、数据算法工程师5系统管理员数据分析师、算法工程师、系统实施人员6系统监控员工作人员、系统实施人员、系统开发工程师系统角色可按功能需求配置给不同的用户、用户绑定角色。不同人员与功能之间为多对多关系。功能摘要序号功能大类功能小类功能摘要备注1大屏展示可视化编辑支持多种表格、统计图及图表展现。实现自由布局，使用户DIY制作布局。支持动态钻取，联动分析。响应快速。2数据管理数据指标管理实现各个业务平台的指标统一管理。各业务系统的数据指标以标准接口方式注册到本模块，并提供具体数据应用。3系统管理集群管理管理控制台服务器和应用程序逻辑，负责软件安装与配置，启动和停止服务，管理服务运行的集群4备份恢复管理设置每日备份任务，检查每日备份任务。定期输出备份存储空间管理日志。管理数据迁移。5监控管理提供总体概况，告警概况。总体监控信息一览。支持用户自定义告警阈值。支持服务器、负载、分发、任务的监控。6消息管理提供对大数据平台消息传输管理机制。7日志管理实现实时分析、实时检索、海量存储，建立索引，以便快速查看、搜索、数据流传输、日志结构化、分析统计8统一门户组织管理对公司各部门机构层级关系，机构信息进行管理。9人员管理对公司人员信息进行管理。10角色管理根据不同的角色，确立相应的功能权限。功能说明大屏展示大屏利用XXX分公司指挥调度中心监控室的LED大屏进行展示。提供可编辑的大屏操作页面，由用户实现大屏展示的编辑。可根据不同的需求定制开发不同的大屏展示场景。画面要求系统应提供精于业务及系统融合的大数据可视化，通过图形界面轻松搭建专业的可视化应用。满足指挥调度中心、营运部、公司经理室、会展等多场景使用需求。提供工程视图可分区域进行工程视图创建，按照屏幕大小区域划分主题区，子主题区。主题区与子主题区为树形结构。提供功能可编辑各主题名称。提供基础组件提供场景编辑的各种基础组件，如：文本编辑、复选框、单选框、文字控件、单选钮、开关钮、时间控件、图片链接、网页链接等。提供图表组件提供图形UI组件，包括基础UI图和高级UI图两部分，基础UI提供线图、面积图、柱形图、饼状图、散点图、混合图、仪表图、热力图等。高级UI图包括：堆叠图、百分比堆叠图、曲线面积图、范围面积图、流图、百分比堆叠图、分组堆叠图、嵌套柱状图、角锥柱形图、双饼图、扇形图、旭日图、环状图、韦恩图、欧拉图、气泡图、3D图、桑基图、高阶矩阵图、雷达图等等。提供地图组件地图组件采用高德提供开源地图。XXX分公司路全线比例用1：20比例。提供业务组件提供相关指标体系、指标模型。主显示区提供场景画面高、宽数据值，及高宽比显示功能。提供在比例内x轴，y轴数值功能。主页内提供标尺。可在主显示区内拖动各组件、各布局进行编辑。页面设置提供主题名称编辑、页面背景颜色编辑、布局模板、业务模板、刷新频率等功能。组件设置提供边框颜色、背景、样式、显示、隐藏等功能。预览与运行提供大屏展示方案的预览、测试、投屏运行功能。可将所编辑的场景进行预览，查看整体界面情况，也可进行测试，如刷新速度、性能。最终可直接根据不同的屏幕大小进行投屏。主要技术1、自由式拖拽页面编排技术：实现编排画布区，仅仅依靠拖、拉、拽的方式即可进行页面编排，自由布局，自动排版，具有PPT式的快捷体验，轻轻松松即可配置出一个数据可视化页面。2、交互式事件编排技术：在普通页面级编排技术上，创新地增加的交互式事件编排与运行技术，利用在页面上下文中识别事件、输入、处理、事件关联响应、输出的方法，使得可视化的Web页面具备交互式操作的效果，让数据可视化“活”起来。3、页面动态解析和运行技术：采用“约定配置/动态解析”的设计理念，编排出的页面或者页面集合，在运行时，能自动根据约定的配置进行动态解析，并加载数据、响应事件，让所有页面运行起来，无需开发人员进行任何代码开发。4、多态组件融合技术：创造了多态组件融合技术，在同一个框架下，实现不同来源、不同架构、不同形态的组件融合，实现对这些组件进行统一管理、统一配置、统一运行。不管是eChart2/3/4.js、D3.js、three.js、hchart.js等提供的组件，还是自己硬编码开发的组件，都支持无缝融合。5、自助式探索分析：丰富的交互组件，强大的多维分析。支持图表之间、页面之间的多样化事件联动、参数传递，事件动作灵活配置和数据轻松交流，让数据说话，让数据具有活力。6、GIS图层自助式配置运行技术：采用GIS相关技术，实现图层的自定义，渲染参数自定义，图层数据的自定义，实现灵活的自助式GIS数据呈现。7、基于WebGL的3D图形可视化技术：采用前沿的WebGL技术，实现在Web端的轻量级3D模型构建、交互动作设置和响应、多维数据展示。8、多数据源适配技术：支持多种数据源的自适配能力，包括：传统关系型数据库、文本文件、其他ODBC/JDBC数据源以及各种大数据平台，用户操作这些数据源时，不用关心具体的数据源类型。支持图形化的自助式数据建模，支持星型模型、雪花模型。同时也支持直接SQL方式的建模。数据指标管理数据指标可以按照实时数据和定时数据进行区分，无论哪个业务系统的数据指标，完成设计和开发后，都纳入数字指标的管理。可以对某个指标进行实时查询，也可以将指标应用到大屏展示的页面。举例说明如下：序号指标类型数据指标名称指标解释备注1实时数据车流总量所有站口入出口合计当日或某时段2实时数据全网运行车流总量所有站口只入没出合计当日或某时段3定时数据收费总额所有站口收费额合计截止今日零时4定时数据ETC车道收费额所有站口ETC收费额合计截止今日零时也可按照不同统计维度进行统计。一期工程数据指标库需要建设的指标包括：（1）断面交通量统计功能说明断面交通量统计实现对单位时间内通过道路某一地点或某一断面的车辆数。该数据可用于分析断面交通流量情况，以及车流预测。统计结果表现为断面信息、统计周期、交通流量等指标。算法说明为了获取封闭断面间的车流量，需要根据车辆进出站和经过的标志站信息，拆分出其所经过的每一个路段的信息。然后将收费流水数据计入到每一个路段所属的断面中，最后通过汇总即可得到通过某一断面的交通量。路段事故点情况统计定时数据以年为单位，显示事故发生起数，伤、亡人数合计数、直接经济损失数。事故原因分类，事故救援预案，事故及事故救援持续时间。人员岗位情况统计定时数据以天为单位，更新各站口、工区值班人员，姓名、年龄、学历、对应岗位、星级、在岗时长、岗位名称等。道路监控视频统计定时数据以小时为单位，更新显示摄像机位置、启停状态、是否故障。分站、分段统计监控设备数量，随时调取某一监控视频流数据（实时监控、录像监控）。机电设备运行情况统计定时数据以小时为单位，更新全线机电设备分种类统计数，在线运行设备合计数，是否故障，正常设备合计数，故障设备合计数。设备种类、厂家、用途、运行时间等。收费班组人员情况统计定时数据以天为单位，各站换班情况、上岗人数、下岗人数，代班班长姓名等统计。数据指标管理就是将上述指标通过指标目录进行管理，提供管理相应的指标管理界面，对指标的分类、详情、描述、统计维度等信息进行编辑。通过SQL或NOSQL将数据指标所产生的结果，进行跑批计算，实时的数据就直接参与计算，最终生成统计结果。系统管理采用管理工具进行系统管理。集群管理功能设计概述集群管理对每个部件都提供了细颗粒度的可视化和控制，从而设置了企业部署的标准。通过集群管理，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。功能描述服务监控提供查看服务和角色实例级别健康检查的结果，并通过图表显示，有助于诊断问题。如果健康检查发现某个组件的状态需要特别关注甚至已经出现问题，系统会对管理员应该采取的行动进行建议。同时，系统管理员还可以查看上一次的服务或角色上一次的历史操作，也可以查看配置更改的审计日志。主机监控监控集群内所有主机的有关信息，包括：哪些主机上线或下线，主机上目前消耗的内存，主机上运行的角色实例分配，不同的机架上的主机分配等等。汇总试图中显示了所有主机集群，并且可以进一步查看单个主机丰富的细节，包括显示主机关键指标的直观图。行为监控提供列表以及图表的方式来查看集群上进行的活动，不仅显示当前正在执行的任务行为，还可以通过仪表盘查看历史活动。同时提供了各个作业所使用资源多少的统计，系统管理员可以通过比较相似任务的不同性能数据以及比较查看同一任务中不同执行的性能数据来诊断性能访问问题或行为问题。事件活动监控界面可以查看事件，并使它们用于报警和搜索，使得系统管理员可以深入了解发生集群范围内所有相关事件的历史记录。系统管理员可以通过事件范围、服务、主机、关键字等字段过滤事件。报警通过配置可以对指定的事件产生报警。系统通过管理员可以针对关键事件配置其报警阈值、启动或禁用报警等，并通过通过SNMP的事件得到定制的警报通知。系统也可以暂时抑制报警事件，此限制可以基于个人角色、服务、主机、甚至整个集群配置，使得进行系统维护/故障排除时不会产生过多的警报流量。审计事件记录了有关服务、角色和主机的生命周期的事件，如创建角色或服务、修改角色或服务配置、退役主机和运行管理服务和命令。系统管理员可以通过管理员终端查看，界面提供了按时间范围、服务、主机、关键字等字段信息来过滤审计事件条目。可视化的时间序列数据图表系统管理员可以通过搜索度量数据，系统将根据指定规则创建数组，组（方面）数据的图表，并把这些图表保存到用户自定义的仪表盘。日志介绍如何访问日志中的各种考虑到正在查看当前上下文的方式。例如，监控服务时，可以轻松的点击链接，查看相关的特定服务的日志条目，通过相同的用户界面。当查询关于用户的活动信息，可以方便的查看作业运行时所用的作业的主机上发生的相关日志条目。报告可以将收集到的历史监控数据统计生成报表，比如按目录查看集群作业活动的用户、按组或作业ID查看有关用户的磁盘利用率，用户组的历史信息等。这些报告可以根据选定的时间段（每小时、每天、每周、等）汇总数据，并可以导出为XLS或CSV文件。同时系统管理员还可以管理包括搜索或配额等HDFS目录设置。备份恢复管理功能设计概述对于企业级数据中心来说，通常存储的是非常关键的企业数据，备份恢复管理功能能够保证数据始终