加油站流量数据采集系统需求说明

加油站流量数据采集系统需求说明一、项目概况本项目包含开发设计加油站流量数据采集系统，根据采购人要求进行系统安装部署，到各民营加油站通过安装数据采集工具（非介入式），实现加油站油品进、销、存数据采集及存储。加油站流量数据采集系统安装部署后开展调试、试运行、检验验收、技术培训、技术支持及售后运维服务等。项目将严格遵循《加油站数据采集系统技术规范》（GB/T35545-2017）标准，确保数据采集的实时性、准确性和安全性，最终形成覆盖地市级的加油站经营监管大数据平台，为能源主管部门提供决策支持数据。二、项目采购需求（一）建设背景为进一步规范全市成品油零售市场监管、营造公平竞争的市场环境，切实加强成品油行业安全管理，根据市人民政府工作部署，决定建设“加油站流量数据采集系统”，充分利用技术手段有效保护消费者合法权益，维护公平的市场秩序。按照“全市统一推进、属地协调配合”的原则，运用大数据、物联网等信息化技术手段，立足全市加油站管理现状，对全市154座加油站，安装“数据采集系统”从而实现全市成品油数据全面采集和统一管理，为商务、市场监管、应急、公安、税务等部门提供更加精准的监管数据和更加有效的监管手段，营造公平有序的成品油市场环境。（二）项目概况搭建和部署安装加油站流量数据采集系统，完成全市154座加油站数据采集，并结合经营数据开展加油站企业风险分析与监控，具体包括加油站流量数据采集系统部署和优化完善、系统集成调试和适配，部署安装完成后，开展试运行和检验验收，项目技术支持和培训，售后运维服务（在售后运维服务期限内根据政策和项目实际情况对系统进行免费升级、漏洞修复、系统运行维护等）。（三）采购需求3.1系统功能和技术要求3.1.1软件采集端软件采集端主要包括交易数据采集、数据比对等功能。其中交易数据采集支持适配不同的操作系统，通过许可证配置与数据管理端取得通信，通过深度解析并贯通底层通信协议，运用先进的软件绑定策略，实时获取加油站的交易信息，解译的数据支持加密传输至数据管理端，对于断网、中断等异常情况，提供数据离线存储、失败重传、自动升级等一系列的保障。序号一级功能二级功能功能描述或技术参数1操作系统适配操作系统适配库适配市面上主流加油站服务器的操作系统，如linuxx86，window7,10,11,xp等。2数据报文采集规则协议库适配市面上主流加油站通讯类型的规则协议，如主流国营加油站规则协议；常见民营加油站规则协议；国外加油站规则协议等。3报文协议采集支持对不同类型传输链路的加油数据进行采集，包含TCP/UDP网口、串口、HTTP端口三种方式。全面覆盖加油站数据报文的传输渠道，实时、安全、稳定地获取加油站真实交易流水信息，整个获取过程与加油站原有系统隔离，不影响加油站的正常运行。4报文协议解析基于规则协议库，支持对不同的报文进行匹配解析，实时获取加油站真实的交易流水信息，包括加油机枪号、交易时间、油品类型、单价、油量、金额，累计数，加油卡号，加油卡余额等。5数据传输内外网数据实时传输支持内外网逻辑隔离的加油站，通过外网代理服务，实现数据实时传输。能解决部分加油站无经营电脑、无加油机信号线等情况的数据采集传输。不能对加油机做任何改装（包含加装任何设备）6内外网离线数据传输支持在内外网物理隔离的加油站，通过内网导出数据、外网导入上传至采集服务端。7数据加密报送采集的数据使用加密算法加密，确保数据传输过程中被篡改，以此保证数据的安全性。8数据离线存储若发生断网，报文上传存储将加密保存所有未上传的交易流水数据，网络恢复后可实现重新上传。9采集控制失败重传网络正常时，当出现数据传输失败，失败重传机制将实现传输失败数据的自动重新上传。10自动升级采集客户端监测到服务端发布了新版本时，将自动完成新版本的安装升级。11日志记录上传采集客户端的关键日志将上传至服务端，便于后续的问题监测与处理，如心跳记录、实时状态、问题日志等。12程序守护自动重启：当采集客户端异常退出时，守护进程能够自动检测到并重新启动该程序；自启动配置：系统启动时自动运行，进而保障采集客户端在系统启动后能够立即开始运行；日志记录：程序守护实时记录运行日志，便于问题排查和监控；自动维护：根据资源使用情况，自动清理资源，保障采集客户端的稳定运行。13断网重传网络中断导致数据传输失败时，断网重传机制在网络恢复后，将实现传输失败数据的自动重新上传。14采集管理许可证配置每个加油站后台自动分配唯一的许可证编码，采集客户端通过配置该编码与采集服务端建立通信和连接。15上报采集记录支持手动导入加油站交易流水数据，一键上传至采集服务端。16报送结果查询支持查询指定时间范围的采集数据报送记录，包括报送量、报送时间、报送状态等。17

性能参数

资源占用

CPU占用：平均占用CPU不超过5%。内存占用：平均占用内存不超过200MB。峰值内存占用不超过300MB。磁盘占用空间：程序+必要数据占用空间300MB以内。日志占用空间可配置，默认最大10G。18数据上传数据上传速度：服务器允许的情况下，支持每秒上传100条数据。19软件兼容通过常见安全软件360，腾讯安全助手，火绒等安全检测。20日常比对采集数据核对支持对管理平台每日推送给加油站的采集数据概况展开查询，查询结果包括交易日期、枪号、油品类型、起泵码数、止泵码数、对应的采集时间、日累计加油量、确认状态等，查询条件包括交易日期、枪号、油品类型、确认状态。日周月季年等相关数据支持导出数据、对数据展开核实确认。21采集数据核对规则维护采集数据核对支持选择不同的核对方式，设置管理平台推送数据的统计口径，包括按照自然日核对（即按日对每天0点至24点的数据进行汇总比对）、按照交接班时间核对（即按日对当天交接班时间至次日交接班时间的数量进行汇总比对），若选择按照交接班时间核对方式，设置交接班时间点。22加油明细比对支持发起新增明细比对，选择比对区间、下载导入模板，导入比对文件，向管理平台发起比对申请。支持对比对记录展开条件查询，查询条件包括比对时间、比对状态，查询结果包括比对区间、比对时间、比对状态、比对结果、是否已反馈、反馈时间、支持查看具体的反馈结果。3.1.2数据管理端数据管理端实时接收采集端上传的数据，对其解密入库后同步至管理平台。数据管理端支持对采集器、加油站基础信息、采集运营、软件采集端展开统一的管理；支持对数据采集、数据质量展开统一的监控，全方位保障数据采集的持续性、有效性、稳定性。序号一级菜单二级菜单描述1采集器管理设备资产清单对接入采集端展开统一的管理，支持用户进行新增、导入、删除等操作。2加油站基础信息加油站企业信息支持对需要采集的加油站企业展开基础信息维护。3加油站基本信息支持对需要采集的加油站展开基础信息维护。4采集运营管理单户采集跟踪支持对单户加油站展开采集跟踪，包括采集配置、采集概览、设备健康概况、链路健康概况等。5采集运营分析统计不同地区的采集情况，包括应采集户数、已采集户数、未采集户数、无法采集户数等；统计不同采集状态的加油站户数，近一周、近一月、近三月的已采集户数，无法采集加油站清册及对应原因。6数据采集监控数据采集设备监控支持对不同加油站当前的采集状态（包括正常状态、异常状态）进行实时跟踪和查看，支持查看加油站的采集终端在线率、最新心跳时间、距离当前时长、历史离线次数、历史离线明细等。7数据采集链路巡检支持对不同加油站当前的采集链路状态（包括正常状态、异常状态）进行实时查看和跟踪，支持查看加油站的上传链路中断率、最新记录时间、距离当前时长、历史中断次数、历史中断明细等。8一站式采集监控详情支持对指定加油站的采集监控详情进行查看跟踪，包括采集概览、采集基础信息、设备健康概况、链路健康概况。采集概览展示日采集、月采集概况；采集基础信息展示软件采集端的部署配置参数；设备健康概况展示软件采集端的当前状态、历史离线记录；链路健康概况展示软件采集端的当前状态、历史中断记录。9数据质量监控质量指标管理建立不同维度的指标把控数据质量，包括关键数据项丢失、数据项格式不一致、泵码数不连续、泵码异常清零等，为采集质量把关建立支撑。10数据质量监控实时监测数据质量问题，每日汇总运行质量指标，及时发现、监控数据质量问题，每周统计数据质量情况，保证采集数据持续有效。11实时交易流水查询支持查看实时交易流水数据，包括企业名称、加油机枪号、交易时间、油品类型、单价、油量、金额等，12实时泵码累计数查询支持查看不同加油站、不同加油枪的累计泵码数明细，动态统计期初/期末累计泵码数、区间增量累计泵码数/增量加油量。13加油站、加油枪数据量丢失分析支持查看不同加油站、不同属期的采集数据量、与其自身月平均采集量比对差异率，发现采集异常的加油站；支持查看不同加油站、不同加油枪、不同属期的采集数量，与其自身加油站同油品的油枪采集量比对差异率，发现采集异常的油枪。14订单数据项丢失分析支持查看存在数据项丢失的加油站，支持查看具体的丢失明细，包括油品类型值丢失、单价值丢失、加油量值丢失、金额值丢失。15软件采集端管理客户端发行管理根据市场上加油机的更新迭代，定期发布对应的客户端版本。16远程升级管理支持远程升级指定客户端版本，支持指定白名单，定点升级指定客户端版本。17客户端升级记录支持查看加油站的历史升级记录，包括加油站名称、升级时间、升级版本等。18数据接收解析数据接收解析实时接收采集客户端上报的加油站交易数据，并对数据进行解析，包括超级集线器协议解析、数据报文协议解析。19数据解密对采集客户端上报的加油站交易数据进行安全解密，获取交易流水的明文信息，包括企业名称、加油机枪号、交易时间、油品类型、单价、油量、金额等。20数据入库解密后的数据实现直接入库，同时数据将实时同步至智能管理平台应用端。21系统运维日志管理日志采集：负责生成交易数据采集日志、客户端在线状态日志、数据上传日志和软件运行状态日志。日志上传：将日志数据实时加密上传到云服务器。日志存储模块：将日志数据存储到云数据库或日志存储服务中。日志查询模块：提供按时间、加油站、日志类型等条件的查询功能。日志分析模块：对日志数据进行汇总和分析，生成统计报表。22资源监控资源监控：支持对服务器CPU，内存，数据库资源，网络带宽，请求队列等资源进行监控。3.1.3管理平台管理平台包括全景监管、日常管理与分析、风险监控、作弊监控、日常比对五部分，对加油站开展全方位的日常管理与风险监控。序号一级菜单二级菜单描述1全景监管数据采集概览监控所选地区内加油站基础数据采集情况，包括加油站数量信息、采集数据量信息、采集销售额信息、以及数据采集告警信息等信息。2加油站一户式画像大屏展示单户加油站基础信息和经营情况，包括加油站内油机数量、油枪数量、油罐数量及容量等；实时加油金额、油量；按交易时间排列每笔加油交易金额；按月统计加油站销售额等信息。大屏展示所选地区内某加油站当日各种油品的销售量和销售额，提供当日油品交易采集实况以及采集质量情况，同时提供各类油品的单价、销售量、销售额占该街道/区县/全市的排名情况等信息。3加油站概览展示全市某年内加油站汇总信息，包括加油站数量、油机数量、累计售油量、累计销售额等数据；所选年度内每月汇总销售金额、入库税款；企业销售排名；各类油品销售分布；各大企业加油量对比等信息。4商务监管概览大屏展示全市及各区县内加油站销售监管信息，包括加油站数量、购进油量、销售油量、销售金额等信息；当日各类油品购进量和金额；当日各类油品销售量和金额；市内各区县按销售总额排名；市内加油站按销售总额排名；以及相关预测监控信息等信息。大屏展示全市及各区县油品库存信息，包括各类油品库存、近7天全市各类油品变化、库存区域排名前十名、库存油品占比、以及各地区库存偏低监控。5经营状况概览大屏展示加油站在地图上的地理位置分布，不同图标区分正常加油站和异常加油站，统计加油站的收入总量及同比，展示不同油品的、不同月份的购进油量及金额的变化趋势；展示不同油品、不同月份的销售油量及金额的变化趋势。6日常管理与分析

纳统加油站汇总查询汇总全市上年销售总金额超过500万的加油站信息，可查询加油站属期内销售总量、销售总额、各类油品的销售量和销售额等数据。7全域加油站油品单价排行榜支持所选地区内各类油品某个属期内在各个加油站的单价排行，提供对比分析。实现对选定区域内各类油品（如92汽油、95汽油、0柴油等）在特定周期内的价格动态监测与多维分析，具体功能包括：1.油品单价排行功能-区域范围选择：支持按省、市、区县或自定义地理围栏筛选加油站；-油品类型筛选：可分类查看汽油、柴油、乙醇汽油等不同油品的价格数据；-时间维度设置：按日、周、月或自定义周期（如调价窗口期）生成价格排行；-排行展示方式：-高价/低价TOP10：显示区域内单价最高/最低的加油站名单；-价格区间分布：以热力图形式展示不同价格区间的加油站密度；-品牌对比：区分中石化、中石油、民营等不同经营主体的价格水平；2.多维度对比分析-横向对比：-同一油品在不同加油站的实时单价差异对比；-同一集团（如连锁品牌）旗下加油站的价格一致性分析；-纵向趋势：-单个加油站的历史调价轨迹（对比政府指导价浮动幅度）；-区域均价波动与原油价格、税费政策等外部因素的关联分析；-异常价格预警：-自动标记单价偏离市场均值±5%的异常站点；-生成疑似违规（如低价倾销或高价垄断）的加油站清单；3.数据可视化与输出-动态看板：提供交互式地图+图表混合展示，支持钻取查询；-分析报告：一键生成PDF/Excel格式的价格分析简报，含趋势图、统计表及关键结论；-API接口：开放数据接口，供政府监管平台或企业ERP系统调用；8全域加油站油品保供分析支持所选地区内某个属期内各个加油站的预测销售总量、预测库存量、以及预测供应缺口，提供预测评估报告。1.核心预测指标-预测销售总量：基于历史销售数据、季节性因素、区域经济指标、油价波动等变量，通过机器学习模型（如时间序列分析、回归模型）预测属期内各加油站的日均/周均/月均销量。-预测库存量：结合当前库存水平、供应商交货周期、在途运输量，动态计算未来属期内的预期库存余量（分92/95/柴油等油品类型）。-预测供应缺口：当预测销量超过（库存量+计划到货量）时触发预警，量化缺口规模（如短缺吨数/天数），并标注高风险站点。2.多维度数据输入-外部因素：交通流量数据、节假日安排、竞争加油站促销活动、天气预测（极端天气可能影响运输或需求）。-内部数据：加油站POS记录、库存管理系统数据、供应商合同条款（最小订货量、响应时间）。3.预测评估报告内容-准确性分析：对比往期预测与实际数据的偏差率（MAPE、RMSE），标注模型置信区间。-敏感性测试：模拟油价上涨5%或突发道路施工对销量的影响。-优先级建议：按缺口严重程度（如持续缺货>临时短缺）和站点战略价值（如高速路站点>郊区站点）生成补货优先级清单。-可视化看板：地理热力图显示区域供需态势，趋势线图表展示各站点预测销量与库存消耗曲线。4.动态响应机制-自动补货建议：当缺口超过阈值时，推送采购订单建议（含推荐供应商和最优配送路线）。-应急方案：对缺口持续扩大的站点，提供跨站点调拨方案或临时采购渠道（如紧急协议供应商）。9加油站销售统计统计所选地区内某年的加油站销售信息，包括加油站属期内销售总量、销售总额、各类油品的销售量和销售额等数据。10同区域加油站销售情况比对提供同一行政区内同一属期内加油站销售总量、销售总额、以及各类油品的销售量和销售额的对比分析，同时汇总该行政区内销售总量、销售总额、平均销售总量、平均销售总额等数据。11同区域民营、国营加油站销售情况比对提供同一行政区内同一属期内国营加油站和非国营加油站的销售总量、销售总额、以及各类油品的销售量和销售额的对比情况。12市场供销平衡监测支持对供应缺口大于监控值的加油站进行监控，并展示预测的销售总量、库存量、供应缺口等信息。13销售数量波动异常监测支持对销售总量同比或环比超过5%的加油站进行监控，并展示对应属期、销售总量、同比数据、环比数据等信息。14作弊监控订单异常监测支持查询月订单数丢失、日周月季订单数丢失、订单金额篡改的加油站监控信息，查询结果包括社会信用代码、企业名称、监控时间、监控类型、异常说明、作弊指向、推送状态、监控状态，查询条件包括社会信用代码、企业名称、监控时间、推送状态、监控状态、监控类型。支持将监控信息推送至加油站。支持对监控信息展开对账，比对具体的报文采集数据与零售系统数据明细差异，自动标注正常和异常明细，支持导出明细数据。支持自动生成监控报告，显示加油站基本情况、异常监控说明（监控点、监控描述、数据分析）等，支持下载报告。15泵码异常监测支持查询泵码累计数异常、泵码不走字异常的加油站监控信息，查询结果包括社会统一信用代码、企业名称、监控时间、监控类型、异常说明、作弊指向、推送状态、监控状态，查询条件包括社会信用代码、企业名称、监控时间、推送状态、监控状态、监控类型。支持将监控信息推送至加油站。支持对监控信息展开对账，自动提示疑似作弊指向，显示相关数据的具体明细，自动标注正常和异常明细，支持导出明细数据。支持自动生成监控报告，显示加油站基本情况、异常监控说明（监控点、监控描述、数据分析）等，支持下载报告。16日常比对每日汇总比对查询每日汇总比对查询支持对推送给加油站的比对记录展开条件查询，查询结果包括交易日期、社会信用代码、企业名称、登记序号、日累计加油量、日累计金额、比对状态、比对时间、比对结果，查询条件包括交易日期、企业模糊搜索、比对状态、比对结果。支持查看具体的比对详情，包括日销售油品汇总数据、比对明细。日销售油品汇总数据支持查看对应比对记录下不同的枪号、油品类型、平台采集泵码数情况、客户端泵码数确认情况、平台采集汇总数量、加油站人员反馈上比对汇总数量。比对明细展示对应比对记录下的加油站比对记录及结果，包括交易时间、枪号、油品类型、平台采集数量、加油站人员反馈上比对数量、比对结果，展示加油站人员反馈的差异明细证明材料。17其他要求其他要求系统架构需为模块化设计，能实现用户权限分配功能，加油站业务、市、县两级商务等部门按职责分配不同权限的账户1.系统模块化设计采用微服务架构，将核心功能拆分为独立模块，支持灵活扩展和高可用性：-预测引擎模块-负责销量预测、库存预测、缺口计算，支持模型训练与实时预测API。-可独立部署，适配不同区域的数据规模（如市级高算力集群vs.县级轻量级服务）。-数据集成模块-对接加油站POS系统、库存管理系统、交通/天气API等数据源，提供ETL（数据清洗、转换、加载）能力。-支持手动数据补录（如县级商务部门补充本地活动数据）。-业务管理模块-加油站基础信息管理（位置、油罐容量、供应商合同）、日常运营数据填报。-市级商务部门可配置区域级参数（如统一补货策略阈值）。-可视化与报告模块-动态生成预测看板、缺口预警报告，支持多终端（PC/移动端）访问。-按权限过滤数据（如县级账户仅显示本县站点）。-权限与审计模块-统一账户管理、角色分配、操作日志记录，满足等保合规要求。2.多级权限分配方案基于RBAC（基于角色的访问控制）模型，实现精细化权限管理：-数据隔离：通过数据库视图或字段级权限（如SQL行级安全）限制账户可见范围。-功能权限：前端菜单动态渲染+后端API接口鉴权（如SpringSecurity+JWT）。-操作审计：记录关键操作（如模型参数修改、数据覆盖），支持追溯问责。3.扩展性设计-权限自定义：支持创建混合角色（如“县级数据分析员”仅可查看报告不可配置参数）。-多租户支持：通过组织架构树（省-市-县-站）实现数据隔离，未来可扩展至省级部门。-第三方对接：预留标准API供外部系统（如应急管理局）按权限订阅预警数据。3.2系统安装部署相关说明“软件采集端”须安装部署到辖区内每一个加油站，并确保加油站流量数据采集准确、及时，具体涉及安装部署的加油站数量以采购人提供的实际站点数为准。“数据管理端”和“管理平台”两个系统模块基于政务云资源开展相关部署工作，具体由项目建设方申请并提供云资源（包括：计算、网络、存储、中间件等），从而实现系统的部署、信息数据存储、运行维护等。应结合系统采集和汇总数据的实际情况对云资源需求进行评估，向采购人提出满足至少3年数据存储要求。3.3项目实施及培训要求应成立针对信息系统建设的项目工作组，同时，需要提供完善的文档