《遂宁市数据归集技术指南》

《遂宁市数据归集技术指南》本指南适用于遂宁市市直各政务部门、各县（市、区）、园区管委会及所属政务机构、公共服务企事业单位开展政务数据、公共服务数据、城市运行感知数据的归集、同步、质量管控全流程技术操作，是遂宁市政务数据共享交换平台数据接入、治理、共享的统一技术准则，所有涉及全市公共数据归集的主体均需严格遵循本指南要求开展相关工作。1总体要求1.1基本原则数据归集遵循“一数一源、应归尽归、安全可控、按需同步”四项核心原则：（1）一数一源：按照“谁产生、谁负责、谁更新”的要求，明确每一项公共数据的唯一责任主体，避免多源重复归集、数据冲突，同一数据项仅由责任主体单次归集，其他部门需使用的通过共享方式获取，不得重复采集。（2）应归尽归：除经市保密部门、市政务服务和数据管理局（以下简称市政务数据局）联合审核确认的涉密数据、法定禁止归集的数据外，所有政务履职产生的数据、公共服务产生的数据、城市运行感知数据全部纳入归集范围，无正当理由不得拒绝归集。（3）安全可控：数据归集全流程符合《数据安全法》《个人信息保护法》《政务数据安全管理办法》等法律法规要求，满足网络安全等级保护2.0三级标准，严格管控敏感数据、个人信息的归集、传输、存储全链路安全。（4）按需同步：根据业务场景的时效性要求设置合理的更新频率，分为实时更新（延迟≤5秒）、日更新（次日0点前完成）、周更新（每周一0点前完成上周数据同步）、月更新（每月5日前完成上月数据同步）、季更新（每季度首月10日前完成上季度数据同步）、年更新（每年1月15日前完成上年数据同步）6个等级，避免无效同步占用资源。1.2权责划分（1）市政务数据局：作为全市数据归集的统筹主管部门，负责制定归集标准规范、运维市政务数据共享交换平台、提供技术支撑服务、开展数据质量考核、统筹协调跨部门归集争议。（2）数据提供单位：作为数据归集的责任主体，负责本单位数据资源梳理、目录编制、接入开发、质量管控、更新维护、安全管理，配合市政务数据局开展对接测试、问题整改、安全核查等工作，指定1-2名专职数据管理员负责日常对接。（3）县（市、区）、园区政务数据主管部门：负责统筹本辖区内政务部门、公共服务企事业单位的数据归集工作，对接市级平台，配合开展质量考核、问题整改等工作。1.3归集范围本次归集覆盖四类核心数据：（1）政务履职数据：涵盖行政许可、行政处罚、行政强制、行政征收、行政给付、行政检查、行政确认、行政奖励、行政裁决等9类行政权力运行数据，以及公共教育、卫生健康、社会保障、就业服务、住房保障、交通运输、市场监管、生态环保等领域公共服务履职数据。（2）公共企事业单位数据：涵盖供水、供电、供气、通信、公共交通、轨道交通、医疗、教育、金融、邮政等公共服务机构产生的民生服务数据。（3）城市运行感知数据：涵盖雪亮工程、智慧交通、智慧城管、智慧水务、智慧环保、物联网监测设备等产生的实时感知数据。（4）重点领域专题数据：涵盖营商环境、乡村振兴、信用体系、应急管理、疫情防控、文化旅游等重点领域专题业务数据。法定豁免归集的数据需提交正式申请，经市政务数据局联合市保密局审核通过后，纳入豁免目录并公示，豁免目录每年更新一次。2数据归集标准规范2.1目录编制标准所有归集数据需先编制数据资源目录，遵循《四川省政务数据资源目录编制规范》《遂宁市政务数据资源目录管理办法》要求，目录项包含以下核心要素：资源名称、资源编码、数据提供单位、数据类型、更新频率、共享属性（无条件共享、有条件共享、不予共享）、开放属性（无条件开放、有条件开放、不予开放）、安全等级、字段清单。其中资源编码采用全市统一规则：SN_部门编码_资源类型编码_顺序码，部门编码采用市机构编制委员会发布的6位部门统一编码，资源类型编码：01代表结构化数据、02代表半结构化数据、03代表非结构化数据、04代表感知数据，顺序码为4位数字，从0001开始排序，确保全市资源编码唯一。字段清单需明确每个字段的字段名、字段编码、数据类型、长度、约束条件（必填/可选）、值域说明，例如居民身份证号字段：字段编码为“sfzh”，数据类型为字符串，长度18位，约束条件为必填，值域符合GB11643-1999国家标准。2.2数据质量标准归集数据需满足完整性、准确性、一致性、时效性四项核心质量要求：（1）完整性：必填字段缺失率≤0.1%，整体数据记录缺失率≤0.05%，人口、法人、信用、空间地理四大基础库必填字段缺失率为0，记录缺失率为0。（2）准确性：字段格式合规率≥99.9%，数据值值域符合率≥99.9%，居民身份证号、统一社会信用代码等标识码校验通过率≥99.95%，四大基础库标识码校验通过率为100%。（3）一致性：同一数据项在不同部门归集的数值偏差率≤0.01%，时间维度数据前后逻辑冲突率≤0.01%，四大基础库数据偏差率、逻辑冲突率为0。（4）时效性：实时数据延迟≤5秒，日更新数据延迟≤24小时，周更新数据延迟≤72小时，月更新数据延迟≤5个工作日，四大基础库数据更新延迟≤24小时。2.3编码规则标准所有编码字段优先采用国家标准，无国家标准的采用四川省地方标准，无地方标准的由市政务数据局统一制定遂宁市地方规范，各单位不得自行制定编码规则：（1）行政区划代码采用GB/T2260-2007及国家统计局最新发布的遂宁市行政区划代码；（2）统一社会信用代码采用GB32100-2015国家标准；（3）居民身份证号采用GB11643-1999国家标准；（4）行业分类采用GB/T4754-2017国家标准；（5）性别代码采用GB/T2261.1-2003国家标准；（6）民族代码采用GB/T3304-1991国家标准；（7）学历代码采用GB/T4658-2006国家标准。3数据归集技术接入方式各单位可根据自身业务系统特性、数据量、时效性要求选择以下4种接入方式，优先选择接口对接、库表直连方式，减少人工文件上传操作。3.1接口对接方式适用于实时性要求高、数据量中等的业务系统，接口规范要求如下：（1）协议规范：采用RESTfulAPI架构，支持HTTP/HTTPS协议，优先使用HTTPS协议，请求方式支持POST、GET，返回格式统一为JSON，编码为UTF-8。（2）认证规范：采用AK/SK签名认证机制，各单位向市政务数据局申请唯一的AK（访问密钥ID）、SK（秘密访问密钥），每次请求携带10位Unix时间戳timestamp、签名signature参数，timestamp有效期为5分钟，防止重放攻击，签名算法为：signature=HMAC-SHA256(SK,timestamp+request_uri+request_body)，其中GET请求的request_body为空字符串。（3）性能要求：单接口QPS≥100，平均响应时间≤200ms，接口可用性≥99.95%，全年累计停机时间≤4.38小时。（4）错误码规范：接口返回统一错误码，200代表请求成功，400代表参数错误，401代表认证失败，403代表权限不足，404代表资源不存在，500代表服务器内部错误，错误描述需明确具体问题，便于排查。3.2库表直连方式适用于数据量大、更新频率高、系统稳定性强的单位，支持Oracle、MySQL、PostgreSQL、SQLServer等主流关系型数据库：（1）权限配置：仅向市政务数据共享交换平台开放只读权限，账号单独分配，绑定IP白名单，禁止提供增删改权限，账号权限仅限访问需归集的库表，不得开放全库权限。（2）同步方式：全量同步优先采用离线批量导出导入方式，在业务系统低峰期（凌晨0:00-6:00）开展，同步速率控制在业务系统峰值带宽的20%以内，避免影响正常业务；增量同步采用Canal、Debezium等开源日志解析中间件，通过解析数据库binlog日志实现增量实时同步，对业务系统性能占用≤10%，若超过阈值自动暂停同步，待低峰期恢复。3.3文件上传方式适用于历史存量数据、非结构化数据、半结构化数据的归集，支持以下规范：（1）格式要求：结构化数据支持CSV、XLSX格式，编码为UTF-8，CSV文件分隔符采用英文逗号，字符串包含逗号的需用英文双引号包裹，第一行为字段名，与目录注册的字段顺序完全一致，XLSX文件不得包含合并单元格、隐藏行/列、宏代码；非结构化数据支持PDF、JPG、PNG、MP4、WAV等格式，文件命名规则为【资源编码_数据唯一标识_时间戳.后缀】，单个文件大小不超过2GB，超过2GB的需采用ZIP格式分卷压缩，不得设置密码。（2）上传通道：各单位可通过市政务数据共享交换平台Web端上传，也可通过SFTP服务上传，SFTP账号单独分配，绑定IP白名单，上传完成后平台自动开展格式校验、质量校验，校验失败的返回详细错误清单，各单位需在3个工作日内修正后重新上传。3.4感知数据接入方式适用于城市运行物联网感知设备数据归集，遵循《遂宁市物联网感知设备接入规范》：（1）协议支持：支持MQTT、CoAP、HTTP等主流物联网协议，优先采用MQTT协议，低功耗NB-IoT设备可直接对接市级统一物联网平台，无需单独部署接入网关。（2）认证要求：每个感知设备分配唯一设备ID、接入密钥，数据传输采用TLS1.2及以上加密协议，防止数据篡改、窃取。（3）数据规范：感知数据需包含设备ID、采集时间、采集值、地理位置（经纬度）、设备状态（正常/故障）5个必填字段，上报频率最高支持1次/秒，低功耗设备可根据场景调整上报频率，最高不超过1次/小时。4数据归集操作流程4.1目录梳理与审核各单位按照“履职产生、全面覆盖”的原则梳理本单位数据资源，编制数据资源目录，提交市政务数据局审核，审核内容包括目录要素完整性、编码规范性、权责一致性，审核通过的目录纳入全市统一数据资源目录，审核不通过的市政务数据局在3个工作日内反馈修改意见，各单位需在5个工作日内修改后重新提交。4.2接入准备与预测试各单位根据目录对应的归集方式，完成接口开发、数据库权限配置、文件格式转换、感知设备配置等工作，自行开展预测试，预测试内容包括连通性测试、格式校验测试、质量校验测试、性能测试，预测试通过率达到100%后向市政务数据局提交接入申请，申请材料包含接入方式说明、预测试报告、数据管理员联系方式。4.3对接测试与验证市政务数据局收到接入申请后，在5个工作日内完成对接测试，测试内容包括连通性测试、数据一致性测试（抽取1000条数据与业务系统原始数据对比，一致性达到100%）、压力测试（模拟峰值请求，接口可用性达到99.95%）、安全测试（检查是否存在明文传输、权限越权等问题），测试通过的出具接入测试合格报告，测试不通过的反馈问题清单，各单位需在7个工作日内整改完成后重新申请测试。4.4正式上线与全量同步测试合格的归集链路正式上线，各单位需在上线后7个工作日内完成全量历史数据的归集，之后按照目录约定的更新频率开展增量同步，上线后3个工作日内数据质量达标率需达到99%以上，否则暂停归集链路，整改合格后恢复。4.5日常运维与对账市政务数据局每日开展归集数据质量巡检，出具每日数据质量报告，对存在数据缺失、错误、延迟等问题的，向数据提供单位下发整改通知书，各单位需在3个工作日内完成整改并反馈整改结果；每月开展一次全量数据对账，确保市级平台数据与各单位业务系统数据一致性，对账不一致的需在5个工作日内排查原因并修正。5数据质量管控机制5.1前置校验规则市政务数据共享交换平台在数据入库前自动开展四层校验，校验不通过的数据自动拦截并记录错误日志：（1）格式校验：检查字段类型、长度、编码格式是否符合目录要求，必填字段是否缺失；（2）值域校验：检查数据值是否在约定的取值范围内，例如行政区划代码是否属于遂宁市最新行政区划列表、性别代码是否在标准值域内；（3）逻辑校验：检查数据之间的逻辑关系是否正确，例如缴费截止日期不得早于缴费起始日期、年龄与出生日期逻辑一致；（4）去重校验：根据唯一标识字段检查是否存在重复上报数据，重复数据自动去重，保留最新版本。5.2质量考核规则市政务数据局每季度对各单位数据归集情况开展考核，考核结果纳入全市政务服务和数字政府建设绩效考核，与下一年度数字政府项目审批、经费分配挂钩：（1）数据归集完成率：权重30%，计算规则为已完成归集的有效目录数/应归集目录数；（2）数据质量合格率：权重40%，计算规则为符合质量标准的数据量/总归集数据量；（3）数据更新及时率：权重20%，计算规则为按时更新的数据集数量/总数据集数量；（4）问题整改响应率：权重10%，计算规则为按时完成整改的问题数量/总下发问题数量。5.3问题溯源与整改采用数据血缘分析工具定位数据质量问题来源，属于数据提供单位业务系统产生的错误，由提供单位负责整改；属于归集链路传输错误的，由市政务数据局负责排查修复；属于标准不统一导致的冲突，由市政务数据局牵头组织相关单位会商制定统一规则后整改，整改完成后需同步更新业务系统的数据源，避免后续再次出现同类问题。6数据安全管理要求6.1全流程合规要求数据归集全流程符合《数据安全法》《个人信息保护法》《政务数据安全管理办法》等法律法规要求，满足网络安全等级保护2.0三级标准，各单位作为本单位数据安全的第一责任人，负责本单位数据归集环节的安全管理。6.2传输安全要求所有数据传输必须采用HTTPS、TLS1.2及以上加密协议，禁止明文传输，敏感字段（居民身份证号、手机号、银行卡号、住址等个人信息，企业商业秘密信息）传输前需按照《遂宁市政务数据脱敏规范》开展脱敏处理，身份证号保留前6位和后4位，中间8位用代替，手机号保留前3位和后4位，中间4位用代替，敏感数据明文不得在公共网络传输。6.3存储安全要求归集到市级平台的数据采用加密存储，敏感字段采用国密SM4算法加密，密钥由市政务数据局统一管理，每季度轮换一次，存储系统采用3副本备份，同时部署异地灾备中心，备份频率为每日增量备份、每周全量备份，备份数据保留期限不低于6个月。6.4访问安全要求归集的数据访问采用最小权限原则，只有经授权的平台运维人员才能访问原始数据，访问操作全程留痕，操作日志保留期限不低于1年，禁止未经授权的数据下载、复制、导出，敏感数据访问需经市政务数据局主要负责人审批。6.5涉密数据管控要求涉及国家秘密的数据严禁接入市政务数据共享交换平台，各单位在归集前需开展涉密审查，对无法确定是否涉密的，提交市保密局审核确认，涉密数据的归集按照国家保密相关规定执行，不得通过公共链路传输。6.6应急处置要求各单位需制定数据归集安全应急预案，发生数据泄露、数据丢失、归集链路中断等安全事件时，第一时间向市政务数据局、市网信办、市保密局报告，启动应急预案，采取处置措施，最大限度降低影响，事件处置完成后5个工作日内提交正式的事件处置报告。7常见问题排查处置7.1链路连通类问题接口、库表直连出现连通失败时，首先排查本单位网络是否通畅、接入IP是否在市级平台