公共资源交易大数据分析检验规范

公共资源交易大数据分析检验规范1范围本规范规定了公共资源交易大数据分析过程中的数据质量检验、分析模型校验、结果有效性验证、安全合规性审查等环节的技术要求与操作流程，适用于工程建设项目招标投标、土地使用权和矿业权出让、国有产权交易、政府采购等公共资源交易领域的大数据分析活动，为交易监管、风险预警、效能评估、政策制定等场景的数据分析结果应用提供标准化依据。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件；凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T37973-2019大数据技术参考模型GB/T36344-2018信息技术数据质量评价指标GB/T38667-2020信息技术大数据数据分类指南《公共资源交易平台管理暂行办法》（国家发展改革委等14部委令第39号）《全国公共资源交易平台数据规范》（发改办电〔2019〕90号）3术语和定义3.1公共资源交易大数据指公共资源交易活动全流程产生的结构化、半结构化和非结构化数据集合，涵盖交易主体信息、项目基本信息、公告文件、投标文件、评审过程数据、成交结果、履约信息、投诉处理信息等，以及与交易活动相关的市场主体信用、宏观经济、行业发展等关联数据。3.2分析检验指对公共资源交易大数据分析的数据源、分析过程、输出结果开展的全流程校验、验证、审查活动，确保分析结果真实、准确、合规、可用。3.3数据血缘指数据在产生、处理、流转、应用全生命周期中的关联关系，包括数据来源、处理节点、转换规则、下游应用等信息，用于追溯数据变动路径与影响范围。4数据质量检验要求4.1数据源合法性检验4.1.1数据源归属校验：需确认待分析数据全部来源于各级公共资源交易平台系统、官方发布的公开信息、经授权接入的行业监管部门数据，严禁使用未授权获取的非公开数据、来源不明的第三方爬虫数据作为分析基础。4.1.2数据采集合规性校验：检查数据采集过程是否符合《数据安全法》《个人信息保护法》相关要求，涉及交易主体商业秘密、个人隐私的数据需经过匿名化、去标识化处理，且获得必要的使用授权。4.1.3数据版本校验：需明确标注数据的采集时间、覆盖范围、更新批次，同一分析任务不得混用不同版本、不同统计口径的同类型数据，若存在多版本数据冲突，需优先采用官方最新发布的权威版本。4.2数据完整性检验4.2.1字段完整性校验：按照《全国公共资源交易平台数据规范》要求，检查交易项目的必填字段填充情况，包括项目编号、项目名称、招标人、代理机构、投标人、中标人、中标金额、开标时间、评标结果等核心字段，缺失率不得高于1%；非核心字段缺失率不得高于5%。若核心字段缺失率超过阈值，需启动数据补全流程，通过关联交易档案、监管系统回溯等方式补充缺失信息，无法补全的项目需从分析样本中剔除并记录剔除原因。4.2.2样本覆盖完整性校验：针对特定分析场景，确认样本覆盖范围匹配分析需求，例如分析某地区工程建设项目交易情况时，样本需涵盖该地区对应时间段内所有进入公共资源交易中心的公开招标、邀请招标、竞争性谈判等各类交易方式的项目，不得遗漏特殊行业、特殊资金来源的项目样本；针对跨省交易项目的分析，需匹配全国公共资源交易平台的跨区域共享数据，避免出现地域数据盲区。4.2.3流程节点完整性校验：检查交易项目全流程节点数据的连续性，从项目登记、公告发布、招标文件下载、投标报名、开标、评标、结果公示、合同签订到履约验收的各环节数据需完整留存，若存在关键环节数据断层（如仅有中标结果无投标报名数据），需核实断层原因，判断是否影响分析结论，若存在影响则需标记该类项目为“待核实样本”，谨慎纳入分析范围。4.3数据准确性检验4.3.1格式准确性校验：检查数据字段的格式是否符合规范要求，例如日期字段需统一为“YYYY-MM-DD”格式、金额字段需统一为人民币元且保留两位小数、统一社会信用代码需符合18位编码规则、联系方式需符合手机号或固定电话格式规则。格式错误数据占比不得高于0.5%，超过阈值的需进行批量格式校正，无法校正的按无效数据处理。4.3.2数值准确性校验：对交易金额、投标报价、评分结果等数值类字段进行逻辑校验，例如投标报价不得超过招标控制价、各评委评分的偏差率不得超过合理范围、中标金额与合同金额的偏差不得超过法定允许区间。存在明显数值矛盾的数据需逐一核查原始交易档案，确认是否为录入错误，若为录入错误需修正后再纳入分析，若为交易活动实际存在的异常情况则需单独标记，作为后续风险分析的重点对象。4.3.3关联一致性校验：校验同一项目不同环节数据的一致性，例如中标人名称需与投标报名名单中的主体名称一致、开标记录中的投标单位数量需与评标报告中的参评单位数量一致、公告中的评标办法需与实际评审过程采用的评分规则一致。关联数据不一致的项目需排查数据流转过程中的匹配错误，修正匹配关系后再进行分析。4.4数据时效性检验4.4.1时间维度匹配校验：分析使用的数据时间段需与分析目标的时间范围完全匹配，例如分析2025年公共资源交易市场运行情况时，不得混入2024年及之前的历史数据，也不得提前使用未到统计截止时间的2026年数据。4.4.2数据更新频率校验：针对动态监测类分析任务，需确认数据更新频率满足监测需求，实时预警类分析的数据更新延迟不得超过1小时，月度效能评估类分析的数据更新延迟不得超过3个工作日，年度趋势分析类分析需采用完整自然年度的全量数据。4.4.3失效数据清理：检查数据中是否存在已被撤销、废止的交易项目信息，例如已发布终止公告的项目、行政监督部门判定无效的交易项目，需将该类数据从正常交易样本中清理，单独归入异常交易数据库，避免影响正常交易活动的分析结论。5分析模型校验要求5.1模型适用性校验5.1.1场景匹配性校验：确认所选用的分析模型与应用场景的适配性，例如围串标风险识别场景需采用关联规则挖掘、社交网络分析等适合主体关系识别的模型，交易价格趋势预测场景需采用时间序列分析、回归分析等适合趋势拟合的模型，政策效能评估场景需采用双重差分、断点回归等适合因果推断的模型，严禁使用与场景逻辑不匹配的模型开展分析。5.1.2样本适配性校验：检查模型输入样本的特征分布是否符合模型的训练要求，例如机器学习模型的测试样本需与训练样本的特征维度、数据分布保持一致，若分析样本中出现训练样本未覆盖的特征（如新型交易方式、新兴行业类别），需对模型进行适应性迭代，或调整样本范围后再开展分析，避免模型出现泛化误差。5.1.3阈值合理性校验：对模型中设置的判定阈值进行合理性验证，例如围串标风险的判定阈值需结合不同行业、不同地区的交易特点进行调整，工程建设项目的投标人关联度阈值与政府采购项目的阈值需区分设置，避免“一刀切”的阈值导致误判或漏判。阈值设置需经过历史已知案例的回溯验证，准确率不得低于85%，召回率不得低于80%。5.2模型逻辑一致性校验5.2.1算法逻辑校验：对模型的算法逻辑进行全流程审查，确保算法逻辑符合公共资源交易的业务规则，例如计算市场集中度时需采用正确的行业分类标准，不得将不同行业的项目合并计算集中度指标；分析投标异常低价时需考虑项目的成本构成，不得直接以报价低于平均价作为判定异常低价的唯一标准。5.2.2变量相关性校验：检查模型引入的自变量与因变量之间的逻辑相关性，不得引入与分析目标无因果关联的变量，例如分析企业投标竞争力时，不得将企业法定代表人的年龄、性别等无关信息作为模型输入变量，避免出现伪相关导致的分析结论偏差。5.2.3权重设置合理性校验：对多指标综合评价类模型的指标权重设置进行校验，权重分配需符合业务实际重要程度，例如评标过程规范性评估中，评审专家打分合规性的权重需高于开标现场流程规范性的权重，权重设置需经过行业专家论证，确保符合公共资源交易监管的重点方向。5.3模型稳定性校验5.3.1扰动测试：对输入数据添加合理范围内的噪声扰动，观察模型输出结果的波动情况，若输入数据1%的扰动导致输出结果波动超过10%，则判定模型稳定性不足，需调整模型参数或更换算法。5.3.2跨样本测试：使用不同时间段、不同地区的样本对模型进行测试，模型在不同测试样本中的准确率偏差不得超过10%，若偏差过大则说明模型适配性不足，需针对不同场景进行本地化微调。5.3.3版本回溯：建立模型版本管理机制，每个版本的模型需记录算法逻辑、参数设置、训练样本、测试效果等信息，新版模型上线前需与旧版模型进行比对测试，若新版模型的准确率、召回率低于旧版，需排查问题后再上线，避免模型迭代导致分析结果失真。6分析结果验证要求6.1结果逻辑一致性验证6.1.1横向对比验证：将分析结果与同时间段、同类别其他地区的公共资源交易数据分析结果进行对比，若存在显著差异，需核实差异来源，判断是地区实际交易特点导致还是分析误差导致，例如某地区工程建设项目的中标下浮率远高于全国平均水平，需核实该地区是否出台了特殊的价格管控政策，若不存在政策原因则需回溯分析过程中的数据与模型问题。6.1.2纵向对比验证：将分析结果与历史同期数据进行对比，若出现异常波动，需排查波动原因，例如某季度政府采购项目的投诉率同比增长超过50%，需核实是否是该季度交易规模激增、政策调整导致，还是分析过程中的数据统计错误导致。6.1.3交叉验证：采用不同分析方法对同一目标进行分析，验证不同方法输出结果的一致性，例如分析某地区市场主体活跃度时，同时采用交易项目数量、参与投标企业数量、交易额增长率等多个维度的指标进行交叉验证，不同指标的分析结论偏差不得超过15%，若偏差过大则需调整分析方法。6.2结果可追溯性验证6.2.1数据血缘追溯：建立分析结果与原始数据的关联映射，确保每一项分析结论都可以追溯到对应的原始数据源，例如“某企业近一年参与10次投标均未中标”的结论，需可以查找到该企业参与的10个项目的具体编号、名称、中标结果等原始信息，不得出现无数据源支撑的分析结论。6.2.2分析过程追溯：完整记录分析过程中的参数设置、模型版本、计算规则，确保分析过程可复现，其他检验人员采用相同的数据源、相同的模型与参数，能够得到完全一致的分析结果，若无法复现则判定分析结果无效。6.2.3异常结果标记：对分析得出的异常结论进行重点标记，逐一说明异常原因，例如“某代理机构一年内代理的项目中有30%出现投诉”，需标注每个投诉项目的具体情况、投诉处理结果，区分是代理机构操作不规范导致的投诉还是其他原因导致的投诉，避免误导结果应用方。6.3结果应用风险评估6.3.1误判风险评估：对分析结果的误判可能性进行评估，明确标注结果的置信区间，例如围串标风险识别结果需标注“高、中、低”三个风险等级，高风险结果的置信度需达到90%以上，中风险结果的置信度需达到70%以上，低风险结果的置信度需达到50%以上，同时需说明不同等级结果的应用建议，高风险结果可作为监管部门立案调查的线索，低风险结果仅作为日常监测的参考。6.3.2泄露风险评估：评估分析结果中是否包含不宜公开的敏感信息，例如涉及交易主体商业秘密、未公开的监管线索、个人隐私的内容，需明确标注结果的知悉范围，严禁扩大应用场景，避免敏感信息泄露。6.3.3公平性评估：检查分析结果是否存在对特定主体、特定行业的歧视性偏差，例如分析模型不得因企业注册地、企业规模等非交易相关因素对企业的信用评价、风险等级做出不合理判定，确保分析结果的公平公正，避免对市场主体的正常交易活动造成不当影响。7安全合规性审查要求7.1数据安全审查：检查数据分析全流程的数据安全防护措施，数据存储、传输、处理过程需符合《数据安全法》《公共资源交易平台数据安全管理规范》的要求，敏感数据需采用加密存储、权限管控、脱敏处理等防护措施，不得在分析过程中泄露未公开的交易信息。7.2算法合规审查：审查分析模型是否存在算法歧视、算法黑箱等问题，涉及监管执法、主体信用评价等场景的算法逻辑需向相关监管部门备案，不得设置不合理的规则限制市场主体参与交易活动。7.3应用合规审查：确认分析结果的应用场景符合法律法规与政策要求，分析结果不得作为限制市场主体参与公平竞争的依据，不得用于干预正常的市场交易活动，仅作为监管、评估、决策的参考支撑。8检验工作管理要求8.1检验人员