市场数据应用细则

市场数据应用细则第一章总则1.1目的本细则以“让市场数据成为可计量、可审计、可追责的生产要素”为唯一目标，通过制度、流程、工具、考核四位一体设计，把数据从“参考材料”升级为“法定资产”，实现数据驱动定价、数据驱动风控、数据驱动合规。1.2适用范围适用于集团总部、境内42家子公司、境外7家代表处，以及所有外部联合运营伙伴（含渠道、供应商、数据服务商）。1.3数据定义市场数据=原始行情+衍生指标+非结构化资讯+模型输出。其中原始行情指交易所、经纪商、数据供应商提供的逐笔、快照、订单簿；衍生指标指经清洗、计算、模型加工后的任何数值；非结构化资讯指新闻、公告、社交媒体文本、语音、图片；模型输出指利用上述三类数据通过算法得到的任何结论。1.4法律效力本细则是《公司章程》附件，与《信息披露管理制度》《内幕信息管理制度》《个人信息保护制度》并行；若条款冲突，以更高标准执行；若仍冲突，报董事会风控委员会裁决，裁决前暂停相关数据使用。第二章组织与职责2.1市场数据治理委员会（MDGC）主任：集团首席数据官（CDO）；常设委员：法务、风控、财务、技术、审计、业务线负责人；秘书：数据合规部。职责：审批Tier0-Tier3数据采购预算；审批数据跨境流动申请；审批数据销毁方案；对数据事故进行最终定责。2.2数据资产运营中心（DAOC）执行机构，设“采、存、算、用、售”五个组，人员编制87人，KPI与数据收入、数据质量、数据合规扣分直接挂钩。2.3业务线数据责任人（BDR）每条业务线设1名BDR，由业务线副总兼任，承担“数据第一责任人”义务：确保本条线数据需求合规、使用留痕、模型可解释、收益可计量。2.4外部数据服务商管理建立“黑白灰”名单：黑名单永久禁入；灰名单限期整改；白名单可走快速通道。名单动态更新周期30天，更新结果同步至采购、法务、风控系统。第三章数据分级与分类3.1分级标准Tier0：国家明文规定的核心市场数据（如证券交易所完整订单簿），按“关键信息基础设施”保护；Tier1：公司核心商业秘密，泄露将造成股价波动>5%；Tier2：部门级敏感数据，泄露将造成单日收入损失>100万元；Tier3：内部统计汇总数据，泄露影响可承受。3.2分类标准按来源：交易所、经纪商、第三方、爬虫、自研；按更新频率：实时、准实时、日、周、月；按格式：Binary、FIX、JSON、CSV、XML、文本、图片、语音；按权利属性：自有、许可、联有、外包。3.3标识要求所有数据文件、表、字段、消息头必须带“四级标签”：分级+分类+来源+权利属性，缺失任意一项，系统拒绝入库。第四章采集与接入4.1需求提出业务线通过“数据需求工单系统”提交，字段包括：场景、指标、更新频率、精度、预算、合规自查表。系统强制校验：是否已存在同类数据、是否涉及跨境、是否含个人信息。4.2预算审批Tier0、Tier1数据年度预算由MDGC审批；Tier2、Tier3由DAOC审批，但单笔金额>50万元仍需MDGC加签。4.3技术接入4.3.1接入区：所有外部数据先进入“DMZ接入区”，与内网物理隔离；4.3.2协议白名单：仅允许FIX5.0SP2、ITCH5.0、OUCH4.2、RESToverTLS1.3、MQTToverTLS1.3；4.3.3身份校验：双向TLS证书+token+IP白名单+时间窗口；4.3.4流量限速：单IP限1Gbps，突发5Gbps/5s，超限自动熔断并生成SOC告警；4.3.5完整性校验：逐条消息带CRC32C，落地前比对，错误率>0.01%自动重传并记缺陷。4.4合规审查4.4.1数据源资质：交易所牌照、经纪商会员资格、数据供应商备案号；4.4.2合同条款：必须含“不可抗力下的数据删除权”“审计权”“违约罚金不低于合同金额30%”；4.4.3个人信息筛查：使用自研“PII-Sniper”引擎，对全部文本字段进行正则+NER+关键词+人工复核，发现率100%，误报率<0.5%。第五章存储与生命周期5.1存储架构热数据：内存数据库（Aerospike）+NVMe-SSD，保留5个交易日；温数据：对象存储（Ceph），保留90个自然日；冷数据：磁带库（LTO-9），保留7年；归档数据：蓝光光盘，保留20年。5.2加密要求热数据：AES-256-XTS，内存中亦启用IntelTME；温数据：AES-256-GCM，桶级SSE-KMS，密钥轮转周期7天；冷数据：AES-256-CBC，磁带离线加密，密钥分三片Shamir分割，分别由CDO、CFO、法务总监保管；归档数据：国密SM4，光盘盒贴一次性防篡改封条。5.3生命周期策略5.3.1自动删除：系统按“分级+retention表”每日02:00扫描，到期数据先写WORM日志，再物理擦除，擦除算法DoD5220.22-M；5.3.2延期申请：需业务线BDR+法务+风控+审计四会签，最多延期180天；5.3.3提前删除：用户行使“被遗忘权”或数据源终止授权，DAOC在24h内完成热温冷三级删除，并回执MDGC。第六章清洗与质量6.1质量维度完整性、唯一性、及时性、准确性、一致性、可追溯性、可解释性。6.2清洗流程Step1解析：用自研“Market-Parser”将原始二进制转为统一Parquet，字段>2000，每秒解析800万条；Step2去重：以“交易所+品种+交易日+秒级时间戳+成交号”做主键，去重窗口5秒，重复率>0.001%触发告警；Step3对齐：把行情、订单簿、逐笔、快照四流按“交易所时钟”对齐，误差>1ms记为缺陷；Step4补全：缺失字段用线性插值+Kalman滤波，补全比例>1%需人工复核；Step5标注：对异常值打标签（跳点、延迟、乱序、重复），标签进入“数据质量账本”永久留存。6.3质量考核DAOC每月发布《市场数据质量月报》，核心指标：关键字段缺失率<0.005%；延迟>100ms比例<0.01%；错误标价次数0次；客户投诉0起。未达标扣减当月数据运营奖金20%，连续两次不达标启动“数据质量专项审计”。第七章计算与建模7.1模型分级L1：简单指标（涨跌幅、均线），可解释性100%，无需评审；L2：组合指标（隐含波动率、希腊值），需风控+业务双签；L3：机器学习模型（价格预测、情绪指数），需MDGC评审，提交《模型说明书》《数据溯源表》《压力测试报告》；L4：深度学习模型（强化学习做市），需董事会风控委员会闭门评审，通过标准：夏普>2、最大回撤<3%、可解释性报告>50页。7.2特征管理统一使用“Feature-Store-3000”平台，所有特征必须注册：名称、口径、样本期间、缺失率、PSI、IV、合规标签；未注册特征禁止入模。7.3版本控制模型、代码、数据三位一体版本化，Git-LFS存储，Tag命名规则：v{模型等级}.{业务线}.{YYYYMMDD}.{序号}；回滚窗口<30秒。7.4模型退役触发任一条件立即下线：AUC连续5个交易日下降>0.05；PSI>0.25；监管政策变化；数据源授权终止。第八章使用与授权8.1授权模型RBAC+ABAC双引擎：RBAC：组织-角色-权限三级，角色细分38种，如“利率衍生品分析师L3”；ABAC：标签驱动，实时计算属性，如“当天下单量>5000手”自动升级为“高频交易用户”，权限动态扩大。8.2最小可用原则任何查询返回字段不得超出工单申请字段+5%，超限自动拒绝并记录审计日志。8.3数据沙箱敏感模型训练必须在“GPU-沙箱-200”内进行，沙箱网络单向隔离，USB口物理封闭，训练结果导出需经“模型脱密扫描”——检查是否含原始数据、是否含可逆特征。8.4结果分发对外分发统一走“Data-Distribution-Gateway”，支持API、SFTP、消息队列三种方式；所有输出自动加水印（用户ID、时间戳、指纹哈希），水印算法不可逆，可追溯到个人。第九章跨境流动9.1评估流程Step1业务线提交《跨境数据流动申请表》；Step2数据合规部48h内完成“数据出境安全评估”打分，满分100，<60分禁止出境；Step3法务24h内出具《跨境合同审查意见》；Step4MDGC主任24h内终审；Step5向省级网信办提交“数据出境申报”，获批后10日内完成流动。9.2技术措施出境数据必须经“跨境专线-EdgeConnect”，启用TLS1.3+国密SM2双证书；数据包级AES-256-GCM加密，密钥保存在境内HSM，境外仅留密文；流量镜像至境内SOC，保存180天，供监管抽查。9.3违规处罚未经审批出境，直接责任人解除劳动合同，永不录用；业务线总经理降职；公司按《数据安全法》顶格处罚1000万元；涉嫌犯罪移交公安机关。第十章收益计量与分配10.1计量公式数据贡献毛利=（使用了该数据的业务线收入–不使用情况下模拟收入）×数据贡献系数；数据贡献系数由“双重差分+机器学习反事实”模型计算，R²>0.8方可采用。10.2内部结算采用“数据券”机制：DAOC每月向业务线发放数据券，券面额=该业务线上月数据贡献毛利×30%；业务线用数据券向DAOC购买新增数据，券不可提现、不可跨期、不可转让；年末未用完自动清零，倒逼业务线主动使用数据。10.3外部变现10.3.1定价模型：成本法+市场法+收益法三合一，取最高值；10.3.2许可模式：按条、按量、按年、按席位、按模型；10.3.3收入分成：DAOC30%、业务线50%、公司储备20%，按季度结算，财务入账科目“其他业务收入-数据服务”。第十一章合规审计11.1内审频率Tier0数据每月审计；Tier1每季度；Tier2每半年；Tier3每年。11.2审计内容数据采购合同100%核对；权限清单100%比对；数据使用日志抽样20%，样本量>100万条；模型输出与输入一致性回溯5%；跨境流动100%复核。11.3审计工具自研“Audit-Robot-5000”自动拉取合同、日志、权限、工单、模型版本，生成差异报告，准确率99.3%，节省820人时/次。11.4整改时限一般缺陷10个工作日；重大缺陷3个工作日；严重缺陷立即停机，24h内提交《数据事故报告》，72h内提交《整改计划》。第十二章应急预案12.1事件分级P1：数据泄露>1000万条或Tier0数据；P2：数据泄露<1000万条且Tier1数据；P3：系统不可用>30分钟；P4：系统不可用<30分钟。12.2响应时限P15分钟内电话上报董事长、监管联系人；15分钟内成立“数据事故指挥部”；30分钟内完成临时封堵；2小时内发布公开公告；24小时内完成根因报告。12.3技术演练每季度进行一次“黑盒”演练：随机拔掉一根光纤，验证自动切换<60秒；每半年进行一次“红队”演练：外聘安全公司模拟黑客入侵，目标获取Tier0数据，成功即奖励10万元并出具整改清单。12.4备份与恢复热数据：同城双活+异地300km容灾，RPO<1秒，RTO<30秒；温数据：异地800km冷备，RPO<15分钟，RTO<2小时；冷数据：磁带每年进行一次随机恢复测试，失败即重新刻录。第十三章考核与奖惩13.1考核周期月度预考核、季度兑现、年度清算。13.2核心指标数据质量扣分、数据收入、数据成本、合规扣分、客户投诉。13.3奖励数据收入超额部分5%作为奖金池，个人最高可拿50万元；数据质量全年零缺陷，团队奖100万元。13.4惩罚数据泄露：直接责任人解除劳动合同，绩效清零，公司追偿全部损失；合规扣分>12分/年：部门年终奖下调50%；未按时删除数据：每延迟1天扣1万元，上不封顶。第十四章信息系统建设14.1核心系统Market-Data-OS（MDOS）：集团统一市场数据中台，模块包括采集、清洗、存储、计算、分发、监控、计费、审计；API-Gateway-3000：统一对外接口，QPS峰值50万，99.99%可用；Data-Catalog-Hub：元数据中心，支持中英双语搜索，秒级返回；Compliance-Workbench：合规规则引擎，内置3800条规则，实时拦截。14.2上线流程需求-评审-开发-测试-安全-性能-合规-业务验收-灰度-全量，共10环节，任何环节不通过即回退，回退窗口<10分钟。14.3预算管理年度IT预算15%专用于数据系统，不得挪作他用；若当年未用完，自动结转下年，但需向董事会书面说明。第十五章培训与宣传15.1培训体系新员工：2小时数据合规微课+上机考试，满分100，<90重新培训；业务线：季度“数据日”沙龙，分享最佳实践；技术线：每月“MDOS源码走读”，强制签到；高管：每年一次“数据战略沙盘”