AI大模型数据清洗与预处理自动化手册

《AI大模型数据清洗与预处理自动化手册》文档编号：AIDM-DP-[YYYY]-[001]密级：[内部/秘密/公开]版本：V1.0编制部门：[数据工程部/算法部/数据治理委员会]编制人：[姓名]审核人：[姓名]批准人：[姓名]生效日期：[YYYY-MM-DD]发布范围：[大模型训练项目组/数据平台/合规部/运维部]使用说明：本手册中[]内容为可替换占位符，请根据实际项目、组织架构、数据源和合规要求修改后直接使用。YAML、表格、清单可复制到项目文档或工程配置中。修订记录版本日期修订人审核人修订说明V1.0[YYYY-MM-DD][姓名][姓名]初版发布V1.1[YYYY-MM-DD][姓名][姓名]增加隐私过滤与去重策略V1.2[YYYY-MM-DD][姓名][姓名]优化自动化流水线与验收指标目录总则数据治理与组织职责总体架构与自动化流程数据接入与登记规范自动化清洗与预处理流程质量评估与验收标准自动化实现与工程规范安全、合规与伦理要求监控、运维与持续改进模板与附录1.总则1.1目的为规范AI大模型训练、微调、对齐、评测及RAG知识库建设中的数据清洗与预处理工作，提升数据质量、处理效率、合规性和可复现性，特制定本手册。本手册旨在实现：数据清洗流程标准化；预处理规则配置化；自动化流水线可编排、可监控、可回滚；数据质量可量化、可验收；数据来源、处理过程、版本变更可追溯；隐私、安全、版权和伦理风险可控。1.2适用范围本手册适用于以下数据场景：大语言模型预训练语料；指令微调数据；RLHF/DPO/偏好数据；多模态数据中的文本部分；代码大模型训练数据；行业大模型领域语料；RAG知识库文档；模型评测集与基准数据；合成数据与增强数据。1.3编制依据参考以下标准、法规和行业实践：《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》GB/T35273《信息安全技术个人信息安全规范》ISO/IEC27001信息安全管理体系ISO/IEC42001人工智能管理体系NISTAIRiskManagementFramework其他行业标准/地方规定/公司制度]1.4术语与缩略语术语说明大模型大语言模型、多模态大模型等数据清洗去除噪声、重复、异常、敏感和低质量数据的过程预处理标准化、分词、截断、打包、配比等训练前处理PII个人可识别信息去重删除完全重复或近似重复数据质量分对数据信息量、连贯性、教育价值等综合评分Tokenization将文本切分为模型可处理token的过程数据配比不同来源、领域、语种、质量数据的采样比例Lineage数据血缘，记录数据从来源到消费的全链路DAG有向无环图，用于编排自动化任务评测污染训练数据中包含评测集内容，导致指标虚高1.5基本原则合规优先：法律法规、授权许可和隐私要求高于模型效果。安全前置：隐私脱敏、敏感内容过滤应在训练前完成。质量可量化：清洗效果必须通过指标和抽样验证。自动化可配置：规则、阈值、模型、采样比例均支持配置。全链路可追溯：记录数据来源、处理版本、删除原因和操作日志。可复现：固定随机种子、容器镜像、规则版本和数据版本。成本可控：按需使用规则过滤、模型过滤和GPU加速。持续迭代：根据训练反馈、人工复核和业务变化更新规则。2.数据治理与组织职责2.1组织角色角色职责数据治理委员会审批数据策略、合规边界、重大变更数据Owner对数据源合法性、质量、更新负责数据工程组建设清洗流水线、执行自动化任务、产出数据版本算法组定义质量指标、模型过滤策略、数据配比安全合规组审核隐私、版权、敏感内容和跨境风险质量审计组抽样复核、验收评估、问题跟踪运维组调度、监控、告警、资源与故障处理标注/人工复核组对争议样本、低置信样本进行人工判定2.2RACI矩阵示例活动数据Owner数据工程算法合规运维数据源接入审批ARCCI清洗规则定义CRACI自动化流水线运行IRCIA隐私安全过滤CRCAI质量验收CRCCI数据版本发布ARCCIR=负责，A=批准，C=咨询，I=知会。3.总体架构与自动化流程3.1数据生命周期采集/接入→登记→原始层存储→初步探查→清洗→预处理→质量评估→版本发布→训练/评测消费→反馈迭代。3.2自动化流水线架构数据源层├─网页/书籍/论文/代码/问答/对话/标注/合成数据↓接入层├─批量接入、流式接入、API拉取、人工上传↓暂存与湖仓层├─RawZone、CleanZone、CuratedZone、SandboxZone↓处理层├─解析→去噪→去重→隐私安全→质量过滤→语言识别→标准化↓预处理层├─Tokenization→截断/拼接→序列打包→数据配比→格式转换↓质量层├─自动指标、抽样复核、模型评估、污染检测↓版本发布层├─数据版本、规则版本、血缘记录、访问控制↓消费层├─预训练、微调、RLHF、评测、RAG3.3环境建议层级推荐组件编排调度Airflow、Dagster、ArgoWorkflows、KubeflowPipelines分布式计算Spark、Ray、Dask、Flink存储S3、HDFS、OSS、Ceph、Parquet、JSONL元数据DataHub、OpenMetadata、HiveMetastore、GlueCatalog质量校验GreatExpectations、Deequ、自研质量平台版本管理DVC、LakeFS、GitLFS、对象存储版本隐私识别MicrosoftPresidio、自研PII模型、正则规则内容安全敏感词库、分类模型、LLM-as-judge监控告警Prometheus、Grafana、ELK、PagerDuty4.数据接入与登记规范4.1数据源分类类型示例风险点网页数据新闻、博客、论坛版权、噪声、广告、隐私书籍论文图书、论文、专利版权、扫描质量代码数据GitHub、GitLab、私有仓库许可证、密钥、恶意代码问答对话客服、社区、对话日志隐私、偏见、低质量指令数据人工标注、合成指令幻觉、重复、格式不一致多模态文本图像描述、视频字幕对齐、版权、隐私领域数据医疗、金融、法律合规、专业准确性4.2数据接入要求来源合法，具备授权证明或合规评估记录。明确数据许可、使用范围、地域限制和有效期。提供数据字典、样本、字段说明和更新频率。标记敏感级别：公开、内部、秘密、机密。记录数据Owner、联系人、接入方式和存储位置。对个人信息、敏感个人信息进行初步识别。4.3数据源登记表模板字段说明示例数据源ID唯一标识DS-[0001]数据源名称中文/英文名称[网页新闻语料]数据类型网页/代码/对话等[网页]存储位置URIs3://[bucket]/raw/[dataset]格式JSONL/Parquet/CSVJSONL大小原始大小[100GB]语言主要语言zh,en许可许可证[CC-BY-4.0/授权协议]敏感级别公开/内部/秘密[内部]是否含PII是/否/未知[是]Owner负责人[姓名]更新频率日/周/月/一次性[月]备注特殊说明[需过滤广告]4.4初步质量基线接入后应自动生成初步质量报告，包括：文件数、记录数、总大小；空值率、乱码率、解析失败率；完全重复率、近似重复率；语言分布、长度分布；敏感词命中率；PII疑似命中率；字段完整性。5.自动化清洗与预处理流程5.1流程总览原始数据→格式解析与统一→去噪清洗→精确去重→近似去重→隐私与安全处理→内容质量过滤→毒性/偏见/合规过滤→语言识别与语种平衡→文本标准化→Tokenization与序列构建→数据配比与课程学习→质量验收→发布5.2格式解析与统一支持格式：HTML、PDF、DOCX、PPTX、EPUB；JSON、JSONL、CSV、Parquet、XML；代码仓库、压缩包、数据库导出；多模态标注文件。统一Schema建议：字段类型说明idstring全局唯一IDraw_textstring原始文本cleaned_textstring清洗后文本sourcestring来源标识source_urlstring来源URLlangstring语言代码licensestring许可信息timestampdatetime采集/创建时间metajson扩展元数据pii_flagboolean是否含PIIquality_scorefloat质量分hashstring内容哈希versionstring数据版本lineage_idstring血缘ID5.3去噪清洗5.3.1通用文本去除控制字符、乱码、不可见字符；去除多余空白、换行、制表符；去除重复标点、异常符号；去除页眉、页脚、导航、广告、版权声明模板；过滤过短、过长、无意义文本；过滤重复行比例过高的文本；过滤特殊字符比例、数字比例、字母比例异常文本。5.3.2HTML/网页解析正文，去除script、style、iframe；去除导航栏、侧边栏、评论、推荐位；保留标题、作者、时间等元数据；处理编码错误和实体转义。5.3.3代码数据过滤二进制、生成文件、依赖锁文件；检测许可证和版权头；检测密钥、Token、密码等敏感信息；过滤恶意代码、漏洞利用、攻击脚本；保留必要注释和文档字符串。5.4去重策略层级方法说明精确去重MD5/SHA256完全一致内容近似去重MinHash+LSH、SimHash文档级、段落级近似重复语义去重Embedding相似度语义高度相似内容样本级去重指令/问答对去重微调数据常用跨集去重训练集vs评测集防止评测污染保留策略：保留来源权威性更高的数据；保留质量分更高的数据；保留时间更新、信息更完整的数据；保留人工复核确认的数据；记录删除原因和保留依据。5.5隐私与安全处理5.5.1PII识别识别对象包括：姓名、电话、邮箱、地址；身份证号、护照号、银行卡号；IP地址、设备ID、账号ID；生物特征、医疗信息、金融信息；儿童个人信息。5.5.2处理动作动作适用场景删除高风险敏感信息掩码电话、邮箱、身份证部分保留哈希需要关联但不需明文的ID泛化地址、年龄、日期模糊化替换用占位符替代保留并隔离需审计或授权使用的数据5.5.3内容安全暴力、色情、仇恨、自残、违法内容过滤；政治敏感、宗教、种族等按政策处理；建立敏感词库、分类模型和人工复核机制；避免过度过滤导致数据多样性下降。5.6内容质量过滤5.6.1启发式规则最小/最大长度；平均句长、段落数；重复n-gram比例；停用词比例；标点异常比例；大写字母比例；乱码比例；困惑度阈值。5.6.2模型打分可使用：质量分类器；困惑度模型；LLM-as-judge；教育价值评分；事实性/连贯性评分；领域相关性评分。建议按来源、语种、领域设置不同阈值，并保留评分字段。5.7语言识别与语种平衡使用fastText、langdetect、CLD3等工具；设置语言置信度阈值；过滤低置信或混合语言异常文本；按目标语种配比采样；记录语言分布变化。5.8文本标准化建议步骤：UnicodeNFKC标准化；全角/半角统一；大小写规范化；数字、日期、单位统一；空白、换行、标点规范化；保留raw_text，生成cleaned_text；记录标准化规则版本。5.9Tokenization与序列构建要求：Tokenizer必须与目标模型一致；添加正确特殊token；控制最大序列长度；支持截断、拼接、序列打包；生成attentionmask；保留文档边界，避免跨文档污染；对指令数据构造instruction/input/output或messages格式。示例：{"id":"[0001]","messages":[{"role":"system","content":"[系统提示]"},{"role":"user","content":"[用户问题]"},{"role":"assistant","content":"[回答]"}],"meta":{"source":"[来源]","quality_score":0.92,"lang":"zh"}}5.10数据配比与课程学习维度示例语种中文50%，英文40%，其他10%领域通用60%，代码20%，专业20%质量高质量70%，中质量30%来源网页40%，书籍30%，论文20%，问答10%课程先通用后专业，先易后难配比应支持动态调整，并记录每次训练的数据配方。5.11评测集隔离与污染检测建立评测集黑名单；使用n-gram、MinHash、Embedding检测重叠；训练前自动检测评测污染；发现污染后删除或隔离；记录污染检测报告。6.质量评估与验收标准6.1质量指标维度指标说明完整性空值率、解析失败率越低越好准确性乱码率、错误率越低越好一致性格式合规率、字段完整率越高越好唯一性完全重复率、近似重复率越低越好合规性PII处理率、敏感内容命中率处理率100%多样性来源、领域、语种分布符合目标配比有效性质量分、抽样合格率越高越好安全性密钥泄露数、恶意代码数应为06.2验收标准模板指标阈值检测方式完全重复率≤[1%]哈希统计近似重复率≤[5%]MinHash/SimHash乱码率≤[0.5%]规则检测PII处理率100%自动+抽样敏感内容过滤率≥[99%]分类器+抽样语言置信度≥[0.9]语言识别抽样合格率≥[95%]人工复核评测污染0条污染检测数据配比偏差≤[5%]分布统计6.3抽样与人工复核采用分层抽样：按来源、语种、领域、质量分分层；每批次抽样比例不低于[1%]或[1000]条；双人复核，争议样本由专家仲裁；记录复核结果、问题类型和整改措施；对高风险数据源提高抽样比例。7.自动化实现与工程规范7.1配置化规则示例pipeline:name:llm_data_cleaningversion:1.0input:path:s3://[bucket]/raw/[dataset]/format:jsonloutput:path:s3://[bucket]/clean/[dataset]/format:parquetsteps:-parse:html:truepdf:truecode:false-normalize:unicode:NFKClowercase:false-dedup:exact:trueminhash:enabled:truethreshold:0.85num_perm:128-pii:entities:[PHONE,EMAIL,ID_CARD,BANK_CARD,ADDRESS]action:mask-quality:min_length:50max_length:100000perplexity_max:1000toxicity_max:0.8-lang:allowed:[zh,en]min_confidence:0.9-tokenize:tokenizer:[tokenizer_path]max_seq_len:4096packing:truesampling:zh:0.5en:0.4code:0.1quality_report:path:s3://[bucket]/reports/[dataset]/7.2流水线编排要求使用DAG管理任务依赖；每个步骤幂等，可重跑；支持断点续跑和失败重试；支持并行处理和资源隔离；记录输入、输出、耗时、资源消耗；关键步骤设置人工审批节点。7.3可复现性固定代码版本、容器镜像和依赖版本；固定随机种子；记录配置版本、规则版本、模型版本；使用数据版本管理工具；产出可追溯的lineage。7.4性能与成本优化使用Parquet、ORC等列式存储；分区存储，按日期、来源、语言分区；压缩数据，减少I/O；规则过滤前置，模型过滤后置；GPU仅用于必要模型推理；缓存中间结果；对大规模数据先采样调参。7.5异常处理与回滚异常处理解析失败记录失败文件，进入死信队列编码错误尝试多编码检测，失败则隔离任务超时重试、扩容、拆分任务质量不达标停止发布，触发告警隐私漏检立即回滚，重新脱敏模型过滤误杀抽样复核，调整阈值8.安全、合规与伦理要求8.1合规要求遵守数据安全、个人信息保护、网络安全等法律法规；尊重版权、许可证和合同约定；对跨境数据流动进行合规评估；对医疗、金融、法律等敏感领域数据单独审批；保留授权证明、审批记录和审计日志。8.2隐私保护最小必要原则收集和使用数据；训练前完成去标识化或匿名化；对敏感个人信息加密存储；严格控制访问权限；建立PII泄露应急响应机制。8.3伦理与偏见检测性别、种族、宗教、地域等偏见；避免生成歧视性、有害内容；建立红队测试和人工评估机制；对高风险场景增加安全对齐数据。9.监控、运维与持续改进9.1监控指标任务吞吐量、延迟、成功率；数据量、文件数、记录数；重复率、乱码率、PII命中率；质量分分布、语言分布、领域分布；资源使用率、成本；告警数量和异常趋势。9.2告警机制阈值告警：质量指标低于阈值；突变告警：分布突然变化；失败告警：任务连续失败；安全告警：PII漏检、敏感内容泄露；通知渠道：邮件、企业微信、钉钉、PagerDuty。9.3日志与血缘每个处理步骤应记录：输入路径、输出路径；规则版本、模型版本；处理时间、耗时；删除/保留数量；删除原因；操作人/系统账号；血缘ID。9.4版本管理版本类型说明数据版本每次发布的数据快照规则版本清洗规则配置版本模型版本质量/安全/PII模型版本流水线版本DAG和代码版本训练配方版本数据配比和采样策略9.5持续改进定期评审清洗规则和阈值；根据训练效果反馈优化配比；收集人工复核问题，更新规则库；跟踪新法规、新风险、新攻击方式；每[季度/半年]更新本手册。10.模板与附录10.1数据源登记表数据源ID名称类型位置格式许可敏感级别Owner更新频率DS-[0001][名称][网页/代码][URI][JSONL][许可][内部][姓名][月]10.2清洗规则配置模板rules:remove_empty:truemin_length:50max_length:100000remove_html_tags:trueremove_urls:falseremove_emails:trueremove_phone_numbers:trueremove_id_cards:trueremove_repeated_lines:truerepeated_line_threshold:0.3remove_low_perplexity:trueperplexity_threshold:1000language_allowed:[zh,en]language_min_confidence:0.9toxicity_threshold:0.8quality_score_threshold:0.610.3质量报告模板数据质量报告报告编号：[QR-YYYYMMDD-001]数据源：[数据源名称]处理批次：[批次号]处理时间：[YYYY-MM-DDHH:MM:SS]输入记录数：[N]输出记录数：[M]删除记录数：[D]1.完整性-