临床真实世界研究数据清洗指南（2025版）

临床真实世界研究数据清洗指南（2025版）1总则数据清洗是将原始、杂乱的真实世界数据转化为可分析、可追溯、符合监管要求的高质量研究数据的核心过程，其质量直接决定了证据链的强度。本指南旨在规范临床真实世界研究的数据清洗全流程，确保数据的真实性、完整性、准确性和一致性，从而支持有效的统计分析和监管决策。本指南适用于药物上市后评价、医疗器械临床评价、卫生技术评估（HTA）及基于注册登记库或电子病历（EMR）的观察性研究。1.1核心目标数据清洗不仅仅是纠错，更是对临床逻辑的数字化重构。消除技术性噪音：剔除因数据采集、传输、录入过程中产生的重复值、格式错误和编码不一致。构建临床逻辑闭环：通过逻辑校验发现违背医学常识的记录，还原真实的诊疗过程。实现数据标准化：将异构数据源（如不同厂商的HIS/LIS系统）映射至统一的标准数据模型（如CDISCSDTM或OMOPCDM）。1.2责任主体与角色分工数据清洗实行项目负责人负责制，建立跨学科协作机制。数据管理员：负责制定DMP（数据管理计划）、编写清洗程序、发出质疑并管理质疑闭环。临床研究者：负责解答医学相关的质疑，确认临床事件的合理性和真实性。生物统计师：参与制定数据清洗规则，特别是涉及终点指标衍生变量的逻辑定义。编程人员：负责实施清洗逻辑，生成CleanData和QC数据集。2数据清洗准备阶段清洗工作的成效80%取决于启动前的规则定义与工具准备，盲目启动清洗会导致后期大量的返工与逻辑漏洞。2.1制定数据管理计划（DMP）在研究启动前或数据接收前，必须完成DMP的定稿。DMP是数据清洗的最高宪章，不可随意变更。数据源描述：详细列出各中心数据源的类型（EMR、LIS、PACS、患者自报等）、接口方式（ETL、手动录入、导出CSV）及更新频率（实时、T+1、月度）。数据模型与标准：明确目标数据模型（如使用CDISCSDTM3.3版本），规定关键变量的命名规范、类型和长度。清洗规则定义：针对每个关键变量（如不良事件、合并用药），必须明确写入清洗规则。示例：对于“基线BMI”，必须规定：若身高或体重缺失，BMI设为空值；若身高<50cm或>进度计划：明确数据快照接收时间、清洗轮次、数据锁定（Lock）的里程碑节点。2.2代码字典准备真实世界数据极其异质，必须预先建立标准字典库以解决“一义多词”问题。医学术语字典：使用MedDRA（v26.0或以上）对不良事件、病史进行编码；使用WHODrug（Global或B2版）对合并用药进行编码。科室与诊疗字典：建立标准科室名称映射表，将“心内一”、“心内科”、“心血管内科”统一映射至标准编码。单位字典：建立检验结果的标准单位字典，定义换算系数（如mg/dL转mmol/L的系数为0.0555）。2.3测试数据接收与预清洗在正式数据全量接收前，必须选取一家代表性中心进行测试数据接收。格式验证：检查文件编码（UTF-8vsGBK）、分隔符（CSVvsTSV）、日期格式（ISO8601:YYYY-MM-DD）。连通性测试：验证数据传输链路的稳定性，确保数据传输过程加密（如使用SFTP协议），防止数据泄露。清洗程序试运行：用测试数据跑通清洗脚本，发现并修复脚本中的逻辑漏洞（如除零错误、日期格式不兼容）。3数据接收与标准化处理数据的标准化与去噪是清洗工作的物理基础，必须确保入库数据的“原子性”和“规范性”。3.1数据完整性检查数据接收后，首先执行宏观层面的完整性校验。记录数核对：对比源系统导出记录数与入库记录数。差值>0必填项检查：按照DMP规定，检查关键必填字段（如受试者ID、访视日期、主要终点）的缺失率。阈值设定：单字段缺失率>5唯一性检查：主键（SubjectID+VisitDate+Seq）必须唯一。出现重复键值必须生成“重复数据报告”并人工判定去留。3.2数据去标识化处理为保护受试者隐私，必须在清洗阶段对直接标识符进行处理，严禁在分析集中保留明文隐私信息。处理动作：将姓名、身份证号、手机号替换为伪代码或哈希值（SHA-256）。日期偏移：对于出生日期，应计算年龄而非保留具体日期；如需保留日期（用于计算生存期），可采用统一的日期偏移算法（如全体统一减去随机天数），且该偏移量需单独保密存储。例外处理：若研究需要基于真实日期计算用药依从性，必须申请豁免并签署更高层级的数据保密协议。3.3单位标准化与换算检验数据的单位混乱是真实世界研究最大的误差来源之一。自动单位映射：建立源系统单位与标准单位映射表。示例：若源系统肌酐单位为μmol/L逻辑校验：对于未定义单位或单位模棱两可的项目（如“GLU”可能是血糖或尿糖），必须强制人工核查。禁止性条款：严禁在单位不明确的情况下默认使用单位或直接丢弃数据。后果：会导致严重的剂量或疗效误判（如将100mg误认为100μg替代方案：标记为“单位不明-需人工复核”，并在数据集中生成衍生变量_UNIT_FLAG。4逻辑核查与一致性校验逻辑核查是清洗工作的核心防线，旨在发现违背医学常识、时间逻辑或数据内在关联的错误。4.1时间逻辑核查真实世界数据的时间轴极其复杂，必须确保所有事件在时间轴上合理排列。访视窗口期检查：检查访视日期是否在方案规定的窗口期内。规则：对于D1（基线）后30天±3事件时序检查：确保“出生日期<入组日期<结束日期<死亡日期”。用药与诊疗时序：确保手术日期在术后用药开始日期之前；不良事件发生日期不能早于入组日期（除非是病史）。4.2范围与极值检查针对数值型变量，必须设立多维度的阈值防线。医学合理性范围：示例：收缩压（SBP）范围设定为50~300mmHg。若SBP=400，则触发系统质疑。判断依据：参照该指标在人群中的生理极值，而非简单的统计学±3实验室正常值范围：结合各中心实验室的正常值范围进行校验。风险路径：未考虑儿童与成人差异的错误范围设定→误杀正常数据或保留异常数据→统计效能降低或偏差。特殊数值处理：对于<LLOQ（低于定量下限）的检验结果，必须按照统计分析计划（SAP）规定处理（通常设为0、LLOQ4.3一致性与关联性核查不同数据源或数据域之间必须保持自洽。eCRF与源数据一致性（针对前瞻性RWS）：通过人工复核或系统自动比对，确认录入数据与原始病历一致。跨域一致性：性别核查：受试者性别若为“男”，则“妇科病史”和“妊娠状态”必须为空或“否”。死因核查：若生存状态为“死亡”，则“死亡日期”必填，“死因”必填。用药与诊断关联：若使用了“阿司匹林”，则诊断列表中应包含相关的血栓或心血管风险指征，否则需核实是否为适应症外用药。5缺失值与异常值处理策略真实世界数据的缺失不可避免，关键在于明确缺失机制并采用科学的填补或排除策略，杜绝随意填补。5.1缺失机制识别在处理缺失值前，必须先进行缺失模式分析，区分MCAR、MAR和MNAR。MCAR（完全随机缺失）：缺失与任何变量无关。处理方式：直接删除或简单插补。MAR（随机缺失）：缺失与其他观测变量有关。处理方式：多重插补或混合效应模型。MNAR（非随机缺失）：缺失与缺失值本身有关（如重症患者因无法耐受而未检查某项指标）。处理方式：敏感性分析，不能简单填补。执行动作：数据清洗报告中必须包含“缺失模式分析图”，说明缺失数据的分布特征。5.2缺失值处理规范禁止随意删除：严禁因单个次要指标缺失而整例删除受试者数据，除非该指标是主要终点且无法通过其他方式推算。衍生变量规则：在计算衍生变量（如BMI、eGFR）时，若任一组件缺失，结果必须置为缺失。公式示例：若Weight填补记录：所有插补操作必须在程序中保留标记，如BMI_IMP标识该BMI是插补所得。5.3异常值处理流程异常值不一定是错误值，可能是真实的临床极端情况，需审慎处理。分级处理机制：Level1（明显错误）：如男性患者分娩、体重500kg。动作：直接置为缺失并发出质疑，严禁修正为推测值。Level2（临床可疑但可能）：如年龄105岁、某项指标超高。动作：核对原始记录。确认无误后保留，并在数据集中标记Flag=1；确认错误则修正。Level3（统计离群值）：数值在医学合理范围内，但统计学上偏离均值>3动作：保留原始数据，由统计师在分析阶段决定是否进行稳健性分析或剔除。6终点指标清洗与衍生变量构建终点指标是研究的灵魂，其清洗过程具有最高的风险敏感度和逻辑复杂度。6.1主要终点指标清洗主要终点必须清洗至“零误差”状态，任何模糊地带必须在数据锁定前解决。肿瘤评估数据（RECIST标准）：动作：自动计算肿瘤负荷（SumofLongestDiameters,SLD）。校验：若受试者基线无病灶，无法评估疗效，需标记为NE（Non-Evaluable）。时间推导：准确计算PFS（无进展生存期），将PD（进展）日期精确到日。若仅有月度记录，默认为当月最后一天。安全性终点（AE/SAE）：因果关系判定：确保所有SAE的“与研究药物关系”字段非空。严重程度分级：依据CTCAEv5.0标准核对分级数值，禁止出现0级或6级等无效值。6.2衍生变量构建衍生变量是将原始数据转化为分析变量的关键步骤，必须遵循可追溯性原则。依从性计算：公式：Co逻辑：若实际服药天数>理论天数（如患者提前服药），上限截断为100%。合并用药暴露量：动作：根据开始日期和结束日期计算重叠用药天数。若结束日期缺失，以研究结束日期或最后一次随访日期截断。清洗代码审查：衍生变量生成的SAS/R代码必须经过双人编程核对，确保算法逻辑与SAP一致。7外部数据管理（eTMF与SourceData）虽然本指南侧重于数据清洗，但必须确保清洗过程中的问题解决链路闭环。7.1质疑管理质疑是数据清洗的输出形式，必须实现全生命周期的闭环管理。质疑分级：自动质疑：由系统规则生成，如“性别与病史冲突”。人工质疑：由人工核查发现，如“手写字迹模糊需确认”。响应时效：一般质疑需在7个工作日内回复，涉及主要终点的关键质疑需在48小时内回复。关闭标准：质疑不能仅回复“已确认”，必须提供具体的修正动作或确认理由（如“已核实原始病历，确认为50mg，已更正”）。7.2数据质量审计痕迹所有数据的修改必须在审计追踪中留下不可磨灭的痕迹。记录内容：旧值、新值、修改人、修改时间、修改原因。禁止性条款：严禁直接在数据库中删除受试者数据。后果：破坏数据完整性，违反GCP原则。替代方案：将该受试者状态标记为“撤销知情”或“剔除”，并在数据集中通过POPULATION变量进行筛选，物理数据保留。8数据质量评估与冻结数据清洗的终点不是“没有疑问”，而是各项质量指标达到统计学和监管可接受的水平。8.1数据质量验收标准在申请数据库锁定前，必须生成数据质量概览报告并满足以下指标：关键指标缺失率：<1疑问解答率：>95逻辑错误率：关键逻辑错误必须为0，非关键逻辑错误<0.1一致性核查通过率：100%。8.2数据库锁定锁定是一个法律层面的动作，意味着数据状态永久定格。锁定流程：DM提交锁定申请清单。统计师确认可用于最终分析的数据集已生成。CRA/PM确认所有临床疑问已关闭。项目负责人批准锁定。IT部门执行物理锁定（移除所有写入权限，生成Read-Only镜像）。解锁机制：数据库锁定后，原则上严禁解锁。若发现重大影响结论的数据错误，必须启动“紧急解锁流程”，需PI签字批准并记录详细的UnlockForm，说明错误原因、影响范围及纠正措施。9附则本指南由数据管理委员会制定并解释，自发布之日起执行。既往相关指南与本指南冲突的，以本指南为准。附录A：常用数据核查逻辑清单（可执行工具）核查类别核查逻辑描述严重程度处理动作受试者ID受试者ID必须唯一且符合命名规范（如SiteID_Seq）Error拒绝导入，修正源文件日期逻辑出生日期≤入组日期≤随访结束日期Error发出质疑，若无法修正则剔除该受试者性别一致性别字段在所有表单中必须一致（如DEMOGvsAE）Error依据原始核实，统一修正生命体征收缩压<舒张压Warning核实是否录入颠倒实验室数据碱性磷酸酶（ALP）>2000U/L且未见相关AEWarning确认是否为数据录入错误（如少点小数点）用药剂量单次剂量>100片或>5000mgError必须核实，极大概率单位错误妊娠状态性别=男性且妊娠状态=阳性Error直接修正为阴性或缺失疗效评估基线SLD为缺失，但在随访中出现CR（完全缓解）Error剔除疗效评估集附录B：数据清洗常用缩略语对照表RWD:RealWorldData，真实世界数据RWS:RealWorldStudy，真实世界研究DM:DataManagement，数据管理SAP:StatisticalAnalysisPlan，统计分析计划DMP:DataManagementPlan，数据管理计划aCRF:AnnotatedCa