T-CES 325-2024 电力系统的大语言模型微调数据准备规范

T/CES325—2024电力系统的大语言模型微调数据准备规范前言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件由中国电力企业联合会（CES）提出并归口。本文件起草单位：电力系统科研院所、电力企业、人工智能技术企业、高等院校、检测认证机构等。本文件主要起草人：[可填写主要起草人姓名及所在单位]本文件为首次发布。本文件规定了电力系统领域大语言模型（以下简称“LLM”）微调数据准备的术语和定义、总则、数据来源与分类、数据采集要求、数据预处理要求、数据质量评估、数据存储与管理、数据安全与合规要求等内容。本文件适用于电力系统规划、调度运行、设备运维、电力营销、安全管理等各类场景下LLM微调数据的准备工作，可作为电力行业LLM研发、应用及验收的技术依据，规范电力系统LLM微调数据的质量，推动LLM在电力系统领域的标准化、规范化应用。1范围本文件规定了电力系统大语言模型微调数据准备的术语和定义、总则、数据来源与分类、数据采集、数据预处理、数据质量评估、数据存储与管理、数据安全与合规等要求。本文件适用于电力系统相关LLM（包括但不限于电力调度、设备运维、客户服务、安全管控等专用模型）微调过程中的数据准备工作，涵盖数据从采集、预处理、质量评估到存储管理的全流程，适用于电力企业、科研机构、人工智能企业等开展电力系统LLM微调数据准备相关活动，不适用于通用大语言模型的基础训练数据准备。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T1.1—2020标准化工作导则第1部分：标准化文件的结构和起草规则GB/T25000.10—2018系统与软件工程系统与软件质量要求和评价（SQuaRE）第10部分：系统与软件质量模型GB/T31168—2014信息安全技术数据安全分级指南GB/T35273—2020信息安全技术个人信息安全规范GB/T38664—2020信息安全技术数据安全指南DL/T448—2016电能计量装置技术管理规程DL/T596—2021电力设备预防性试验规程DL/T1866—2018电力大数据数据质量评估规范ISO/IEC27001:2022信息安全管理体系要求IEEE1815—2018智能电子设备（IED）的电力系统通信标准3术语和定义下列术语和定义适用于本文件。3.1电力系统大语言模型（PowerSystemLargeLanguageModel,PS-LLM）针对电力系统领域特定场景（如调度运行、设备运维、电力营销等），基于通用大语言模型进行微调，具备电力专业知识理解、专业问题解答、场景化任务处理能力的语言模型。3.2微调数据（Fine-tuningData）用于对通用大语言模型进行微调，使模型适配电力系统特定场景、提升专业性能的高质量数据集合，包括文本数据、结构化数据及半结构化数据。3.3数据采集（DataCollection）从电力系统各类数据源中获取微调所需原始数据的过程，包括主动采集、接口调用、数据共享等方式。3.4数据预处理（DataPreprocessing）对采集的原始数据进行清洗、转换、标注、格式标准化等一系列处理，使其满足LLM微调要求的过程。3.5数据质量评估（DataQualityEvaluation）对预处理后的微调数据进行完整性、准确性、一致性、时效性、相关性等维度的检验与评价，确保数据符合微调要求的过程。3.6敏感数据（SensitiveData）电力系统中涉及国家安全、商业秘密、个人隐私及系统运行安全的各类数据，包括但不限于调度数据、设备核心参数、用户个人信息、电力交易数据等。3.7数据标注（DataAnnotation）对微调数据进行人工或自动标记，标注内容包括类别、实体、关系、指令-响应对应关系等，用于提升模型微调效果的过程。4总则4.1基本原则4.1.1合规性原则：数据采集、预处理、存储、使用等全流程应符合国家法律法规、行业标准及相关规定，确保数据来源合法、使用合规，杜绝违规采集、泄露敏感数据。4.1.2高质量原则：微调数据应具备完整性、准确性、一致性、时效性和相关性，避免冗余、错误、过时数据，确保数据能够有效提升模型微调效果。4.1.3针对性原则：数据准备应结合电力系统特定应用场景（如调度运行、设备运维等）和模型微调目标，聚焦场景需求，确保数据与微调任务高度匹配。4.1.4安全性原则：建立完善的数据安全管理制度，采取必要的安全防护措施，防止数据泄露、篡改、丢失，保障数据全生命周期安全。4.1.5可追溯性原则：建立数据溯源机制，记录数据的来源、采集时间、预处理过程、质量评估结果等信息，确保数据全流程可追溯、可核查。4.2适用场景本文件适用于以下电力系统LLM微调数据准备场景，包括但不限于：电力调度运行场景：用于调度指令生成、故障研判、调度方案优化等LLM的微调数据准备；设备运维场景：用于设备故障诊断、运维方案制定、异常预警等LLM的微调数据准备；电力营销场景：用于客户咨询应答、电费催收、营销方案推荐等LLM的微调数据准备；安全管理场景：用于安全规程解读、隐患排查、事故应急处置等LLM的微调数据准备；电力规划场景：用于规划方案论证、负荷预测、电网优化等LLM的微调数据准备。4.3总体流程电力系统LLM微调数据准备应遵循以下总体流程，各环节可根据实际场景灵活调整：明确微调目标与场景需求，确定数据准备的范围和要求；梳理数据源，开展数据采集工作，获取原始数据；对原始数据进行预处理，包括清洗、转换、标注、格式标准化等；对预处理后的数据进行质量评估，不合格数据需返回重新预处理；对合格数据进行分类存储与管理，建立数据溯源档案；按照数据安全与合规要求，对数据进行安全防护与管控，保障数据使用安全。5数据来源与分类5.1数据来源5.1.1内部数据源：电力企业内部产生的各类数据，包括但不限于：调度运行数据：电网调度指令、运行日志、负荷数据、故障记录、调度规程等；设备运维数据：电力设备参数、检修记录、预防性试验数据、故障诊断报告、运维规程等；电力营销数据：用户档案、电费数据、用电负荷、客户咨询记录、营销政策等；安全管理数据：安全规程、隐患排查记录、事故报告、安全培训资料等；规划设计数据：电网规划方案、负荷预测数据、工程设计资料、可行性研究报告等。5.1.2外部数据源：经合法授权获取的外部相关数据，包括但不限于：行业公共数据：电力行业标准、规范、政策文件、行业统计数据等；公开科研数据：电力系统相关科研论文、实验数据、技术报告等；授权合作数据：经合作单位授权获取的相关电力数据、技术资料等；公开网络数据：合法合规获取的电力行业相关公开资讯、问答数据等（需注明来源并符合版权要求）。5.1.3数据源要求：数据源应合法合规，具备稳定性和可获取性；内部数据源应建立规范的采集机制，外部数据源应取得合法授权，明确数据使用范围和期限。5.2数据分类5.2.1按数据格式分类：文本数据：包括规程规范、运行日志、故障报告、咨询记录、论文文献、政策文件等非结构化文本；结构化数据：包括设备参数表、负荷统计表、电费明细、故障代码表等具有固定格式的表格数据；半结构化数据：包括XML格式数据、JSON格式数据、HTML格式数据等介于结构化与非结构化之间的数据。5.2.2按微调任务分类：指令-响应数据：用于指令跟随类微调任务，包括用户指令与对应专业响应的配对数据（如“查询变压器检修周期”与对应检修规程响应）；知识补充数据：用于知识增强类微调任务，包括电力专业术语、概念、原理、规程等知识类数据；场景案例数据：用于场景适配类微调任务，包括电力系统各类场景下的实际案例、故障案例、处理流程等数据；对话数据：用于对话生成类微调任务，包括电力相关的多轮对话数据（如客户咨询与客服应答对话）。5.2.3按数据敏感程度分类：普通数据：不涉及敏感信息、可公开或内部共享的数据，如行业标准、公开政策文件等；敏感数据：涉及商业秘密、个人隐私、系统安全的data，如调度核心数据、用户个人信息、设备核心参数等；涉密数据：涉及国家安全、重大工程秘密的电力数据，需按照国家涉密数据管理规定进行管控。6数据采集要求6.1采集原则6.1.1合法性：采集数据应符合《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规，未经授权不得采集他人或其他单位的敏感数据、涉密数据。6.1.2完整性：根据微调目标和场景需求，全面采集所需数据，确保数据覆盖场景的各个维度，避免关键数据缺失。6.1.3时效性：采集的数据应符合微调任务的时间要求，优先采集近期数据，避免使用过时、失效的数据（如已废止的规程规范、过时的设备参数）。6.1.4客观性：采集的数据应真实反映电力系统实际情况，避免人为篡改、伪造数据，确保数据的客观性和真实性。6.2采集方式6.2.1接口调用：通过电力系统现有信息系统（如调度自动化系统、设备运维管理系统、营销管理系统）的标准化接口，批量采集数据，确保数据采集的高效性和准确性。6.2.2人工采集：对无法通过接口调用获取的非结构化数据（如纸质规程、手写记录、现场案例），采用人工录入、扫描识别等方式采集，采集后需进行人工校验，确保数据准确。6.2.3数据共享：经相关单位授权，通过数据共享平台获取外部合作数据、行业公共数据，共享过程中需明确数据使用范围和权限，签订数据共享协议。6.2.4网络采集：对公开网络上的电力行业相关数据，采用合法合规的网络爬虫、数据下载等方式采集，需注明数据来源，尊重版权，不得采集违规数据。6.3采集流程明确采集需求：根据微调目标和场景，确定采集数据的类型、范围、数量、时间范围等要求，制定数据采集方案；梳理数据源：根据采集需求，梳理可用的内部、外部数据源，明确各数据源的获取方式和权限；实施数据采集：按照采集方案，采用合适的采集方式，开展数据采集工作，实时记录采集过程中的相关信息（如采集时间、采集方式、数据源）；采集数据校验：对采集的原始数据进行初步校验，排查明显的错误、缺失数据，对不合格数据进行重新采集或标注。6.4特殊要求6.4.1敏感数据采集：采集敏感数据前，需进行数据安全评估，明确采集范围和用途，取得相关授权，采取加密、脱敏等安全措施，防止数据泄露。6.4.2涉密数据采集：涉密数据采集需严格按照国家涉密数据管理规定执行，仅限授权人员采集，采用专用采集设备和存储介质，严禁擅自复制、传输涉密数据。6.4.3外部数据采集：采集外部数据时，需签订数据使用授权协议，明确数据使用期限、范围和责任，不得超出授权范围使用数据，不得将授权数据泄露给第三方。7数据预处理要求7.1预处理总则数据预处理的目的是将采集的原始数据转换为符合LLM微调要求的高质量数据，预处理过程应遵循标准化、可重复、可追溯原则，确保预处理后的数据格式统一、内容规范、质量合格。预处理流程包括数据清洗、数据转换、数据标注、格式标准化四个核心环节。7.2数据清洗7.2.1缺失值处理：对原始数据中的缺失值，根据数据类型和场景需求，采用合理的方式处理：结构化数据：缺失值较少时，可采用均值、中位数、众数填充；缺失值较多或关键数据缺失时，应删除该条数据或重新采集；文本数据：缺失关键信息（如故障描述、指令内容）的文本，应删除或补充完整；非关键信息缺失可忽略。7.2.2异常值处理：对原始数据中的异常值（如超出合理范围的设备参数、逻辑矛盾的记录），进行核查确认：若为数据采集错误，应修正数据；无法修正的，删除该条异常数据；若为真实存在的异常情况（如设备故障时的异常参数），应保留数据，并标注异常原因，用于场景案例微调。7.2.3冗余数据处理：对重复数据、无效数据（如无意义的空白文本、重复记录），进行去重、删除处理，确保数据无冗余；对相似数据，可根据微调需求合并或保留代表性数据。7.2.4噪声数据处理：对文本数据中的噪声（如错别字、乱码、无关字符），进行修正、删除处理；对结构化数据中的噪声（如测量误差），进行平滑处理，确保数据准确性。7.3数据转换7.3.1格式转换：将不同格式的原始数据转换为LLM微调支持的统一格式：结构化数据：将表格数据转换为文本描述格式或指令-响应配对格式，确保数据可被模型识别；半结构化数据（XML、JSON等）：提取核心信息，转换为纯文本或标准化文本格式；图片、扫描件等非文本数据：采用OCR识别技术转换为文本数据，识别后需进行人工校验，修正识别错误。7.3.2内容转换：根据微调任务需求，对数据内容进行合理转换：专业术语统一：将数据中的同义专业术语统一（如“变压器”与“变压设备”统一为“变压器”），避免术语混乱；句式标准化：对文本数据进行句式优化，使其简洁、规范，符合自然语言表达习惯，便于模型理解；数据粒度调整：根据微调目标，调整数据粒度（如将详细的检修记录简化为核心信息，或补充关键细节），确保数据与微调任务匹配。7.4数据标注7.4.1标注原则：标注应准确、规范、一致，符合微调任务需求；标注人员应具备电力专业知识，熟悉微调场景；标注过程应记录标注规则、标注人员、标注时间等信息，确保可追溯。7.4.2标注类型：根据微调任务，选择合适的标注类型，包括但不限于：指令-响应标注：对指令与响应配对数据进行标注，明确指令类型、响应范围，确保指令与响应的对应性；实体标注：对文本中的电力专业实体（如设备名称、故障类型、调度指令）进行标注，明确实体类别和边界；关系标注：对文本中实体间的关系（如“变压器”与“短路故障”的“发生”关系）进行标注；类别标注：对文本数据进行类别划分（如故障类型、指令类型、场景类别），用于分类类微调任务；质量标注：对数据质量进行标注（如“合格”“不合格”“需修正”），用于数据质量筛选。7.4.3标注方式：采用人工标注与自动标注相结合的方式：自动标注：利用电力专业词典、预训练模型等工具，对数据进行批量自动标注，提高标注效率；人工标注：对自动标注结果进行校验、修正，对复杂数据（如复杂故障案例、模糊指令）进行人工标注；标注审核：建立标注审核机制，由专业人员对标注结果进行审核，确保标注准确性，审核不合格的需重新标注。7.5格式标准化7.5.1文本格式标准化：所有文本数据统一采用UTF-8编码，统一换行格式、缩进格式，避免特殊字符、乱码；文本长度根据微调模型要求进行控制，过长文本可合理拆分，过短文本可补充相关信息。7.5.2配对数据标准化：指令-响应、对话等配对数据，采用统一的格式分隔（如“指令：XXX\n响应：XXX”），确保模型能够正确识别配对关系。7.5.3标注格式标准化：标注数据采用统一的标注格式（如XML、JSON），明确标注字段、标注类别、标注内容，确保标注数据可被微调工具识别和使用。8数据质量评估8.1评估总则数据质量评估是确保微调数据符合要求的关键环节，评估应覆盖数据预处理的全流程，建立多维度评估指标体系，采用自动评估与人工评估相结合的方式，对数据质量进行全面、客观的评价。评估不合格的数据需返回重新预处理，直至符合要求。8.2评估指标8.2.1完整性：评估数据是否完整覆盖微调任务所需的各个维度，无关键信息缺失。量化指标：缺失数据占比≤5%；关键数据（如指令内容、故障核心信息）缺失率为0；评估方法：统计缺失数据数量及占比，核查关键信息是否完整。8.2.2准确性：评估数据内容是否真实、正确，无错误、篡改、伪造情况，专业术语使用准确。量化指标：数据错误率≤2%；专业术语准确率≥99%；评估方法：自动核查数据逻辑一致性，人工抽样校验（抽样比例≥10%），对比原始数据与预处理后数据的一致性。8.2.3一致性：评估数据内容、格式、标注规则是否统一，无矛盾、混乱情况。量化指标：格式一致性率≥99%；术语一致性率≥99%；标注一致性率≥98%；评估方法：自动检查数据格式、术语使用的一致性，组织多名标注人员对同一批数据进行标注，计算标注一致性。8.2.4时效性：评估数据是否符合微调任务的时间要求，无过时、失效数据。量化指标：近期数据（近3年）占比≥90%；过时数据（如废止的规程）占比≤1%；评估方法：核查数据采集时间，判断数据是否有效、是否符合场景需求。8.2.5相关性：评估数据与LLM微调目标、场景需求的匹配程度，无无关数据。量化指标：相关数据占比≥95%；无关数据占比≤5%；评估方法：人工抽样评估数据与微调任务的相关性，删除无关数据。8.2.6安全性：评估数据是否符合安全合规要求，无敏感数据泄露、违规数据混入情况。量化指标：敏感数据脱敏率≥100%；违规数据占比为0；评估方法：采用敏感数据识别工具核查，人工校验敏感数据处理情况。8.3评估流程制定评估方案：明确评估指标、评估方法、抽样比例、合格标准等；自动评估：利用数据质量评估工具，对数据的完整性、一致性、格式规范性等进行自动评估，生成评估报告；人工评估：对自动评估无法覆盖的指标（如准确性、相关性、安全性），进行人工抽样评估，补充评估意见；综合评估：结合自动评估和人工评估结果，对数据质量进行综合评价，判断数据是否合格；整改优化：对不合格数据，分析问题原因，返回数据预处理环节进行重新处理，处理后再次进行评估，直至合格；评估归档：记录评估过程、评估结果、整改情况等信息，形成评估报告，归档留存。8.4合格标准预处理后的微调数据，需满足以下所有合格标准，方可用于模型微调：各评估指标均达到本文件8.2条规定的量化要求；数据格式统一、规范，符合LLM微调工具的要求；无敏感数据泄露、违规数据、无效数据；数据与微调目标、场景需求高度匹配，能够有效提升模型专业性能。9数据存储与管理9.1存储要求9.1.1存储介质：根据数据敏感程度，选择合适的存储介质：普通数据：可采用云存储、本地服务器存储等方式，确保存储设备稳定、可靠；敏感数据：采用加密存储介质，如加密服务器、专用存储设备，严禁存储在公共云、非授权设备中；涉密数据：采用符合国家涉密数据存储要求的专用存储设备，实行物理隔离，仅限授权人员访问。9.1.2存储格式：统一采用标准化存储格式，支持常用的数据读取、处理工具，确保数据可复用；文本数据采用UTF-8编码存储，结构化数据采用CSV、JSON等通用格式存储，标注数据采用标准化标注格式存储。9.1.3存储安全：建立存储安全防护机制，包括数据加密、访问控制、备份恢复等：数据加密：对敏感数据、涉密数据进行静态加密和传输加密，防止数据泄露；访问控制：设置分级访问权限，明确不同人员的访问范围和操作权限，禁止未授权访问；备份恢复：定期对存储数据进行备份，备份数据与原始数据物理隔离，建立数据恢复机制，确保数据丢失后可快速恢复。9.2数据管理9.2.1数据分类管理：按照数据类型、敏感程度、微调场景等，对数据进行分类管理，建立数据目录，明确数据的来源、用途、存储位置、有效期等信息，便于数据查询、复用和管控。9.2.2数据溯源管理：建立数据溯源档案，记录数据从采集、预处理、质量评估到存储、使用的全流程信息，包括采集时间、采集方式、数据源、预处理人员、评估结果、使用记录等，确保数据可追溯、可核查。9.2.3数据更新管理：根据电力系统技术发展、微调场景变化，定期对微调数据进行更新，删除过时、失效数据，补充新的数据，确保数据的时效性和相关性；更新过程应记录更新内容、更新时间、更新人员等信息。9.2.4数据复用管理：建立数据复用机制，对符合不同微调任务需求的数据进行整理、归档，便于后续微调任务复用；复用数据前，需进行重新评估，确保数据符合新的微调要求。9.2.5数据生命周期管理：明确数据的生命周期（采集、存储、使用、销毁），对过期数据、无用数据，按照相关规定进行销毁，销毁过程需记录，确保数据彻底删除，防止数据泄露；涉密数据销毁需按照国家涉密数据销毁规定执行。10数据安全与合规要求10.1安全管理要求10.1.1制度建设：建立完善的数据安全管理制度，明确数据安全责任，规范数据采集、预处理、存储、使用、销毁等全流程的安全操作，定期开展数据安全培训和应急演练。10.1.2人员安全：对参与数据准备的人员进行安全审核，明确人员职责和权限，签订数据安全保密协议，严禁泄露、篡改、滥用数据；定期对人员进行数据安全培训，提升安全意识。10.1.3技术防护：采用数据加密、访问控制、入侵检测、病毒防护等技术手段，构建全方位的数据安全防护体系，防止数据泄露、篡改、丢失、病毒感染等安全风险。10.1.4应急处置：建立数据安全应急处置机制，制定数据泄露、丢失、篡改等突发事件的应急预案，发生安全事件时，及时启动应急预案，采取补救措施，降低损失，并上报相关部门。10.2合规要求10.2.1法律法规合规：数据准备全流程应符合《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规，不得采集、使用、存储违规数据，不得泄露个人隐私、商业秘密、国家秘密。10.2.2行业标准合规：符合电力行业相关标准、规范的要求，如DL/T1866—2018《电力大数据数据质量评估规范》等，确保数据准备工作符合行业规范。10.2.3授权合规：采集、使用外部数据、敏感数据、涉密数据时，需取得合法授权，签订授权协议，明确数据使用范围、期限和责任，不得超出授权范围使用数据。10.2.4版权合规：采集、使用公开网络数据、科研数据、合作数据时，尊重数据版权，注明数据来源，不得侵犯他人版权，不得将授权数据用于商业用途（未经授权）。10.3敏感数据与涉密数据管控10.3.1敏感数据管控：对电力系统敏感数据（如用户个人信息、设备核心参数、调度数据），采取脱敏处理（如隐藏关键信息、替换敏感字段），确保脱敏后的数据不泄露原始敏感信息；敏感数据的采集、存储、使用、传输需严格控制权限，仅限授权人员操作。10.3.2涉密数据管控：涉密数据的