提示基础方法 7

《提示工程：原理、方法与实践》第10章数据分析应用实践用结构化提示词模板贯穿数据预处理、分析可视化与洞察报告全流程配套教学课件·建议学时4（另上机2）1本章内容110.1数据预处理与清洗210.2数据分析与可视化310.3数据洞察与数据分析报告4本章小结与习题学习目标理解数据质量四维框架与异常、缺失处理逻辑掌握伪代码式条件逻辑提示词的写法与定制能够用模板完成EDA、建模与用户导向可视化能够将洞察转化为数据故事、报告与决策建议2本章的统一写法：一个范式贯穿九个模板框架与对照表→结构化提示词模板→场景化应用→进阶策略每个小节先给四步流程和一张"类型—特征—策略"对照表（表10-1～10-9）再给一个可复制的核心模板，多数采用IF/ELSEIF/FOR伪代码形式每个模板配一个行业场景（电商、银行、医疗、零售、制造、在线教育）最后给出专项或高级策略，把模板扩展到特定数据与场景310.1数据预处理与清洗用提示工程完成质量检查、异常处理与缺失值处理，为分析奠定可靠基础。传统方法依赖硬编码规则和脚本；提示工程让AI自动识别质量问题并建议处理措施。410.1.1数据质量检查：多维度评估框架传统检查的问题：依赖人工经验与脚本，效率低、主观性强、难以标准化ISO/IEC25012划分15个质量特征，最核心四维：完整性、准确性、一致性、及时性质量检查提示词化的四步流程维度分解→指标计算→标准比对→报告生成模板结构：数据集信息占位符+四维各4项检查点+五类输出要求模板三步用法①完整复制模板到大模型对话框②替换占位符（数据集名称、数据量、字段数等）③上传数据文件开始对话5表10-1数据质量多维度评估框架质量维度核心检查指标检查重点质量阈值完整性缺失率、字段覆盖度空值分布、必填字段完整性关键字段缺失率<5%准确性异常值比例、格式正确性数值范围合理性、格式规范性异常值比例<3%一致性重复率、编码统一性记录去重、编码标准化重复记录<1%及时性更新频率、时效性数据新鲜度、更新延迟更新延迟<24小时资料来源：教材表10-16模板：多维度数据质量检查提示词节选：数据集信息、完整性维度及输出要求；完整版（含准确性、一致性、及时性）见提示词汇编10-1。提示词教材10.1.1【多维度数据质量检查提示词模板】请对以下数据集进行全面的数据质量检查，按照四个核心维度生成详细的质量评估报告：数据集信息：[数据集名称、数据量、字段数量、数据来源、业务用途]第一维度：完整性检查1.计算每个字段的缺失值数量和缺失率2.识别缺失率超过5%的高风险字段3.分析缺失模式：随机缺失vs系统性缺失4.评估关键业务字段的完整性状况输出要求：-执行摘要：整体质量等级（优秀/良好/一般/较差）和关键发现-分维度详细报告：每个维度的具体检查结果和问题清单-问题优先级排序：按对分析影响程度对问题进行分级-改进建议：针对发现问题的具体解决方案-风险提示：质量问题对后续分析可能造成的影响设计要点用方括号占位符描述数据集，便于复用每个维度固定4个检查点，覆盖面稳定阈值（如缺失率5%）直接写进提示词输出要求分五类，结果可比较、可追溯先检查后分析，报告服务于后续决策7专项质量检查策略：按数据类型写提示词1结构化数值数据：关注分布与极值请分析以下字段的数值分布，识别异常值、单位错误和极端数值，并标记潜在数据质量风险。2文本型数据：关注编码与标准化请检查以下字段内容中表达相同含义但形式不同的文本值，并建议统一标准化格式。3时间序列数据：关注顺序与缺失请检查时间字段是否存在格式错误、顺序颠倒、异常间隔或大面积缺失等问题。4规则型字段关系：关注逻辑一致性请依据业务逻辑检查字段之间的约束关系是否合理，如注册时间应早于登录时间，金额不得为负等。810.1.2异常处理：决策树逻辑框架目标：在保护数据真实性与提升分析质量之间取得平衡四步流程：多层检测→严重度评估→策略决策→效果验证第一层四种检测方法统计学检测（3σ原则、IQR）、业务逻辑检测、分布检测、关联检测第二层四级严重度致命错误、严重异常（偏离>5σ）、中度异常、轻度异常大规模数据：提示词分析+代码生成+批量执行特定场景的异常时间序列：趋势突变、异常间隔、季节性偏移高维多变量：变量组合离群嵌套/多层次数据：跨层逻辑不一致（如异常重复下单）9表10-2异常值分类与处理策略对照表异常类型识别特征严重程度推荐处理策略业务影响数据错误型明显违反业务逻辑（如负年龄）高删除或修正高风险，必须处理极值型超出正常范围但符合逻辑中变换或截断中等影响，需要验证分布异常型偏离主体分布但数值合理中保留并标记轻微影响，保持观察系统异常型由系统故障导致的批量异常高批量删除高风险，影响数据质量资料来源：教材表10-210模板：决策树驱动的异常值处理提示词节选：第二层严重度评估与第三层处理策略（致命错误）；完整四层版见提示词汇编10-6。提示词教材10.1.2【决策树驱动的异常值处理提示词模板】第二层：异常严重度评估对检测到的每个异常值进行分级：IF违反基本业务逻辑（如负年龄、超过物理极限）：严重度="致命错误"ELSEIF超出统计正常范围且偏离程度>5σ：严重度="严重异常"ELSEIF超出业务常见范围但逻辑可能：严重度="中度异常"ELSEIF仅统计方法标识且偏离程度适中：严重度="轻度异常"第三层：处理策略决策FOR致命错误：IF可明确修正值：策略="数值修正"ELSE：策略="记录删除"设计要点IF/ELSEIF把分级标准写成可执行规则严重度与业务重要性共同决定策略关键指标宁可人工复核也不自动删除每个决策都要求记录原因与影响评估中度异常：样本>1000且占比<1%则标记保留1110.1.3缺失值处理：智能决策机制缺失机制三分类完全随机缺失MCAR、随机缺失MAR、非随机缺失MNAR（另有结构性缺失）四步流程：模式诊断→策略匹配→质量优化→效果验证策略匹配按字段类型、缺失比例、缺失机制分支选择填充方法质量优化四项验证：分布特征、关联性、预测性（交叉验证）、业务逻辑高级技术：多重插补（mice/PMM）、机器学习预测填充、结构相似性填充（KNN/聚类）辨识机制的例子收入字段缺失与年龄相关→MAR高收入者不愿填收入→MNAR同一字段，机制不同，策略不同12表10-3缺失值类型与处理策略对照表缺失类型特征描述缺失机制推荐处理策略注意事项完全随机缺失缺失与任何变量无关MCAR简单删除或均值填充不会引入偏差随机缺失缺失与观测变量有关MAR回归预测或多重插补需要考虑相关变量非随机缺失缺失与未观测值有关MNAR模式建模或专家判断可能存在系统性偏差结构性缺失由业务逻辑导致的缺失逻辑性保留或条件填充符合业务规则资料来源：教材表10-313模板：智能缺失值处理策略选择提示词节选：第二步智能策略选择（数值型分支）；完整四步版见提示词汇编10-10。提示词教材10.1.3【智能缺失值处理策略选择提示词模板】第二步：智能策略选择FOR每个缺失字段：IF缺失比例>50%AND业务重要性=="低"：策略="删除字段"ELSEIF字段类型=="数值型"：IF缺失机制=="完全随机"AND分布=="正态"：策略="均值填充"ELSEIF存在强相关字段：策略="回归预测填充"ELSEIF缺失比例<20%：策略="中位数填充"ELSE：策略="多重插补"设计要点先判断是否删除字段，再按类型分支数值型：机制→相关字段→缺失比例→兜底分类型：众数→关联规则→新增"未知"类别时间型：序列插值或前向/后向填充50%、20%、10%为经验阈值，需按行业定制1410.2数据分析与可视化让干净的数据"说话"：探索性分析了解特征与模式，统计建模揭示变量关系，可视化直观呈现结果。1510.2.1探索性分析的决策树方法传统EDA的问题：主观性强、缺乏系统性、难以捕捉深层模式四步流程：类型识别→路径选择→层次探索→洞察整合数据模式判定阈值数值型占比>70%为数值型主导；分类型占比>60%为分类型主导存在明显时间字段为时间序列型；否则为混合型分层探索：单变量→双变量关系→多变量模式→业务洞察多维数据探索三策略：降维（PCA）、聚类（KMeans/层次）、抽样1000条课堂案例零售企业20万条交易记录，销售策略优化前用EDA模板做系统性初步洞察；大数据集先抽样1000条、保持类别比例做快速探索。16表10-4探索性分析的决策树路径对照表数据类型主要特征核心分析路径关键输出结果深度探索方向数值型主导连续变量为主分布→相关→聚类→回归分布特征、关系模式非线性关系、交互效应分类型主导离散变量为主频数→关联→交叉→规则类别分布、关联规则高阶关联、序列模式时间序列型包含时间维度趋势→季节→周期→预测时间模式、变化趋势结构变化、异常检测混合型数据多种类型并存分层→综合→建模→验证综合洞察、模式发现复杂关系、潜在结构资料来源：教材表10-417模板：决策树驱动的探索性数据分析提示词节选：第一层数据模式识别与第二层路径选择（数值型、分类型）；完整四层版见提示词汇编10-14。提示词教材10.2.1【决策树驱动的探索性数据分析提示词模板】2.识别主要数据类型模式：IF数值型变量占比>70%：数据模式="数值型主导"ELSEIF分类型变量占比>60%：数据模式="分类型主导"ELSEIF存在明显时间字段：数据模式="时间序列型"ELSE：数据模式="混合型数据"3.评估数据复杂度：变量关联度、分布复杂度、异常程度第二层：探索路径自适应选择根据识别的数据模式选择相应的探索策略：IF数据模式=="数值型主导"：执行路径="分布分析→相关分析→聚类探索→关系建模"重点关注：分布形态、线性关系、潜在分组、预测关系ELSEIF数据模式=="分类型主导"：执行路径="频数分析→关联分析→交叉分析→规则挖掘"重点关注：类别分布、关联强度、交互效应、规则模式设计要点先用占比阈值判定数据模式，再选路径每条路径都给出"执行路径+重点关注"路径与表10-4一一对应，便于核对第三层按路径做单→双→多变量分层探索第四层做一致性、业务逻辑、显著性验证1810.2.2统计建模的编程逻辑构建建模挑战：算法众多，模型选择、调优与评估主观性强四步流程：问题分析→算法选择→模型构建→效果评估第一层：明确预测目标、业务价值、精度与解释性要求；按目标变量类型判断问题类型第三层：特征工程与选择、标准化、训练集划分；网格搜索或贝叶斯优化+交叉验证单模型不足时集成：投票、加权平均、Stacking第四层：性能指标+业务价值（KPI改善、成本效益、风险）双重评估课堂案例银行5万条客户信贷数据，用统计建模模板构建违约概率预测模型：分类预测、需概率输出、需解释性。19表10-5统计建模算法选择对照表问题类型目标变量特征数据规模推荐算法关键考虑因素回归预测连续数值型中小规模线性回归、岭回归线性关系、多重共线性分类预测离散类别型中等规模逻辑回归、随机森林类别平衡、特征重要性聚类分析无监督学习不限K-means、层次聚类聚类数量、距离度量时间序列时序数据长序列ARIMA、指数平滑平稳性、季节性资料来源：教材表10-520模板：编程逻辑驱动的统计建模提示词节选：第一层问题类型判断与第二层算法匹配（分类预测）；完整四层版见提示词汇编10-18。提示词教材10.2.2【编程逻辑驱动的统计建模提示词模板】3.问题类型判断：IF⽬标变量为连续数值：问题类型="回归预测"ELSEIF⽬标变量为分类标签：问题类型="分类预测"第二层：算法智能匹配与选择FOR分类预测：IF样本均衡AND特征简单：候选算法=["逻辑回归","朴素⻉叶斯","决策树"]ELSEIF样本不均衡OR特征复杂：候选算法=["随机森林","XGBoost","SVM"]ELSEIF需要概率输出：候选算法=["逻辑回归","随机森林","梯度提升"]设计要点按目标变量类型先定问题类型候选算法以列表形式给出，便于后续循环训练分支条件对应数据规模、线性/非线性、样本均衡时间序列分支：ARIMA/指数平滑/Prophet或VAR/LSTM第三层对每个候选算法做参数搜索与交叉验证21特定场景的建模策略：条件—策略—理由1小样本选正则化强的算法（岭回归、Lasso），防止过拟合。2高维特征先做特征选择或降维（PCA），再建模。3实时预测用轻量模型（LightGBM）或边缘部署，保证响应速度。4多目标优化采用多目标学习或帕累托优化权衡目标。5复杂业务多轮提示拆解子问题，分层建模+模型融合。2210.2.3可视化的系统构建策略传统问题：图表选择主观、信息层次混乱、用户需求理解不准用户中心四步：用户画像→信息架构→视觉映射→交互设计用户画像三要素：用户角色、认知特征、设备环境按角色设计信息架构高层决策者：总览-重点-趋势-建议（KPI仪表盘占屏幕30%）业务分析师：维度-明细-对比-深挖；技术人员：指标-分布-相关-模型图表匹配：时间序列→折线/面积/热力图；分类对比→柱状/条形/饼图；数值分布→直方/箱线/小提琴图；关系网络→散点/网络/树图课堂案例制造企业生产运营仪表盘：车间主任、生产经理、厂长三类用户，角色不同则信息架构与图表不同。23模板：用户导向的数据可视化设计提示词节选：第二阶段按用户角色设计信息架构（高层决策者、业务分析师）；完整四阶段版见提示词汇编10-19。提示词教材10.2.3【用户导向的数据可视化设计提示词模板】第二阶段：信息架构设计根据用户特征设计信息层次：IF用户角色=="高层决策者"：信息架构="总览-重点-趋势-建议"-核心KPI仪表盘（占屏幕30%）-关键异常提醒（醒目标识）-趋势变化概览（简化图表）-行动建议摘要（文字精炼）ELSEIF用户角色=="业务分析师"：信息架构="维度-明细-对比-深挖"-多维度分析面板（可切换维度）-详细数据表格（支持排序筛选）-同期对比分析（时间/地区对比）-下钻分析功能（逐层深入）设计要点以用户角色为分支条件，而非以数据为起点每种架构给出四个模块及其呈现方式第一阶段先用占位符刻画用户画像第三阶段按数据类型匹配图表并规定字号第四阶段设计筛选、排序、钻取、导出与响应式24交互式可视化闭环：提示词+代码+交互图1一句提示生成代码同时写明图表类型、变量映射与交互需求，让AI生成Plotly代码。2本地运行复制到Jupyter/VSCode运行，确认依赖与文件路径。3报错反馈修正把错误信息（如KeyError）反馈给AI，检查字段名并修正。4三点核验是否回答问题、标注图例是否准确、有无误导性映射。5导出写入报告导出PNG/SVG/HTML写入报告，并标注其回答的问题。2510.3数据洞察与数据分析报告技术洞察本身不直接创造价值，需转化为商业故事、分析报告和决策建议：结构化故事挖掘、智能化报告生成、逻辑化建议构建。2610.3.1数据故事的结构化挖掘数据故事：将分析结果转化为有叙事性、洞察性与说服力的商业内容讲"有结论、有理由、有价值"的故事，而非图表堆砌四步流程：洞察筛选→价值排序→逻辑串联→叙事包装量化筛选标准：p<0.05、业务影响>10%、95%置信区间价值排序：综合得分=业务相关度×0.4+行动可能性×0.3+影响范围×0.3，取前3-5个故事三段式：开篇（背景/目标/数据）、主体（发现/支撑/影响/原因）、结尾（总结/含义/建议/风险）课堂案例在线教育平台用户留存分析：用故事模板构建面向管理层的叙事，推动运营策略优化；另生成CXO版与一线员工培训版。27表10-7数据故事类型与叙事结构对照表故事类型核心主题叙事结构关键要素预期效果问题发现型识别业务问题或异常现状-问题-影响-原因异常数据、影响范围、根因分析引起重视、推动调查机会挖掘型发现业务机会或优势背景-发现-机会-行动市场洞察、竞争优势、增长潜力激发行动、资源投入趋势预测型揭示发展趋势或规律历史-现在-趋势-准备历史数据、当前状态、未来预测提前布局、战略调整效果验证型评估措施效果或成果目标-行动-结果-启示基线数据、干预措施、效果量化证明价值、总结经验资料来源：教材表10-728模板：商业逻辑驱动的数据故事挖掘提示词节选：第二阶段故事类型识别与结构设计；完整四阶段版见提示词汇编10-22。提示词教材10.3.1【商业逻辑驱动的数据故事挖掘提示词模板】第二阶段：故事类型识别与结构设计根据洞察特征确定故事类型和叙事结构：IF主要洞察类型=="异常或问题发现"：故事类型="问题发现型"叙事结构="正常基线→异常发现→影响评估→原因分析→解决建议"ELSEIF主要洞察类型=="增长机会或优势识别"：故事类型="机会挖掘型"叙事结构="市场背景→优势发现→机会量化→竞争分析→行动计划"ELSEIF主要洞察类型=="趋势或模式识别"：故事类型="趋势预测型"叙事结构="历史回顾→当前状态→趋势识别→未来预测→应对策略"ELSEIF主要洞察类型=="措施效果评估"：故事类型="效果验证型"叙事结构="初始状态→干预措施→效果测量→成功因素→推广建议"设计要点用加权公式把"重要性"量化，避免凭感觉挑洞察故事类型由主要洞察类型决定，对应表10-7每类故事给出五段叙事结构，可直接作提纲第三阶段按开篇/主体/结尾填充内容第四阶段做语言、逻辑、情感三方面包装29多维度洞察整合：四类提示词1主题聚合请归纳以下洞察的共性主题并命名3个核心故事主线2优先级排序依据影响力×行动性评估每条洞察的优先级3逻辑链路请为以下洞察生成因果链/时间线/决策流程顺序图4多受众适配请用战略视角重写该故事开篇，面向CXO级别汇报；请生成一线员工培训版本，口语化表达为主3010.3.2分析报告的智能生成技术核心思路"内容结构化"：提示词驱动+模块拼接+自动成稿四步流程：内容模块化→结构自适应→素材智能整合→格式标准化四类报告（表10-8）执行摘要型2-4页、技术分析型10-20页、业务洞察型5-10页、监控dashboard型1-3页模块化写作：背景介绍、关键发现、行动建议、风险评估各有内容要素+写作要求质量控制三项：内容完整性、表达质量、格式标准化多格式适配：Word/PDF、"将结论转为三页PPT"、Web交互报告、"适配H5"；版本控制"仅更新结论页，保留原数据部分"课堂案例零售连锁企业季度营销效果分析报告：同时面向董事会、营销部门、财务部门生成多版本报告。31模板：内容驱动的智能分析报告生成提示词节选：第一阶段报告类型与结构选择；完整四阶段版见提示词汇编10-28。提示词教材10.3.2【内容驱动的智能分析报告生成提示词模板】2.报告类型与结构选择：IF目标受众=="高层管理者"AND使用场景=="决策支持"：报告类型="执行摘要型"结构框架="执行摘要→关键发现→商业影响→行动建议→风险评估"ELSEIF目标受众=="技术团队"AND使用场景=="技术交流"：报告类型="技术分析型"结构框架="分析背景→数据方法→详细结果→技术讨论→改进建议"ELSEIF目标受众=="业务部门"AND使用场景=="业务指导"：报告类型="业务洞察型"结构框架="业务背景→关键洞察→业务影响→实施计划→成功指标"ELSE：报告类型="综合分析型"结构框架="项目概述→分析过程→主要发现→业务建议→附录资料"设计要点受众AND场景两个条件共同决定报告类型每种类型附五段结构框架，直接生成目录ELSE分支提供综合分析型兜底第二阶段按模块生成，选3-5个核心图表第四阶段输出PPT版、一页纸版、技术版3210.3.3决策建议的推理链构建决策建议是分析通往行动的"最后一公里"落地难：建议与数据脱节、路径模糊、风险考虑不足推理链三环节：证据归因→策略匹配→可行性测试四步流程：证据汇总→逻辑推导→方案生成→可行性验证证据分正面、负面、中性、缺失四类；区分直接因果、间接因果、相关性vs因果性方案：3-5个核心建议，实施步骤"准备→执行→验证"，定量/定性成功指标可行性三维：技术、经济（ROI）、组织（变革阻力）+风险缓解与应急预案课堂案例传统制造企业数字化转型：用推理链模板给出系统性决策建议与实施路径，并做情景与灵敏度分析。33表10-9决策建议类型与推理模式对照表建议类型主要特征推理模式关键要素评估标准战略优化型涉及长期发展方向趋势分析→机会识别→策略制定市场趋势、竞争态势、资源配置战略一致性、可持续性运营改进型针对具体业务流程问题诊断→原因分析→改进方案效率提升、成本控制、质量改善可操作性、投入产出比风险防控型关注潜在风险和威胁风险识别→影响评估→预防措施风险概率、影响程度、应对能力风险覆盖度、成本效益创新发展型探索新的增长机会机会发现→可行性分析→试点方案市场潜力、技术可行性、资源需求创新价值、实现概率资料来源：教材表10-934模板：逻辑驱动的决策建议推理链构建提示词节选：第二阶段逻辑推理链条构建；完整四阶段版见提示词汇编10-33。提示词教材10.3.3【逻辑驱动的决策建议推理链构建提示词模板】1.因果关系识别：FOR每个核心发现：直接因果=识别([数据发现]→[业务影响]的直接关系)间接因果=分析([数据发现]→[中间变量]→[最终影响]的链条)相关性vs因果性=