大型部署应用及实践 11

DeepSeek数据分析从数据到洞察：大模型时代的分析变革课程大纲数据分析概述理解数据的价值与分析的核心目的，明确分析的应用场景与思维逻辑。数据预处理掌握清洗技巧：识别并处理缺失值、去除重复行，并进行必要的数据变换。统计分析掌握描述性统计、相关性分析、假设检验及回归分析，挖掘数据间的关联。时间序列预测探索数据的时间维度规律，了解自回归模型（AR）的原理及其在趋势预测中的应用。数据可视化学习绘制折线、饼图、柱状图等基础图表，并掌握数据看板的制作与展示技巧。数据分析概述数据价值从“业务驱动”向“数据驱动”转型，挖掘海量数据中的潜在价值，助力企业实现精准决策与降本增效。核心定义在海量、复杂的数据中，运用统计与分析方法，发现规律、提取信息并形成结论，转化为可执行的洞察。应用场景广泛应用于市场营销、用户增长、供应链优化、风险控制及产品迭代等领域，赋能各行业高效发展。数据：新时代的生产资料时代背景在“互联网+”时代的浪潮下，数据正以一种前所未有的速度呈现爆炸式增长，海量数据已构成了支撑数字经济蓬勃发展的坚实基座。数据来源广泛来源于移动互联网、企业私有云及公有云数据平台、物联网终端等各类渠道，覆盖了线上社交到线下感知的全域生活与生产场景。核心价值它已从传统社会生产的“副产物”，进化为可被反复挖掘、深度加工的高价值战略“原料”，正式成为驱动现代经济发展的核心生产资料。什么是数据分析？01/定义用适当的统计分析方法（如聚类分析、相关性分析等）对收集来的大量数据进行分析，从中提取有用信息和形成结论，从而对数据加以详细研究和概括总结的过程。02/核心目的从海量的、杂乱无章的数据中，通过专业的方法抽取和挖掘出不易直接推断的关键信息，并提炼出具有普适性、可用于指导业务或解决问题的结论。03/最终目标深度理解数据背后的信息与逻辑，剖析系统运行的底层机制。在此基础上，对系统未来可能的响应和演变趋势进行预测与推演。数据分析的本质是数据建模，其核心价值正源于此预测能力。数据分析的应用场景市场营销通过分析消费者的购物行为，研究其购物习惯，以便精准地预测下一步的消费。网络安全通过实时监测异常的网络活动数据和相应的访问行为，识别出恶意用户进行入侵的模式，做到未雨绸缪。金融风控通过数据分析规避投资风险，预测市场趋势，为决策提供强有力的支撑。模块二数据预处理DATAPREPROCESSING缺失值处理缺失类型•记录整体的缺失

•记录中特定字段信息的缺失缺失原因•暂时无法获取或遗漏

•属性不可用或价值低

•获取成本过高处理原则具体问题具体分析，

“缺失”本身也可能包含重要的业务逻辑信息。数值列填充基于业务逻辑，使用同月份的中位数进行填充，避免平均值受极值影响。分类列标记将所有缺失的分类值统一标记为“未知”，作为独立类别进行后续建模分析。高缺失删除若某一列数据的缺失率超过30%，且无法有效填充，则直接删除该列以减少噪音。缺失值处理实战任务描述基于提供的产品销售数据，根据具体业务规则，对数据集中的缺失值进行自动化识别与清洗处理。提示词(Prompt)关键指令1.计算并展示每一列数据的缺失值占比。

2.数值列：使用“同月份”的中位数进行填充，保证时序合理性。

3.分类列：统一标记为“未知”，避免引入偏差。

4.规则过滤：删除缺失率超过30%的列，保留关键信息。

5.最终输出：清洗后的完整数据表与详细的处理日志。处理结果反馈•缺失统计：总金额列缺失率最高，为30%，符合保留标准。

•清洗动作：数值列已完成中位数填充；分类列已标记为“未知”；已删除无产品ID的异常行。删除指定的行或列操作类型与提示词模板按条件删除行：删除表格中[列名]值为[特定值]的所有行。按位置删除行：删除表格的第5至第10行。删除列：删除[列名1]、[列名2]和[列名3]列。组合操作：先删除无效行，再删除特定列。实战任务01删除所有[客户类型]为空的记录。02删除[产品ID]列和[支付方式]列。03删除[销售数量]为0或负值的行。04只保留2023年1月之后(不含1月)的数据。重复行处理操作类型与提示词模板常规去重删除表格中完全相同的重复行。高级去重删除重复行，但保留[销售额]最高的记录。选择性去重仅对2023年的数据删除重复行。实战任务01.基于[订单编号]列识别重复行。02.对于重复订单，保留[创建时间]最早的记录。03.如果创建时间相同，则保留[订单金额]较大的记录。04.记录被删除的重复行数和保留策略。数据变换数值计算与转换新增[利润率]列，计算公式为

(销售额-成本)/销售额。文本处理将[姓名]列拆分为

[姓氏]和[名字]两列。日期时间处理从[日期时间]列中提取出

[日期]和[时间]两列。分类编码将[产品类别]列进行One-Hot编码。行列转换将表格从长格式转为宽格式，以[产品ID]为行，[月份]为列。数据变换实战任务描述：基于原始销售数据集，向AI下达多维度的数据处理指令，完成结构化数据的清洗、增强与特征工程。时间维度拆分将复合字段“订单日期”自动解析并拆分为独立的年、月、日三列。自定义区间分类根据数值分布规则，自动新增“销售额区间”列，划分高/中/低三档。衍生关键指标利用公式逻辑计算，自动生成“利润率”等关键业务指标列。分类数据编码对“客户类型”等非数值列，自动执行标签编码(LabelEncoding)。✅自动化处理结果AI能够精准理解自然语言指令，自动完成从数据清洗到特征工程的全部流程，最终输出一张结构清晰、字段丰富、可直接用于建模分析的标准化数据集。模块三统计分析从数据特征到深度洞察·探索数据背后的逻辑与价值统计分析提示词设计原则01.明确方法类型•描述性统计：概括数据基本特征，如计算均值、中位数、标准差、最大值最小值等。•相关性与检验：衡量变量关联度(皮尔逊系数)，或验证假设(T检验、卡方检验)。•回归分析：量化自变量对因变量的影响（线性/逻辑回归）。02.定义数据范围在提示词中清晰界定分析对象，避免数据混淆：✅指定变量：明确是针对"销售额"还是"用户活跃度"进行分析。

✅时间窗口：限定分析"2024年Q3"或"过去12个月"的数据。

✅分组条件：要求按"地区"、"年龄层"或"产品类别"进行分类统计。03.指定输出格式明确期望的结果呈现形式，提升分析的可读性：📊图表化：生成柱状图、折线图或散点图，直观展示趋势。

📋结构化：输出包含关键指标的统计表格。

📝结论化：直接输出一段文字总结统计发现与业务洞察。统计分析示例：描述性统计分析任务基于给定数据集，快速计算小麦产量的均值、中位数、标准差及四分位数，以描述数据的集中趋势与离散程度。数据范围选取1990年-2023年期间的年度小麦产量数据，包含34年的连续生产记录，覆盖完整的统计周期。AI智能输出大模型自动执行数据清洗与统计计算，以结构化表格或关键指标卡片的形式，直观返回分析结果。MEAN/均值11,302.98单位：万吨MEDIAN/中位数11,044.26单位：万吨STD/标准差1,547.50单位：万吨统计分析示例：相关性与回归相关性分析任务目标：分析小麦产量与年份的线性相关性，计算皮尔逊相关系数，并判断相关性是否具有统计学意义（显著性水平）。假设检验任务目标：选取两个具有代表性的时间段，使用独立样本T检验，定量比较两个时期内小麦平均产量是否存在显著的统计学差异。回归分析任务目标：建立小麦产量与年份的线性回归预测模型。重点关注回归系数、决定系数(R²)，并通过残差图验证模型的合理性。模块04自回归时间序列预测AUTOREGRESSIVETIMESERIESPREDICTION自回归模型（AR(p)）简介模型定义假设当前时刻的值$y_t$可以表示为过去p个时刻值的线性组合加一个随机误差。核心思想利用变量自身历史数据的线性组合，对未来时刻的数值进行预测与估计。适用场景适用于分析和预测那些不存在明显趋势性和季节性周期成分的、单一变量的平稳时间序列数据。限制与要求•前置条件：时间序列数据必须具备平稳性。•适用边界：仅适用于预测那些与自身前期数据有较强线性相关性的现象。

自回归预测实战任务描述给定某商品过去30天的日销量数据，通过AI辅助完成数据预处理、模型训练、销量预测及可视化分析的全流程。提示词设计核心指令1.数据检验：检查时间序列平稳性，非平稳则执行一阶差分处理。2.阶数确定：利用PACF图分析并确定AR模型的最优阶数p。3.模型拟合：构建并拟合AR(p)模型，输出回归系数及AIC评价指标。4.销量预测：预测未来7天销量，同时计算并输出80%置信区间范围。5.结果可视化：绘制包含历史数据、预测值及置信区间的对比图。▲历史数据与未来7天预测值对比图模块五数据可视化绘制折线图核心用途展示连续变量随时间变化的趋势，广泛应用于趋势分析、多组数据对比、周期性与季节性分析等场景。提示词关键要素清晰描述数据维度、图表标题、坐标轴定义、线条颜色与样式、是否添加图例与关键数据标注等。实战任务输入详细指令，让AI生成代码并绘制图表：“对比展示城市A与城市B在2023年每个月的平均温度变化情况”。生成结果快速生成包含数据模拟、绘图逻辑的完整Python代码，并输出专业、清晰的双折线对比图。绘制饼图核心用途展示整体中各组成部分的比例关系，适合显示“部分与整体”的关系（如市场份额、预算分配、用户构成）。基本组成主要包含：扇形（面积代表占比）、数据标签、图例说明、圆心角（角度代表占比）。实战任务任务描述：为某电商平台绘制一张展示“用户年龄段分布”的饼图。生成结果直接生成包含完整数据、样式和交互逻辑的HTML代码，可一键嵌入网页使用。绘制柱形图用途：直观对比数量关系适用于比较不同类别或组之间的数值差异，清晰展示各类目分布，是进行横向对比分析的首选图表类型。提示词核心要素明确说明图表类型、数据内容、视觉样式（配色/主题）、标签与标题的展示要求，以及是否有特殊的强调或标注需求。实战任务&输出任务：绘制“2023年各季度销售额”垂直柱形图。

结果：直接生成可交互的HTML代码格式图表。生成效果预览2023年季度销售业绩可视化分析制作数据看板(Dashboard)用途：集中展示关键业务指标、趋势和分析结果，帮助用户快速理解数据并做出决策。01明确看板目标确定业务场景、关键问题和受众角色，让看板价值有的放矢。02数据范围与指标梳理核心数据维度、定义展示指标，并确认准确可靠的数据源。03指定可视化类型根据数据特征选择折线图、柱状图、饼图等最直观的图表类型。04交互与筛选需求规划时间筛选器、维度下钻和图表联动等交互逻辑，提升体验。05界面与布局优化页面排版、统一色彩风格并确保在不同设备上的响应式适配。数据看板实战任务定义核心目标：设计一个功能完整的电商实时数据看板，满足业务运营监控需求。精准提示详细描述目标场景、数据源、核心指标（GMV、转化率等）、图表样式与交互逻辑。生成结果AI直接生成包含多维度图表和指标卡的完整HTML页面，实现数据的可视化呈现。本章总结数据分析概述理解了数据的核心价值，以及进行数