《数据采集与处理》课件-3.数据预处理认知

项目三数据预处理认知任务1认知数据整理任务导入请对上述数据进行整理，并说出某电商平台60个店铺销售方面有哪些数据特征。—、数据整理的概念和意义（一）数据整理的概念数据整理：是指根据数据采集与处理的目的和任务，对数据采集、观察、实验等研究活动中所采集到的资料进行检验、归类编码和数字编码，使之条理化、系统化，从而以集中、简明的方式反映所研究数据采集对象特征的工作过程。—、数据整理的概念和意义为什么要进行数据整理？数据采集所取得的原始资料或二手资料是反映数据采集对象各个单位的资料，这些资料往往是不系统的、分散的，可能有一定的局限性，因此，必须进行相应的整理。

例如，从某网店平台上采集到的购买者资料，只能说明每一个人的个别情况，诸如每个人的姓名、性别、文化程度、职业、爱好等，难以构建职业、性别等与购买商品之间的关系。因此，必须通过对大量购买者的资料进行整理、分组、汇总等加工处理，才能得到数据采集对象的综合特征资料，从而了解数据采集对象的职业、性别、年龄等对购买行为的影响，实现对购买者全面系统的认识。—、数据整理的概念和意义（二）数据整理的意义1.能够挖掘数据的特征，提高数据信息的质量，实现数据系统化、有序化。2.数据整理是检验数据质量的关键环节，也为后续的数据分析提供必要的数据形式。二、数据整理的步骤（一）设计数据整理方案数据整理方案的主要内容一般包括:确定汇总的核心指标与综合数据处理表,确定数据分组方案,选择资料汇总形式，确定资料审查的内容与方法，以及对整理各工作环节做出时间安排和先后顺序安排等。（二）对原始资料或次级资料进行审核资料的审核是数据处理工作的第一步，为了保证数据资料的质量,在对原始资料或次级资料进行汇总之前，必须对其进行审核，以便发现向题及时纠正，只有经过认真审核后的资料才能进行汇总。二、数据整理的步骤（三）对原始资料进行分组和汇总根据数据整理的要求,采用科学的方法对原始资料进行数据分组,在此基础上进行汇总，计算出各组的数据采集对象单位数和合计数,汇总出各组的指标数值和综合指标数值。（四）编制数据分组表或绘制数据透视图数据整理的结果，必须用一定的方式呈现出来。数据分组表和数据透视图是表现数据的两种主要方式。通过数据分组表或透视图表现数据，能够简洁、清晰的反映数据特征，便于数据运用。三、数据的审核（一）数据审核的内容1.数据的真实性审核资料的真实性审核主要是审核资料来源的客观性问题，数据资料来源必须是客观的。数据准确性审核的方法主要是逻辑审核和计算审核，把那些违背常理的、前后矛盾的资料舍去，对于不准确或有疑问的数据，要仔细核对，并加以纠正。三、数据的审核（一）数据审核的内容2.资料的准确性审核准确的审核要着重检查那些含糊不清的、笼笼统统的以及互相矛盾的资料。3.数据的及时性审核对数据及时性的审核就是检查数据是否符合时效性的要求。4.数据的完整性审核对数据完整性的审核，主要是看被采集单位有无遗漏,各项数值的填写是否齐全，项目是否完备等。对于有漏报的项目应补齐,否则影响整个数据整理工作的进行，进而影响整个数据处理工作。三、数据的审核（二）审核应注意的问题在审核中，如发现问题可以分不同的情况予以处理：1.对于在数据采集中已发现并经过认真核实后确认的错误，可以由采集者代为更正。2.对于资料中可疑之处或有错误与出入的地方，应进行补充调查。3.无法进行补充采集的应坚决剔除那些有错误的资料，以保证资料的真实准确。三、数据的审核（三）初级数据存在的问题通过各种渠道采集来的数据，常常出现缺失、异常、冗余、不一致的现象，并不能直接为数据分析所用。此外，一些成熟的数据分析模型对处理的数据有要求，比如一定的数据类型、统一的数据量纲以及数据冗余性要求、属性的相关性要求等。因此，必须对原始数据进行处理才能进行分析。具体来说，原始数据主要存在以下几个问题：三、数据的审核（三）初级数据存在的问题1.重复数据。重复数据是指在数据表中唯一标识记录的字段出现多次的数据。2.缺失数据。缺失数据是指在实践过程中因没有能够获取观测对象的相关信息而不完整的数据。例如，在抽样数据采集中，被数据采集对象拒绝提供相关信息；又如某些实验中，因各种原因没能获取实验数据，或者数据录入、存储过程中的人为失误和系统软硬件问题，都有可能造成数据缺失。缺失数据会影响分析结果的可信度，甚至使分析结果出现严重偏差。三、数据的审核（三）初级数据存在的问题3.异常值。异常值是指所获得的数据中与平均值的偏差超过两倍标准差的数据，也称为离群点。例如，录入数据时误将90录入为900，那么当数据均为100左右的数据时，900就会被识别为异常值。异常值的存在会严重影响数据分析的结果，例如使平均值偏高或偏低，使方差增大，影响数据模型的拟合优度等。此外，若异常值不是错误数据，就应是数据分析人员关注的焦点。三、数据的审核（三）初级数据存在的问题5.不一致数。不一致数据一般表现为以下三个方面：一是人工或机械原因导致的录入错误或数据规范不同。例如将数据集中的“客单价”录入为“-150”；又如变量名“用户编码”下，某数据的规范是“3位/数字”，在另一数据集中则要求“5位/字母+数字”。二是变量单位或者量纲不匹配。例如，某数据集中的商品价格以“元”为单位，另一数据集中却为“万元”。三是数据特征不适应特定数据分析模型的需求或变量过多，分析难度较大。例如，手机系统为Andriod和iOS两种，但回归分析模型中要求数据是数值型的，可以将其转换名义变量（0/1变量）再进行处理。任务2认知数据清洗一、数据清洗概述数据清洗是指对数据进行重新审查和校验的过程中，发现并纠正数据文件中可识别的错误，按照一定的规则把错误或冲突的数据洗掉，包括检查数据一致性，处理无效值、缺失值和冗余值等，数据清理一般是由计算机而不是人工完成。二、数据清洗的方法缺失数据一般在数据表中表现为空白单元格或错误标识符（#div/0!）。检测方法：在Excel软件中可单击“开始”选项卡的“编辑”功能区，通过“定位”→“定位条件”→“空值”→“确定”（或者使用【Ctrl+G】组合键），将缺失数据一次性选定。（一）缺失数据的清洗符号产生原因解决方法#DIV/0!①公式中的除数使用了指向空白单元格或包含零值的单元格的引用②输入的公式中包含明显的除数零①修改单元格引用，或在用作除数的单元格中输入不为零的值②将零改为非零值二、数据清洗的方法（一）缺失数据的清洗处理方法：①忽略缺失值：将有缺失数据的记录保留，仅在相应的分析中做必要的排除。当调查的样本量比较大，缺失数据的数量又不是很多，而且变量之间也不存在高度相关的情况下，采用这种方式处理缺失数据比较可行。②删除缺失值：将有缺失数据的记录删除，删除记录会导致样本量减少，所以此方法不适于小样本量的数据集。③填充缺失值：如果可以推断出正确数值，则填充为逻辑正确值如果无法推断出正确数值，则可以填充“未知”，或者用样本统计量代替缺失数据，最典型的做法是使用变量的平均值替代。替代后由于该变量的平均值会保持不变，因此其他的统计量（如标准差和相关系数等）也不会受很大的影响。二、数据清洗的方法（一）缺失数据的清洗练习题：整理某店铺9月的销售数据，其中9月25日的支付金额和客单价数据缺失。考虑到每天的客单价相对稳定，因此可以用平均客单价代替缺失数据。步骤1：选中D列，在Excel窗口下方的状态栏中可以看到平均值为152.7。

步骤2：在D7单元格中输入152.7，然后选择B7单元格，在编辑栏中输入公式"=C7*D7"按【Enter】键确认，得出支付金额数据。二、数据清洗的方法二、数据清洗的方法（二）重复数据的清洗为了保证数据的一致性，我们需要对重复数据进行处理。在完成重复数据的查找后，即可删除重复数据。实体重复字段重复所有字段完全重复某一个或多个不该重复的字段重复，如Name字段重复重复数据

的类型二、数据清洗的方法（二）重复数据的清洗选择“开始”｜“条件格式”｜“突出显示单元格规则”｜“重复值”命令把重复的数据及其所在单元格标为不同颜色以便识别条件格式法重复数据的查找高级筛选法函数法数据透视表法利用Excel的“高级筛选”功能，选择不重复的记录选择不重复的记录该函数的语法规则：COUNTIF(range,criteria)range：计算其中非空单元格数目的区域criteria：以数字、表达式或文本形式定义的条件利用COUNTIF函数对重复数据进行识别拖动选择相应字段，设置“计数”汇总，其中出现两次及以上的数据就属于重复项统计各数据出现的频次二、数据清洗的方法（二）重复数据的清洗通过按钮删除重复项通过排序删除重复项通过筛选删除重复项单击“数据”选项卡下的“删除重复项”按钮，将显示有多少重复值被删除，有多少唯一值被保留在利用COUNTIF函数对重复数据进行识别的基础上，对有重复标记的列进行降序排列，删除数值大于1的项在利用COUNTIF函数对重复数据进行识别的基础上，对有重复标记的列进行筛选，筛选出数值不等于1的项删除重复数据的方法二、数据清洗的方法（二）重复数据的清洗练习题：利用第三方采集工具从京东商城采集关于玻璃杯的商品数据，其中包含了多条重复的数据，请用不同方法对重复数据进行识别，并删除重复数据。二、数据清洗的方法（二）重复数据的清洗练习题：COUNTIF函数法：1.在“京东价”左侧插入一列，标题设为“第几次出现”2.在C2单元格输入公式“=COUNTIF($B$2:B2,B2)”,该公式用于对“商品ID”进行计数3.筛选出大于1的数据，即为重复数据（也可排序找出重复数据，但顺序会乱）二、数据清洗的方法实操练习：在采集某商品的库存数据时，由于部分SKU（商品最小存货单位）的期初库存和期末库存数据无法采集，导致对应的库存周转率结果错误，同时考虑到这些数据无法手动修改。因此，这里仅需要对表格中的错误信息进行处理，即对于数据不完整的SKU，其库存周转率用“/”号来表示，最后再对整个表格的数据进行去重检查与处理。1选择单元格区域、设置公式2修改错误、删除重复数据二、数据清洗的方法3扩展选定区域、设置检查项4提示已经删除了重复数据专家点拨：

IFERROR

函数的语法格式为"

IFERROR

(

Value

,

Value

_

If

_

Error

)"，该函数可用于捕获和处理公式中的错误。如果公式的计算结果为错误值，则

IFERROR

函数将返回参数"

Value

_

If

_

Error

"所设置的值，否则将返回参数"

Value

"的值。二、数据清洗的方法二、数据清洗的方法（三）错误数据的清洗错误原因查找方法清洗方法手工录入错误条件格式标注错误值错误数据清洗输入不符合要求其他原因COUNTIF函数纠正错误二、数据清洗的方法1.逻辑错误数据的清洗练习题:(1)被调查者输入的信息不符合要求在进行问卷调查时，多项选择题最多可选3项，但被调查者选择了4项或4项以上。对于这种情况，我们可以结合COUNTIF函数，根据指定的条件利用IF函数来判断其真假，然后根据逻辑计算的真假值（TRUE或FALSE）返回相应的内容。以客户满意度调查中的多项选择题为例，介绍如何找出不符合要求的数据。二、数据清洗的方法1.逻辑错误数据的清洗练习题：方法1-使用COUNTIF函数完成检验步骤1：针对"题目1"设置了

A

、

B

、

C

、

D

、

E

、

F

、

G

共7个选项，这7个选项共有4条相关记录，这4条记录分别代表了4个客户对"题目1"的回答，可以看出"客户2"选择了4项，不符合最多可选3项的要求。二、数据清洗的方法1.逻辑错误数据的清洗练习题：方法1-使用COUNTIF函数完成检验步骤2：选择I3单元格，在编辑栏中输入公式=COUNTIF(B3:H3,“<>0),该公式用于判断被调查者是否选择了3项以上。步骤3：选中检验列，“条件格式”-“突出显示单元格规则”-“大于”-3，对所有大于3的单元格突出显示二、数据清洗的方法1.逻辑错误数据的清洗练习题：方法2-使用COUNTIF和IF函数完成检验步骤1：针对"题目1"设置了

A

、

B

、

C

、

D

、

E

、

F

、

G

共7个选项，这7个选项共有4条相关记录，这4条记录分别代表了4个客户对"题目1"的回答，可以看出"客户2"选择了4项，不符合最多可选3项的要求。二、数据清洗的方法1.逻辑错误数据的清洗练习题：方法2-使用COUNTIF和IF函数完成检验步骤2：选择J3单元格，在编辑栏中输入公式"=IF(COUNTIF(B3:H3,“<>0”)>3,"错误","正确")",该公式用于判断被调查者是否选择了3项以上。如果超过3项，表达式即为TRUE，返回"错误"；否则为

FALSE

，返回"正确"。二、数据清洗的方法1.逻辑错误数据的清洗练习题:(2)手工录入错误在手动录入的调查问卷中，出现了0和1之外的数据。对于这种情况，我们可以采用条件格式，利用OR函数标记错误。该函数的语法规则为：OR(logicall,logical2,…)。在其参数组中，任何一个参数逻辑值为TRUE即返回TRUE；所有参数的逻辑值为FALSE才返回FALSE。二、数据清洗的方法1.逻辑错误数据的清洗练习题:(2)手工录入错误步骤1：在手动录入调查问卷时，录入除0和1之外的数据，从表中可以看出，单元格中出现了3、2、3这样的数字。步骤2：选中B3:H6单元格区域，在“开始”选项卡下单击“条件格式”下拉按钮，在弹出的下拉列表中选择“新建规则”选项，弹出“新建格式规则”对话框，选择“使用公式确定要设置格式的单元格”选项，然后输入公式“=OR(B3=1,B3=0)=FALSE“，表示既不为1也不为0的单元格会被标记出来。步骤3：单击“格式”按钮，在弹出的“设置单元格格式”对话框中选择“填充”选项卡，此时错误数据被自动标记出来。二、数据清洗的方法二、数据清洗的方法2.格式错误数据的清洗数据格式问题主要有以下几类：（一）时间、日期、数值、半全角等显示格式不一致。直接将数据转换为一类格式即可，该问题一般出现在多个数据源整合的情况下。（二）内容中有不该存在的字符。如在身高字段下有些变量带单位，有些没有，这时去除不需要的字符即可。（三）数据格式不满足要求。在不同的计算方式下对数据格式要求不同，可根据分析要求进行格式调整。二、数据清洗的方法练习：某企业采集了竞争对手的相关数据，发现一级类目下的数据表达格式未统一，且客单价与销售额的格式也不相同，需要进行整理，其具体操作如下。1输入查找与替换的内容2确认替换一级类目统一替换为：女装/女士精品二、数据清洗的方法4选择多个单元格区域5设置数据类型3查找与替换其他数据二、数据清洗的方法（四）异常数据的清洗检测方法：（1）定义法：检测数据与平均值的偏差，与检测数据两倍标准差比较大小（2）箱形图：由数据的上边缘、上四分位数、中位数、下四分位数和下边缘组成的图形，其中上边缘和下边缘线所代表的就是临界值，超过上下边界的离群点则为需要关注的异常值。操作要求：在excel表格中检测“消费次数”的异常值。运用函数：AVERAGE（平均值函数）、ABS（绝对值函数）、STDEV.S（标准差函数）二、数据清洗的方法（四）异常数据的清洗处理方法：①参考后续的数据分析模型，选择删除或者保留异常值。②用一个样本统计量去代替异常值，比如平均值、中位数、众数等。③分箱法，即通过考察相邻数据的取值对异常值进行平滑处理，可视为一种局部平滑方法。首先将异常值所在指标下的所有数据按照大小排序，并适当分组（也称作分“箱”），然后用组内数据的平均值、中位数或边界值来代替异常值。分组时，如果每个“箱”的数据个数相同就为等深分箱；如果每个“箱”内数据值的区间范围是一个常量就为等宽分箱。三、数据加工数据加工是指对数据进行抽取、转换、计算等操作，使经过加工后的数据成为简洁、规范、清晰的样本数据。一般情况下，当数据经过清洗之后仍然不能满足用户的分析需求时，就需要利用数据加工对数据进行进一步的处理，形成分析所需要的一系列新的字段。数据加工环节直接影响数据质量的价值性、可用性和准确性。因此在进行数据加工时，要根据数据特点合理选择数据加工方法，以实现数据质量的最优化。三、数据加工（一）数据抽取数据抽取就是对数据库中现有字段进行整合加工，使能够形成分析所需要的数据。1.从某个字段中抽取部分数据字段拆分就是为了截取某一字段中的部分信息，将该字段拆分成两个或多个字段。三、数据加工（一）数据抽取Excel的“快速填充”功能一般来说，没有规律的数据都需要手动输入，但对于一些相同或有规律的数据，如员工编号、部门名称等，则可通过填充的方式快速输入。三、数据加工三、数据加工（一）数据抽取2.从不同的数据表中抽取多个字段VLOOKUP函数打开素材文件“2数据抽取-素材”，其中包括两个表，第一个表为近期店铺方可排名前10的商品表，包括商品标题、商品ID、商品货号等属性，第二个表为店铺商品信息表，记录了店铺中所有商品的信息，运营者需要为这些商品添加相应的商品货号。三、数据加工三、数据加工（一）数据抽取练习：字段拆分打开素材文件“3数据抽取-素材”，已知某公司实习员工的信息表，将员工的出生年月日字段拆分成年、月、日三个字段；三、数据加工（一）数据抽取练习：字段拆分分隔符号根据实际情况选择或输入三、数据加工（一）数据抽取练习：字段拆分请大家尝试用YEAR、MONTH、DAY、MID、LEFT、RIGHT等函数抽取信息；用VLOOKUP函数将考核得分抽取到基本信息表中。三、数据加工（一）数据抽取3.字段合并字段合并就是将若干字段合并成为一个新的字段，或者将字段值与文字、数字等组合形成新的字段。字段合并可以利用CONCATENATE函数或者“&”（逻辑与）运算符。三、数据加工（一）数据抽取3.字段合并请将基本信息表中员工的工号和姓名字段合并，合并成“**的工号是**”，例如“周慧的工号是1801201”。（1）利用&运算符合并三、数据加工（一）数据抽取3.字段合并（2）利用CONCATENATE函数合并三、数据加工（二）数据转换由于不同来源的数据可能存在不同的结构，数据转化主要是将数据转换成规范、清晰、易于分析的结构。数据转换包括数据行列转换、数据类型转换、数据排序和数据分组。三、数据加工1.数据行列转换在进行数据报表分析时，常常要从不同的维度观察数据。例如，从时间的维度查看汇总数据，从地区的维度观察汇总数据，这样需要对行列数据进行转换（又称转置）。

例如，下图的数据转换，可以将原数据复制，然后利用"选择性粘贴"对话框中的"转置"选项完成这个操作。三、数据加工2.数据类型转换（1）数值转字符在Excel中输入数据的时候，会默认使用数值型数据；若是数字太长，会变成用科学记数法表示的数，不利于查看数据。我们可以利用“数据”选项卡中的“分列”功能进行转换。步骤：1）选择要转换的数字所在的单元格，随后单击“分列”按钮，在“文本分列向导”对话框中，使用默认设置，连续单击“下一步”按钮；2）进入“文本分列向导”第3步，选中“列数据格式”栏中的“文本”单选项，单击“完成”按钮即可完成设置；3）设置完成后，返回Excel数据表，数据前有小三角符号，代表已转换成功。三、数据加工2.数据类型转换（2）字符转数字在进行数据统计时，有时获取的原始数据是以文本字符形式展现的，虽然这不影响数据展现，但无法进行计算。直接选中要转换的数据列，单击数据列前出现的提醒符号，在给出的选项中选择“转换为数字”选项，即可将文本字符转换为数值。三、数据加工（三）数据排序数据排序是指将数据按照方便我们处理分析的顺序进行有规则的排列，如按照分数降序排序、按照日期升序排序等。（1）添加条件将数据按照“访客数”和“下单买家数”两个字段进行排序，均为降序排序。（2）自定义排序将数据根据流量来源进行排序。1）选择“文件”菜单中的“选项”命令，弹出“Excel选项”对话框，切换到“高级”选项卡，单击“编辑自定义列表”按钮；2）在弹出的“自定义序列”对话框中输入序列（即按照我们希望该字段排列的顺序输入），单击“添加”按钮，将其添加到自定义序列中，单击“确定”按钮完成添加三、数据加工三、数据加工（四）数据分组数据分组是根据统计研究需要，将原始数据按照某种标准划分成不同的组别，分组后的数据称为分组数据。在Excel中我们可以通过VLOOKUP函数快速实现数据分组。我们想将员工的“考核得分”按照分组要求显示考核等级。三、数据加工（四）数据分组（1）在数据表中的空白位置新建数据分组标准，如上图所示；（2）在C2单元格中输入公式“＝VLOOKUP（B2，＄G＄1：＄H＄5,2,1）”，三、数据加工（五）数据计算（1）常规计算：包括对数据值进行加、减、乘、除的简单运算以及运用函数求均值、方差等统计分析指标的复杂运算。1）打开素材文件“数据计算”，求成交转化率指标，设置单元格格式为百分比并保留两位小数；2）计算牛仔裤2019年的平均销量三、数据加工（五）数据计算（2）日期计算1）日期的加减：打开素材文件“数据计算”，已给出了用户首次下单时间和最近下单时间，计算用户的购买间隔时长。2）日期函数常用的日期函数中，“YEAR（）”表示计算年份，“MONTH（）”表示计算月份，＂TODAY（）”表示计算当前日期，“WEEKNUM（）”表示计算日期是本年的第几周等。打开素材文件，已知商品的上架日期，请计算商品的上架天数。三、数据加工1输入函数2计算销售总额计算、排列、筛选并汇总销售数据【实战操作】某企业采集并整理了上半年各销售部门的销售数据，为了便于后期进行数据分析，现在还需要进行计算、排列、筛选、汇总等加工处理，其具体操作如下。1.打开素材文件“销售汇总-素材.xlsx”，计算销售总额；三、数据加工3排列数据、筛选数据4设置筛选条件、筛选结果

2.按销售总额从高到低的顺序进行排序；3.筛选出所有销售总额大于50000的数据；三、数据加工5排序数据、设置分类汇总6设置分类汇总、汇总结果4.按销售部门编号从小到大的顺序排列各销售人员上半年的销售总额数据；5.利用分类汇总功能，汇总出各销售部门上半年的销售总额数据。任务三数据采集与处理的工作过程一、数据采集与处理的意义（一）数据采集与处理的概念数据采集与处理：是指利用科学的方法，根据要求对数据采集对象中各采集单位的数据信息资料进行采集、处理，通过作图、制表和各种形式的拟合来计算某些特征值，分析数据采集对象规律性的活动。一、数据采集与处理（二）数据采集与处理的意义1.事前预判

通过数据采集与处理，能从整体上反映和分析事物的数量特征,能观察出事物的本质和发展规律,从而可以做到事前预判，并作出正确的决策。

例如,企业通过分析市场整体数据,可以了解市场与行业的现状，预测市场和行业的未来发展走向，从而为企业调整运营策略提供有效的数据支持。一、数据采集与处理2.事中监控在数据化运营过程中，市场主体可以通过数据分析来监控各个指标,这样能够及时发现异常，并尽快解决问题，而不会影响正常的运营。（1）宏观上看，数据采集与处理是国家宏观调控和管理的重要工具。（2）从微观上看，数据采集与处理是企业管理与决策的依据。一、数据采集与处理3.事后优化根据数据分析的结果，对于企业而言，就可以定期进行优化调整，不断提升运营工作的质量,持续提高竞争力。

在这方面，数据采集与处理的价值包含3个方面：一是帮助领导做出决策;二是预防风险；三是把握市场动向,通过数据分析,可以帮助企业发现做得好的方向、需要改进的地方,以及指出企业出现的问题。一、数据采集与处理4.数据采集与处理是进行科学研究的重要方法

为使观点与结论具有事实依据和说服力，必须根据数据采集或实验取得的数据来说明问题，通过数字揭示事物在特定时间方面的数量特征,以便对事物进行定量乃至定性分析,从而做出正确的决策。二、数据采集与处理工作过程目的：一是对现状数据进行深入的分析，提供现阶段事物整体状况及构成情况,包括各项业务的发展以及变动情况，即事前预判；二是进行原因分析，发现存在问题的原因,并依据原因制订相应的解决方案，即事中监控；三是预测分析，依据采集和处理的数据对事物未来的发展趋势做预测，以便制订相应的计划，即事后优化。二、数据采集与处理工作过程数据采集与处理工作过程大致分为以下几个环节，即数据分析需求识别、数据采集与处理设计、采集数据、数据处理以及数据呈现，具体步骤如下：1.明确数据采集与处理需求和目标2.数据采集与处理设计3.采集数据及存储数据4.数据处理5.数据呈现任务3认知数据筛选一、数据筛选概述数据筛选：也叫数据挖掘、数据加工，是一种把海量数据进行多维度的探索和挖掘，以达到选出有用的信息的过程。特点：具有全面性、客观性、高效性，是信息决策技术中的一类应用工具。其主要目的是从海量的数据中提取重要的信息，一般采用统计学和人工智能相结合的模式，经过数据筛选处理，生成有用的信息、数据。二、常用数据筛选工具在Excel中，我们可以使用筛选功能、高级筛选、数据透视表来筛选数据。筛选功能可以帮助我们更加精确的筛选数据，提高数据分析的准确性。数据透视表可以帮助我们更加准确的了解数据的分布情况和趋势，从而更好的进行数据分析与决策。（一）excel软件二、常用数据筛选工具SQL是一种常用的数据库查询语言，它可以帮助我们从数据库中筛选出需要的数据。首先需要连接到数据库，然后使用SELECT语句进行查询。SELECT语句可以根据条件筛选数据，比如按照某一列的数值大小、文本内容、日期等进行筛选。SQL查询可以帮助我们从大量的数据中快速地找到需要的信息，提高数据分析的效率。（二）SQL查询二、常用数据筛选工具Python是一种常用的编程语言，它可以帮助我们对数据进行筛选和分析。首先需要导入需要的库，比如pandas库，然后读取数据文件。在Python中，我们可以使用条件语句和逻辑运算符进行数据筛选，比如按照某一列的数值大小、文本内容、日期等进行筛选。Python筛选可以帮助我们更加灵活地对数据进行处理，提高数据分析的灵活性和准确性。（三）Python软件筛选三、数据筛选实例打开时间筛选表的素材文件，将在2026年1月1日之前的日期字体设置为紫色，加粗，添加删除线，背景填充为黄色。将在2026年1月1日之后的日期字体设置为黄色，加粗，背景填充为红色。任务三撰写数据分析报告课程导入撰写数据分析报告是数据分析专员常做的工作。一份结构完整、条理清晰、数据详实、分析合理的数据分析报告不仅能帮助领导快速做出决策，还能为数据分析人员工作加分哦！课程导入怎样才能做出一份好的数据分析报告？本节课我们来学习数据分析报告的相关知识内容吧！一、认识数据分析报告数据分析报告是依据统计学的原理和方法，运用数据来反映、分析社会经济活动的现状、成因、本质和规律，并得出结论，提出解决方法的一种应用文体。对数据分析报告概念的理解应注意以下几点：1.数据分析报告的基本特色是运用大量数据。让数据说话，以数字语言直观反映事物之间各种复杂的联系，以确凿的数据来揭示问题，提出建议、办法和措施。2.数据分析是数据分析报告写作的前提和基础。3.数据分析报告作为一种应用文体，既要遵循一般文章写作的普遍规律和要求，同时，在写作格式、写作方法、数据运用等方面也有其自身的特点和要求。二、数据分析报告的特点1.运用科学分析方法：运用多种科学分析方法，如对比分析法、帕累托分析、动态分析法等2.运用图表语言：运用各类统计图表，通过确凿、翔实的数字和简练、生动的文字进行分析3.注重定量分析：从数量方面来表现事物的规模、水平、构成、速度、质量、效益等情况4.针对性强：针对某一特定问题进行分析，针对性强5.注重准确性：要求数据准确，不能有丝毫差错；结论正确,不能出现谬误；建议、措施可行，不能脱离现实6.重视时效性：失去时效性，数据分析报告也失去了意义7.实用性强：能够揭示存在的问题，提出建议、办法和措施，满足企业战略制定、计划编制、运营管理等各方面的实际需要三、数据分析报告的作用 展示分析结果验证分析质量提供决策参考总的来看，数据分析报告的作用主要集中体现为展示分析结果、验证分析质量和提供决策参考3个方面。分析报告以某一种特定的形式将数据分析结果清晰地展示给决策者,使他们能够迅速理解所分析问题的基本情况、结论与建议等内容。通过分析报告中对数据分析方法的描述、对数据结果的处理与分析等几个方面来验证数据分析的质量,并让决策者感受到整个数据分析过程是科学并且严谨的。科学的决策脱离不了真实、准确、有效数据的支撑，数据分析报告是数据分析工作的结晶，数据分析报告的结论与建议是决策者在决策时的一个重要参考依据。1.日常数据分析报告2.专题分析报告数据分析报告以定期数据报表反映计划执行状况，分析影响原因的数据分析篇幅较短可使用Word和PPT形式呈现注重时效性且与前期报告形成连续的系列报告，且注重进度性和规范性四、数据分析报告常见类型专题分析报告是对商务企业运营中的某一环节或环节中的某个特定问题进行专门研究和分析的报告，它的作用主要是为决策者制定某项决策或解决某个问题提供参考和依据，具有深入性和单一性的特点。四、数据分析报告常见类型3.综合分析报告数据分析报告对工作进行全面评价并呈现各工作部分间的联系篇幅较多常用Word呈现常见的综合研究类报告有人口普查报告、某企业运营分析报告等，此类报考分析维度较为全面，一般需要建立在指标体系之上，去挖掘潜在的内部和外部关系，对于数据某一场景，能够全面进行评价，能全局的进行场景分析，做出整体的评价。五、数据分析报告的写作原则规范性重要性谨慎性创新性一份好的数据分析报告要遵从一定的原则进行写作五、数据分析报告的写作原则规范性名词术语要规范标准统一前后一致“商品平均成本”“商品平均进价”语义相近容易被误解例五、数据分析报告的写作原则重要性用数据表格加统计图展示需要进行详细分析绩效考核指标其他指标分析报告应选取重点关键指标进行分析来自真实业务真实完整不能擅自修改五、数据分析报告的写作原则谨慎性分析过程横向、纵向交叉分析必须科学合理原始数据五、数据分析报告的写作原则创新性可以适当引入新的分析模型或分析方法结合业务数据来验证或改进创新六、数据分析报告的结构一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论。六、数据分析报告的结构总分总总述报告目的分别进行验证最后总结结构完整好的数据分析报告最经典的结构是“总—分—总”，主要包括开篇（标题、目录和前言）、正文（具体分析过程）、结尾（结论、建议和附录）。六、数据分析报告的结构标题附录结论正文前言篇幅较长的报告还会添加目录部分数据分析报告的结构（一）开篇部分1.标题。好的报告标题应该做到确切、简洁、新颖三个方面的基本要求。标题常见方式有：（1）以分析目的为标题，为是数据分析报告标题的最基本形式（2）以主要论点为标题，这种方式突出了分析报告的主题。（3）以主要结论为标题，这种方式既突出了主题又亮明了作者的观点。（4）以提问的方式拟定标题，这种方式能引起读者的疑问和悬念，使读者产生阅读的欲望。（一）开篇部分2.目录目录可以帮助读者一目了然地了解报告的大概内容，便于读者快速找到所需的内容，目录列出来的主要是章的名称以及小节的名称。如果是在Word上撰写报告，必须在每一级目录后面加上页码，对于比较重要的二级目录也可能将其列出来。（一）开篇部分为什么要开展此次分析，有何意义？通过此次分析要解决什么问题，达到何种目的？如何开展此次分析，主要通过哪几个方面开展？3.前言（1）分析背景对数据分析背景进行说明，主要是为了让阅读者对分析研究项目的整体情况有所了解，主要阐述此项分析的主要原因、分析的意义及相关信息。（2）分析目的主要让读者知道此次分析有什么作用，可以解决什么问题。（3）分析思路分析思路用来指导我们如何进行一个项目完整的分析过程，即如何来做，逻辑顺序如何安排？（一）开篇部分3.前言（二）正文正文是数据分析报告的主体部分通过图、表、文的方式来展现数据分析的事实和观点编写日常数据分析报告如果数据太多，可以筛选呈现重要信息重点指标还可以利用统计图展现对比结果和发展趋势编写综合型报告正文部分则需要做全局指标和关键指标的分别呈现（三）结论与建议数据分析报告需要有明确的结论，没有明确结论的分析称不上分析，同时也失去了报告的意义。分析报告一定要有建议或解决方案,作为决策者需要的不仅仅是找出问题，更重要的是提出具有可行性的建议或解决方案，以便他们在决策的作考。（三）结论与建议1诊断现状指出问题所在也是数据分析的指向所在阐明解决思路提出商业行为优化的建议2从商业问题出发，转化成数据问题分析，最终目的还是解决商业问题，优化商业行为电商数据分析数据分析报告的结论（四）附录附录也是数据分析报告的基本组成部分，它是对正文没有具体诠释的部分做一个补充，可以使读者更加深入了解报告的资料获取途径、内容知识等。附录不必像上面所讲的基础结构那样，一定要在报告中体现，它取决于数据分析者是否要对正文的补充进行。七、数据分析报告的写作工具对大多数公司而言,数据分析报告主要通过Word、Excel和PowerPoint系列软件来表现,以这三种软件表现的报告各自的优劣势和适用范围如下表所示。项目WordExcelPowerPoint

优势

易于排版可打印装订成册可含有动态图标结果可实时更新交互性更强展示性较强；交互性较强

劣势缺乏交互性不适合演示汇报

不适合演示汇报

不适合大篇文字

适用范围综合分析报告专题分析报告日常数据通报

日常数据通报

综合分析报告专题分析报告八、数据分析报告的注意事项(1)分析结论要明确、精简、有逻辑性。如果没有明确的结论,整个数据分析工作就失去了意义。很多时候分析就是为了发现问题,如果一个分析能发现一个重大问题,就达到目的了。精简的结论也容易让阅读者接受,降低阅读者的阅读心理门槛。不要有猜测性的结论,太主观的东西缺乏说服力,一定要遵循“发现问题—总结问题原因—解决问题”这样一个流程来写,逻辑性强的分析报告层次明了、架构清晰,能让阅读者一目了然、容易读懂。(2)数据分析报告尽量图表化,用图表代替大量堆砌的数字会有助于人们更形象、更直观地看清楚问题和结论。图文并茂可以令数据更加生动活泼,增强视觉冲击力,有助于阅读者更形象、直观地看清楚问题和结论,从而产生思考。制作图表时,需要保证基本的美观度,风格要统一。例如一些常识性的配色:餐饮类用暖色调,如橘色、红色、黄色。国际贸易类用蓝色、灰色、雾蓝色、灰绿色等。社会人文类按照感情颜色进行配色,如较严峻的社会问题要用灰色、深蓝色;较喜庆的事件使用红色、绿色、黄色;具体可按需搭配对比色和互补色等。八、数据分析报告的注意事项(3)一切分析都要以数据来说话。好的分析一定要基于可靠的数据,很多时候收集数据会占据更多的时间,包括规划定义数据、协调数据上报、让开发人员提取正确的数据或者建立良好的数据体系平台等,最后才在收集到的可靠数据基础上做分析。一切正确的结论都要以正确的数据为基础,所以要保证收集到的数据的正确性,否则从源头开始出错,后面的一系列工作都将变成无用功。(4)要确保分析报告的针对性。每个人都有自己的阅读习惯和思维方式,因此撰写分析报告时,应避免只按照自己的思维逻辑来写。应充分考虑阅读者的身份,希望通过分析报告了解的信息,从阅读者的角度来撰写的分析报告,才是一份合格的分析报告。九、撰写数据分析报告的自检清单（一）全文不可出现错别字、漏字、多字、病句；用语规范，慎用网络词语和口语化的表达方式。（二）排版符合基本格式规范，如段首缩进两个汉字；全文在字体、字号、缩进、行距等方面尽量保持统一。（三）避免冗长的句子，尝试将一句话中的逗号和句号控制在3个以内；标点符号使用规范。（四）段落切分长度适中，每段表达一个意思，段落间有适度的过渡性文字串联。（五）有充分的过渡和总结，是一篇完整的文章，而不是一系列需要报告阅读者自己厘清关系的素材的堆砌。（六）善用章节、小标题和列表来凸显逻辑结构，尤其是并列和从属关系。（七）全文的图形要统一编号并加注标题，编号和标题一般位于图形下方；全文的表格要统一编号并加注标题，编号和标题一般位于表格上方，尽量避免图表及其标题跨页。九、撰写数据分析报告的自检清单（八）报告中展示的图表在文字中必须有所引用，引用图表时应说明其编号，章节的起始部分应安排文字，不可直接放置图表。（九）引用图表要注意符合规范、格式美观、简洁易懂，全文图表风格保持一致。（十）图表中的文字、数字标签等元素的字号大小与正文保持相近，并保证能清晰阅读。（十一）图表和文字中涉及的变量名称和分类标签，尽量使用具有明确业务意义的中文，避免使用不规范的简写、编码、英文原始变量名。（十二）图形配色要考虑所有可能的应用场景（如黑白／彩色打印稿、各类电子显示屏、投影仪等），慎用相近的浅色或深色，以避免因设备偏色等原因导致在某些场景下颜色发生混淆。（十三）如需使用大篇幅表格、公式和指标计算方法的详细介绍、模型优化的完整检验过程、代码等专业内容，则可统一放在附录，在正文中通过编号引用。在未来职业岗位的应用在进行数据分析之前一定要知道你的报告受众是谁不同受众对于报告的期望完全不一样高层关注方向基于数据分析或者数据洞察来做决策基于方向决定相关资源的投入中层关注策略基于数据分析结果可以制定什么样的策略如果用户流失，更关注流失用户的特征从而给出对应策略员工关注执行如针对什么样的用户发送什么样的优惠券可以根据分析结果执行运营方案数据分析报告相关知识内容数据分析报告的结构撰写原则认知了解课程小结思考题如果某份数据分析报告的数据图表非常美观，分析逻辑很严谨，分析方法也非常适用。工作人员在清洗数据时只出现了一次函数操作失误问题，造成大约只占5%的数据出现失真。请问这份数据分析报告是否能保留使用？为什么呢？思考题出个问题考考你。工作人员在清洗数据时只出现了一次函数操作失误问题，造成大约只占5%的数据出现失真。如果某份数据分析报告的数据图表非常美观，分析逻辑很严谨，分析方法也非常适用。课程导入请问这份数据分析报告是否能保留使用？为什么呢？任务4数据分组认知任务导入：为准确了解工人的劳动效率，某企业生产管理部门对机加工车间30名工人完成劳动定额的情况进行数据采集，得到如下原始资料（%）：97829584938692102100103105100103108107108106109113114109117125115122119118116129115该企业生产管理部门经理要求该部门工作人员尽快对该资料进行整理，以便提供给公司管理层为制定新的生产定额提供参考。任务要求：1.请你根据上述数据资料帮助该企业生产部门工作人员，整理一下机加工车间30名工人完成劳动定额的情况，以便更好的反映工人生产定额完成情况的分布状况及其构成。2.通过以上数据整理工作的流程，简述一下数据分组是什么？数据分组最关键问题是什么？一、数据分组的概念及作用数据分组是在数据采集对象内部进行的一种特定分类，是根据数据处理的目的,将数据按照一定的数据处理需求区分为若干个组成部分的数据处理方法。（一）数据分组的概念一、数据分组的概念及作用1.可以揭示社会经济数据资料的特点及规律性（二）数据分组的作用通过数据采集得到的资料，往往是大量零散的、不系统的第一手数据，仅仅通过这些散乱的资料，难以看出数据采集对象的特点和基本情况，所以需要进行分组。经过数据分组之后，就可以观察出数据具有的一些特点，进而研究数据采集对象具有的规律性。一、数据分组的概念及作用2.可以区分数据采集对象的类型（二）数据分组的作用例如,消费者按照购物习惯可分为传统型购物人群和网店型购物人群等类型,网店购物人群可还以按照性别、职业和年龄等来区分，传统型购物人群也可按照年龄、地域等来分类;当然，还可以按照城镇购物人群和农村居民购物人群等来区分消费者类型。一、数据分组的概念及作用3.可以分析数据采集对象内部构成和结构特征（二）数据分组的作用把被研究现象按某一标志分组后，计算出各组在数据采集对象中的比重,就可以说明经济现象的内部结构，例如网购群体中老、中、青购物者构成情况，西瓜视频、抖音等视媒体爱好者结构等，都反映出不同的购物人群对网购及自媒体的态度。一、数据分组的概念及作用4.可以揭示现象之间的依存关系（二）数据分组的作用数据采集对象都不是孤立存在的,而是相互联系、相互依存、相互制约的。例如，网络时代消费者中，年龄与购物习惯存在着一定的关系，一般来说，青年购物者往往喜欢网购，而老年人则喜欢实体店消费；广告投入和销售额存在一定的依存关系，一般来说,广告投入越多，销售额也比较高。再如商品销售额和流通费用率之间也存在着一定的依存关系，一般来说,销售额越高，流通费用率越低（见表3-3-1）。一、数据分组的概念及作用可以看出，商品流通费用率与商品销售额之间存在的依存关系是？（二）数据分组的作用二、数据分组的方法数据分组的关键问题在于选择分组标志和划分各组界限，而选择分组标志则是数据分组的核心问题。二、数据分组的方法1.根据数据处理的目的与任务选择分组标志（一）选择分组标志例如，以爱好网购的消费者为数据采集对象进行研究时，这个研究对象就有很多标志，如年龄，性别、职业、收入等。如果数据分析的目的是要分析不同年龄段人群在数据采集对象中的构成，那么就要选择年龄作为分组标志；如果要研究职业、收入对网购的影响，则可以选择职业、收入等作为分组标志。二、数据分组的方法2.要从众多标志中选择最能反映被研究对象本质特征的标志作为分组标志（一）选择分组标志在选择分组标志时,可能遇到既可以使用这种标志，又可以使用另一种标志的情况，这就需要根据被研究对象的特征，选择最主要的、最能反映事物本质特征的标志进行分组。例如,研究某城市居民生活水平状况时，既可用居民的个人收入水平作为分组标志,也可以用居民家庭成员人均收入水平作为分组标志。思考：哪个分组标志更能反映其生活水平的高低？二、数据分组的方法3.根据现象所处的历史条件或经济条件来选择数据分组标志（一）选择分组标志数据采集对象是随着时间、地点等条件的变化而变化的。例如,在研究公司发展水平高低时,需要对企业按年产量或年产值进行分组。一般来说，反映公司发展水平高低的标志主要有年产值、年产量、固定资产、年利润额、资本利润率等。在生产力水平较低的情况下，用年产值的多少来表示企业规模的大小比较适当;而在技术更新的历史时期或技术装备比较先进的情况下,有的企业由于采用了机械化生产，虽然年产值可能很大,但发展水平并不一定很高。因此,年产值已不能准确地说明公司发展水平的高低,这时使用年利润额或资本利润率等作为反映公司发展水平的分组标志更为恰当。二、数据分组的方法1.按品质标志分组（属性差异）(二)数据分组的种类例如，网民按性别、民族、文化程度等标志进行分组。按品质标志分组的结果形成品质数列，如下表为某县区200家企业类型分组表。二、数据分组的方法2.按数量标志分组（数量差异）(二)数据分组的种类例如，消费者按年龄分组，职工按工资水平分组等。按数量标志分组的过程中，根据变量值取值范围不同,分组的形式可以分为单项式分组和组距式分组。二、数据分组的方法(二)数据分组的种类单项式分组:即每一组只包含一个变量值，这种分组形式只适用于离散变量，而且只能在离散变量的变动范围较小、变量值个数较少时使用，如,按某工厂机械加工车间工人日产量划分工人生产情况（见下表）。单项式分组（要点）

用一个变量值作为一组适合于变量值较少的离散变量二、数据分组的方法工人日产量分组表(二)数据分组的种类二、数据分组的方法(二)数据分组的种类二、数据分组的方法(二)数据分组的种类组距式分组:即在变量值变异幅度较大时，将变量值取值范围人为地划分为若干个区间,变量在同一区间内取值的现象归为一组,区间的距离即称为组距，如商店按销售额分组等。组距分组(要点)用变量值的一个区间作为一组适合于连续变量和变量值较多的离散变量二、数据分组的方法(二)数据分组的种类二、数据分组的方法(二)数据分组的种类二、数据分组的方法（三）数据分组体系所谓数据分组体系,就是根据数据采集与处理的要求,通过对同一数据采集对象进行不同分组，形成的系列相互联系、相互补充的组的整体。数据分组体系有平行分组体系与复合分组体系之分。二、数据分组的方法（三）数据分组体系平行分组：平行分组是选择两个或两个以上的标志对总体进行一次次简单分组后所形成的体系。在平行分组中，各个分组是并列的，每个分组都是基于一个特定的标志或属性进行的。这种分组方式适用于当各个分组之间没有直接的逻辑或层次关系，或者当需要同时考虑多个标志时。二、数据分组的方法（三）数据分组体系复合分组：复合分组是将总体按照一个主要的标志进行初步分组，然后在每个初步分组的基础上，再根据一个或多个其他标志进行更细致的分组。复合分组形成了一个分组的层次结构，其中每个较高级别的分组可以进一步细分为更具体的子组。这种分组方式适用于当需要对总体进行更深入的细分，以揭示不同子组之间的差异时。二、数据分组的方法（三）数据分组体系二、数据分组的方法（三）数据分组体系任务5数据汇总认知任务导入：一家评估机构为数据采集不同品牌饮料的市场占有率，对随机抽取的一家超市进行了数据采集。采集人员在某天对照50名顾客购买饮料的品牌进行了记录，如果一个顾客购买某一品牌的饮料，就将这一饮料的品牌名字记录一次。下面的资料是某超市对购买饮料进行记录的原始数据。任务要求：1.汇总某日每种饮料的销售情况；2.分析饮料销售情况有何特征？一、数据汇总的概念数据汇总，它是在数据分组的基础上，把数据采集单位各方面的特征值分别进行综合和加总，最终得到数据指标的工作过程。（一）数据汇总的概念二、数据汇总的内容（一）数据采集单位数汇总也是频数的汇总，即汇总各组和采集对象总体的单位数。（二）数据采集单位特征值汇总也即是相关标志值汇总，是将数据采集单位的某一数量特征值绝对数进行加总，最终合计为数据采集对象总体的某一数量特征值的总和。三、数据汇总的组织形式（一）逐级汇总逐级汇总就是按一定的统计管理体制,自下而上地对数据采集资料进行逐级汇总。（二）集中汇总对各级都需要的基本资料实行逐级汇总，对数据采集所得的其他资料则实行集中汇总。（三）综合汇总集中汇总就是将全部数据采集资料集中到组织数据采集的最高一级机关进行一次性汇总。三、数据汇总的组织形式各种汇总形式对照表四、利用“分类汇总”进行数据汇总Excel是常用的数据处理分析软件，能够对数据进行分类汇总和计算。下面以某天猫书店某日的图书销售情况资料为例来介绍Excel中分类汇总的操作流程。某天猫书店某日图书销售情况四、利用“分类汇总”进行数据汇总汇总任务：按“购买者籍贯”汇总商品总价。第一步，鼠标点击表格内“购买者省籍贯”的任一单元格，对数据进行升序排列；第二步，选择“数据”菜单中“分类汇总”命令，打开“分类汇总”对话框；第三步，在“分类汇总”对话框中，选择“购买者籍贯”为分类字段，汇总方式选择“求和”选项，在“选定汇总项”中选中“商品总价（元）”复选框；第四步，可以将上述的结果创建一个图表，该图表仅使用了包含分类汇总的列表中的可见数据。分类汇总中的汇总方式有求和、计数、平均值、最大值、最小值、