数据科学导论 课件 第6章 数据的描述与探索

第6章数据的描述与探索6.1数据分析常用方法因素分解法-相关思维因素分解法就是分解影响目标的因素，是相关思维的应用。现在的很多企业管理层，面对的问题并不是没有数据，而是数据太多，却不知道怎么用。相关思维能够帮助我们找到最重要的数据，排除掉过多杂乱数据的干扰！因素分析从“定义目标、辨别指标”开始，然后计算能收集到的多个指标间的相互关系，挑出与其他指标相关系数都相对较高的数据指标，分析它的产生逻辑，对应的问题，并评估信度和效度，若都满足标准，这个指标就能定位为核心指标！技术洞察6.1：数据分析前的准备–明确目标、定义指标数据分析的目的是了解业务运行状况，并从中发现问题、优化问题。因此明确目标及定义衡量标准至关重要。目标是结果，而指标是对结果分析的具体要求，是对目标的客观衡量。如某网站目标是提高销售额，对应的不同类的指标如下：

结果指标用于衡量整体目标，过程指标用于体现过程是如何完成，观察指标往往是受影响的指标，如受到结果指标的影响而上升或下降。观察指标的设置主要是为了跳出框架思考，往往也是可以由数据直接得到的。

对比法–比较思维对比法是一种挖掘数据规律的思维，能够和任何技巧结合，一次合格的分析一定要用到N次对比。对比主要分为以下几种：横向对比，即同一层级不同对象比较；纵向对比，即同一对象不同层级比较；目标对比，常见于目标管理，如完成率等。时间对比，如同比、环比、月销售情况等，很多地方都会用到时间对比。环比与同比是两个常用的比较方法，同比是指与历史同时期进行比较得到的数值，该指标主要反映的是事物发展的相对情况，环比是指与前一个统计期进行比较得到的数值，该指标反映的是事务逐期发展的情况。当然也可以根据业务情况确定其他比较基准。对比法可以发现数据变化的规律，并且增长率可以定量反映数据变化情况。不同时期的同比增长率可以对比，环比增长率也可以再对比。数据分析不是告诉别人差不多，而是要告诉别人差多少。技术洞察6.2：同比or环比增长速度是反映经济社会某一领域发展变化情况的重要数据，而同比和环比是反映增长速度最基础、最核心的数据指标，也是国际上通用的指标。在统计中，同比和环比通常是同比变化率和环比变化率的简称，用于表示某一事物在对比期内发展变化的方向和程度。象限分析法–分类思维分类是一种基本的数据分析方式，根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析则能够挖掘事物的本质。客户分群、产品归类、市场分级、绩效评价等数据分析场景都需要有分类的思维。主管拍脑袋可以分类，通过机器学习算法也可以分类，关键点在于分类后的事物，需要在核心指标上能拉开距离！也就是说分类后的结果，必须是显著的。技术洞察6.3：RFM模型–客户分类

RFM模型是衡量客户价值和客户创造利益能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中，RFM模型是被广泛提到的。该模型通过一个客户的最近一次消费日期（Recency）、消费频率（Frequency）以及消费总体金额（Monetary）3项指标来描述该客户的价值状况。如果将R、F、M每个维度做一次两分类（1代表高、0代表低），这样在3个维度上可以得到8组不同类型的用户。漏斗分析法-漏斗思维漏斗法主要目的是查看目标事件整个过程中每一步的转化率以及整个事件最终的转化率，发现用户流失最严重的环节，可以分析运营活动各个环节设计的优劣，以优化程序和提高整体转化率。

漏斗法在互联网公司的数据分析中经常被用到，并且经常通过埋点数据分析页面曝光和点击的PV、UV。这种思维方式已经普及应用到：注册转化、购买流程、销售管道、浏览路径等场景，太多的分析场景中，能找到这种思维的影子。技术洞察6.4：AARRR漏斗模型AARRR是用户获取（Acquisition）、用户激活（Activation）、用户留存（Retention）、获得收益（Revenue）、推荐传播（Referral）这个五个单词的缩写，分别对应用户生命周期中的5个重要环节。该模型广泛的应用于互联网行业中，每个环节都会有对应的指标，是直接面向用户（ToC）产品评估、优化的重要模型。用户获取：渠道点击量、渠道曝光量、渠道转化率、日应用下载、日新增用户数、获客成本CAC用户激活：日活跃用户数、日活跃率、周活跃率等用户留存：次日留存率、3日留存率、7日留存率、30日留存率等获得收益：客单价、用户购买率、复购率、回购率、平均用户收入、平均付费用户收入、

生命周期价值LTV推荐传播：转发率、转化率、K因子第6章数据的描述与探索6.2数据描述性分析认识数据面对大量数据，如何开展数据分析以及如何选择数据分析方法，需要把握两个关键：（1）抓住业务问题不放松。即你花费大力气收集数据的动机是什么？你想解决什么问题？这是核心，是方向，就是业务把握层面。（2）全面理解数据。涉及到哪些变量？是什么类型？适合或者可以用什么统计方法？这是数据分析技术层面。因此认识数据是第一步。

以结构化数据为例，统计学上将每个被调查对象被称为一个观测单位（Observation），而变量（Variable）也就是表顶行各条目的名称，是观测单位的某种特征或属性，变量的具体取值称为“变量值”。数据变量主要用来描述事物的特征，那么按照基本特征描述的变量有一下两种划分方法：定性变量、定量变量。认识数据（1）定性变量是描述事物特征的变量，其目的是将事物区分成互不相容的不同组别，因此也称为分类变量，变量值多为文字或符号。定性变量可以再细分为：①有序分类变量：描述事物等级或顺序，变量值可以是数值型或字符型，可以进而比较优劣。②无序分类变量：取值之间没有顺序差别，仅做分类。又可分为二分类变量和多分类变量。（2）定量变量的变量值就是数字，也称为数值变量。定量变量可以再细分为：①连续型变量：在一定区间内可以任意取值，其数值是连续不断的。相邻两个数值可以作无限分割，即可取无限个数值。如身高、房价等。②离散型变量是取值只能用自然数或整数单位计算，其数值是间断的，相邻两个数值之间不再有其他数值，这种变量的取值一般使用计数的方法取得。技术洞察6.5：理解数据--变量说明表理解数据是数据分析的第一步。在了解数据来源、理解数据中包含的变量及变量的基本情况过程中，数据变量说明表是规范的表格形式。

该类表格的表头不易过多，一般包括变量类型、变量名称、取值范围、单位、详细信息、备注等。可以灵活调整，且无需太详尽，给出概貌即可。变量的展示还可以根据内容进行归纳分组，便于一目了然。数据统计量及分布当我们面对大量信息的时候，经常会出现数据越多，事实越模糊的情况。因此需要对数据进行简化，描述统计学就是用几个关键的统计量来描述数据的整体情况。

数据描述的第一个维度是数据的集中趋势描述，它们是寻找反映事物特征的数据集合的代表值或中心值，这个代表值或中心值可以很好反映事物目前所处的位置和发展水平，通过对事物集中趋势指标的多次测量和比较，还能够说明事物的发展和变化趋势。

数据描述的第二个维度是数据的离中趋势量度，表明一组数据中各数据以不同程度的距离偏离中心的趋势。

数据统计量及分布

想一想6.1：中位数与众数的计算数据分布有可能出现以下三种情况，从左至右分别是左偏分布、对称分布和有偏分布。你能够理解这些数据集的不同吗？数据统计的可视化关于数据的统计量计算属于非图形方法，往往不能提供数据的全貌，因此需要借助于图形方法。统计图的使用首先要满足的是“准确”，即使用恰当的统计图去描述数据。

应用案例6.2：直方图与箱线图直方图是频数直方图，是用一系列宽度相等、高度不等的长方形表示数据的统计报告图，它亦是一个连续变量（定量变量）的概率分布的估计。直方图一般用横轴表示变量的不同取值，纵轴表示数据分布情况。应用案例6.2：直方图与箱线图箱形图用于显示一组数据分散情况资料的统计图，可以通过这种图直观的探索数据特征。箱形图的每一条横线都有意义，共由五个数值点构成，分别是最小观察值（下限），25%分位数（下四分位数），中位数，75%分位数（上四分位数），最大观察值（上限）。数据描述性分析数据的描述分析主要通过统计图表对数据进行初步展示。虽然统计图是最能吸引人的工具，能够给人留下深刻的印象，而描述分析的重点在于对统计图表的解读。单独展示统计图表本身没有太大的意义。根据统计图表“讲故事”，从统计图表中发现问题才是描述分析的真正目的。数据分析最终呈现的结果是数据分析报告。描述性文字的撰写可以分为两个层次：第一个层次称为客观陈述，即描述统计图所展示的现象，例如直方图的分布形态、柱状图中各个类别的频数多少等。这个层次的描述性文字主要是做到用词准确，尤其是与统计学相关的术语。第二个层次称为合理推断，即解读统计图背后的原因，推测数据呈现出的某些规律。这个层次的描述性需要深入思考，给出合理解释。特别是需要多接触各行各业的数据及了解业务问题，才有可能更加合理地挖掘数据背后的故事。

数据描述性分析结合复杂的数据可视化技术，可以对数据进行更深层次的挖掘及描述，让数据讲故事。ECharts提供的复杂的数据可视化示例。旭日图凹凸线图

关系图桑基图

应用案例6.3：描述性分析实例--驾驶员出险因素分析及结论驾驶员因素共包含4个变量:驾驶员年龄、驾驶员驾龄、驾驶员性别和驾驶员婚姻状况。通过分析能够得到以下结论：(1)驾驶员年龄：左图所示的箱线图可以看出，出险和未出险驾驶员年龄的平均水平(中位数)和波动水平的差异并不明显。(2)驾驶员驾龄：右图所示的箱线图可以看出，出险驾驶员驾龄的平均水平(中位数)要明显低于未出险驾驶员，说明新手驾驶员更有可能出险。应用案例6.3：描述性分析实例--驾驶员出险因素分析及结论(3)驾驶员性别和婚姻状况：从图所示的棘状图可以看出，女性驾驶员的出险率更高，但样本量远小于男性驾驶员;未婚驾驶员出险率略高，但样本量远小于已婚驾驶员。步合理推断是：驾驶员的性别和婚姻状况可能对出险行为有影响，这种影响也可能是由于数据本身的样本量差异形成的。第6章数据的描述与探索6.3数据探索性分析什么是探索性分析探索性数据分析（ExploratoryDataAnalysis，EDA）是指对已有的数据通过作图、制表、计算特征等手段探索数据的结构和规律的方法。包括对数据进行清洗、对数据进行描述（描述统计量，图表），查看数据的分布，比较数据之间的关系，培养对数据的直觉，对数据进行总结等。EDA是任何数据分析中重要的第一步，了解异常值出现的位置以及变量之间的关系有助于设计能够产生有意义结果的统计分析。对数据进行探索性分析是建模的基础，而包括业务问题、数据准备等环节在内的各类工作往往占据数据科学项目的80%的工作量。

什么是探索性分析数据科学家可以使用探索性分析来确保他们产生的结果是有效的，并且适用于任何期望的业务成果和目标。EDA可以帮助回答有关标准差、分类变量和置信区间的问题。

一旦EDA完成并得出见解，它的结果就可以用于更复杂的数据分析或建模，也包括用于机器学习中。

探索性分析与数据清洗探索性数据分析（EDA）的本质就是早发现数据的一些简单规律，数据清洗的目的是留下可靠数据，避免“脏数据”的干扰。这两者没有严格的先后顺序，经常在一个阶段进行。

探索性分析一般内容及处理顺序如下：①是否有缺失值？是否有异常值？是否有重复值？②样本是否均衡？③是否需要抽样？④变量是否需要转换？或增加新的特征（计算后的新特征）？

想一想6.2：为什么数据准备那么花时间？关于为数据科学项目获取正确的数据这件事，2016年某机构对数据科学家的调查发现，79%的时间花在数据准备上，其中主要任务的时间分配如下：收集数据集19%；清理和组织数据60%；构建训练集3%；根据数据挖掘模式9%；算法调优4%；执行其他任务5%。

也就是说大约80%的项目时间用于收集、清洗以及组织数据，这在多年的工业界调查中一直都是一致的结论。可见无论数据挖掘技术有多么“高级”，如果没有应用到正确的数据集上，它也不会挖掘出有用的模式。

探索性分析与可视化使用探索性数据分析来分析和调查数据集并总结其主要特征，通常与数据可视化方法相结合。它有助于确定如何最好地操纵数据源以获得所需的答案，从而使数据科学家更容易发现模式、发现异常、检验假设或检查假设。数据可视化被定义为使用可视化表示探索、理解和交流数据。尽管经常使用的名称是数据可视化，但是它通常代表信息可视化。因为信息是数据（原始事实）的聚合、汇总和上下文化，所以可视化中描述的是信息，而不是数据。但通常两个处于可以互换使用并且是同义词。数据可视化与信息图形、信息可视化、科学可视化、统计图形等领域密切相关。