商务数据分析与可视化 课件 3、4 商务数据分析方法、商务数据挖掘技术

商务数据分析方法010203掌握时间序列分析方法。学习目标掌握一元和多元线性回归模型。理解相关分析的概念。12目录C

O

N

T

E

N

T

S相关分析时间序列分析3线性回归相关分析相关分析相关分析：指对两个或多个变量元素进行分析，研究它们之间是否存在某种相关关系，并对具体有相关关系的现象探讨其相关方向以及相关程度。相关分析是一种常用的用于研究变量之间密切程度的统计方法。·定义相关分析·分类相关分析·相关系数线性回归线性回归相关分析的目的在于测度变量之间的关系强度；回归分析侧重于考察变量之间的数量伴随关系，并通过一定的数学表达式将这种关系描述出来，主要用于研究一个变量（因变量）关于另外一个或几个变量（自变量）的具体依赖关系。线性回归回归直线的拟合优度显著性检验回归方程预测问题变量选择与逐步回归一元线性回归判定系数估计标准误差线性关系的检验回归系数的检验点估计区间估计/多元线性回归多重判定系数估计标准误差线性关系的检验

回归系数的检验和推断/向前选择、向后剔除、逐步回归、最优子集相关分析·一元线性回归模型相关分析·一元线性回归模型相关分析对于这一模型主要有以下几个主要假定：·一元线性回归模型相关分析·参数的最小二乘估计相关分析·参数的最小二乘估计最小二乘法思想示意图：相关分析·参数的最小二乘估计相关分析·多元线性回归模型相关分析·多元线性回归模型相关分析·估计的多元线性回归模型相关分析·参数的最小二乘估计线性回归回归分析主要解决以下问题：1、从一组样本数据出发，确定变量之间的数学关系式，得到回归方程；2、对回归方程、参数估计值进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响是显著的，哪些是不显著的；3、利用回归方程，根据一个或几个变量的取值来估计或预测另一个特定变量的取值，并给出这种估计或预测的可靠程度；时间序列分析时间序列分析·概述时间序列可能是应用最普遍的数据表现形式和数据存储格式。时间序列（Time

Series）用于描述事物运动过程的连续状态和瞬时状态。时间序列在形式上表现为变量Y的一连串值，这些值是在不同时间测得，并根据时间排序。时间序列分析时间序列分析的目的：由于数据之间有统计依赖关系，统计学家往往把一个时间序列看作是某随机过程的一次实现。时间序列中数据顺序及数据大小都蕴含着客观世界及其变化的信息，表现着变化的动态过程。时间序列分析的意义在于研究某一时间序列在长期变动过程中所存在的统计规律性。进行时间序列分析的三个目的:1、理解所考虑的动态系统2、预测将来事件3、通过干预来控制将来事件时间序列分析·分类时期序列:现象在一段时期内总量的排序(GDP)时点序列:现象在某一瞬间时点上总量的排序(年末总人口)相对数时间序列：—系列相对数定时间顺序排列而成(增长率、产业结构比）平均数时间序列：一系列平均数定时间顺序排列而成（居民消费水平）时间序列分析一般情况下，时间序列的数值变化规律有：长期变动趋势、季节变动规律、周期变动规律和不规则变动。不同的数值变化规律是由不同影响因素决定的。这些影响因素有长期起作用的因素，也有短期因素；有可以预知和控制的因素，也有未知和不可控制的因素。这些因素相互作用和影响，从而使时间序列的变化趋势呈现不同的特点。·时间序列及其分解时间序列分析循环变动循环变动与季节变动的周期不同，循环变动通常以若干年为周期，在曲线图上表现为波浪式的周期变动。这种周期变动的特征表现为增加和减少交替出现。最典型的周期案例就是市场经济的商业周期。不规则变动不规则变动是由某些随机因素导致的数值变化，这些因素的作用是不可预知和没有规律性的，因此对数值的变化影响表现为不规则变动。·时间序列及其分解时间序列分析·时间序列及其分解时间序列分析·时间序列的描述性分析时间序列分析·时间序列预测的程序1．确定时间序列包含的成分确定趋势成分观察时间序列是否存在趋势，以及所存在的趋势是线性还是非线性的。确定季节成分确定季节成分是否存在至少需要两年的数据，而且数据需要按照季度、月份、周或者天来记录。时间序列分析·时间序列预测的程序2．选择时间序列预测方法平均预测法平均预测法是根据时间序列资料逐渐推移，依次计算包含一定项数的时序平均数，以反映长期趋势的方法。指数平滑法指数平滑法是一种特殊的加权平均法，其加权的特点是对离预测值较近的历史数据给予较大的权重，给离预测值较远的历史数据给予较小的权重。权重由远到近按指数规律递减。时间序列分析·时间序列预测的程序感谢观看商务数据挖掘技术010203常试用相关技术解决问题。学习目标理解各类数据挖掘算法。了解常用的数据挖掘方法。12目录C

O

N

T

E

N

T

S分类分析聚类分析34关联分析文本挖掘分析分类分析分类分析分类分析：将数据映射到预先定义好的群组或类。可通过在一群已经知道类别标号的样本中，有监督地学习构造一个分类函数（分类模型），然后使用该分类模型对测试数据和新的数据进行分类，将具有某些特征的数据全都映射到某个更加符合其特征的群组或类上，从而完成分类。常用的分类算法有朴素贝叶斯算法、决策树算法、k近邻算法。·定义分类分析朴素贝叶斯算法：是基于贝叶斯定理与特征条件独立假设的分类算法，是应用最广泛的分类算法之一。该算法假定给定目标值时属性之间相互条件独立，即没有哪个属性变量对于决策结果占很大（很小）的比重，这在一定程度上降低了贝叶斯算法的分类效果，但在实际应用场景中，极大简化了贝叶斯算法的复杂性。·常见算法分类分析决策树算法：决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法。该方法首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策树对新数据进行分析。决策树由节点（Node）和有向边（Directededge）组成。节点的类型有两种：内部节点和叶节点。其中，内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录），叶节点表示一个分类。·常见算法分类分析k近邻（k-Nearest

Neighbor，KNN）算法：是一种基于实例的分类方法。该方法就是找出与未知样本x距离最近的k个训练样本，看这k个样本中多数属于哪一类，就把x归为那一类。k近邻算法是一种懒惰学习方法，它存放样本，直到需要分类时才进行分类，如果样本集比较复杂，可能会导致很大的计算开销，因此无法应用到实时性很强的场合。·常见算法分类分析·朴素贝叶斯算法贝叶斯定理：分类分析·朴素贝叶斯算法朴素贝叶斯分类原理：朴素贝叶斯分类基于一个简单的假定：在给定分类特征的条件下，描述属性值是相互独立的。分类分析·决策树算法决策树的建立步骤：决定分类属性对目前的数据表，建立一个节点N如果数据表中的数据都属于同一类，N就是树叶，在树叶上标上所属的那一类如果数据表中没有其他属性可以考虑，N也是树叶，按照少数服从多数的原则在树叶上标上所属类别否则，根据平均信息期望值E或Gain值选出一个最佳属性作为节点N的测试属性节点属性选定以后，对于该属性的每一个值：从N生成一个分支，并将数据表中与该分支有关的数据收集形成分支节点的数据表，在表中删除节点属性那一栏。如果分支数据表非空，则运用合适的决策树算法从该节点建立子树聚类分析聚类分析聚类分析：聚类（Clustering）用来对数据对象进行分组，将相似的对象划分到同一组或者类别中。与分类问题不同，聚类产生的类别标签是未知的，因此聚类被称为“无监督学习”。聚类是一种探索性的数据分析方法，与分类方法不同，它没有预测的功能，而是根据对象不同属性所决定的距离，来发现相似的对象并划分为同一个分组。·定义聚类分析聚类分析的基本思想是根据物以类聚的原理，把数据分成不同的组或类，使得组与组之间的相似度尽可能小，而组内数据之间具有较高的相似度。将一群物理的或抽象的对象，根据它们之间的相似程度，分为若干组，其中相似的对象构成一组，这一过程就称为聚类。一个聚类（又称为簇）就是由彼此相似的一组对象所构成的集合。采用聚类分析技术，可以把无标识数据对象自动划分为不同的类，并且可以不受先验知识的约束和干扰，获取属于数据集合中原本存在的信息。·基本思想聚类分析聚类算法有很多种，可以根据数据类型、目的以及具体应用要求来选择合适的聚类算法。通常聚类算法可以分为以下几类。基于划分的聚类算法。基于层次的聚类算法。基于密度的聚类算法。基于模型的聚类算法。基于网格的聚类算法。·分类聚类分析k均值算法基本过程如下：选择一个含有随机样本的k个簇的初始划分，计算这些簇的质心。根据欧氏距离把剩余的每个样本分配到离它最近的簇质心的一个划分。计算被分配到每个簇的样本的均值向量，作为新的簇的质心。重复（2）、（3）直到k个簇的质心点不再发生变化或误差平方和准则最小。·k均值聚类算法关联分析关联分析从直观上看，关联规则挖掘在大量数据的基础上，通过分析哪些数据项频繁地一起出现，可以得到很多频繁一起出现的数据项集合。找出所有频繁项集：其目标是发现满足最小支持度阈值的所有项集，这些项集称作频繁项集（frequent

itemset）由频繁项集产生强关联规则：其目