商务智能原理与方法（第三版） 课件汇 ch09 聚类分析 - ch18 商务智能的经济 - 副本

聚类分析普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第九章01聚类分析简介通过聚类过程将一群物理的或抽象的对象分为若干组，每组由相似的对象构成，称为一个类别(Cluster)。通常在很多应用中，为了简化问题或处理上的方便，同一个类别中的所有对象由于具有高度相似性，常常可以被当作一个对象来进行分析和处理，从而提高了分析和处理的效率。聚类分析简介01020304(1)孤立点(Outlier):不属于任何类别的数据对象，而且会在很大程度上影响聚类的效果和效率。(3)类别的语义(SemanticMeaning)解释：聚类结果的类别是根据数据自身特点产生的，与事先定义好类别的分类方法相比，每个类别的语义解释可能会困难得多。(2)动态数据(DynamicData):数据库中的数据会随时间发生变化，数据库中数据的变化也会影响聚类结果。(4)无完全正确解(NoCorrectAnswer):可能找到许多聚类的解，没有一个是完全正确的聚类结果，结果的类别数量也不易确定，往往需要一些相关背景和专业知识的帮助。聚类分析简介聚类方法应用到现实世界的具体数据库上时可能遇到许多有趣而又很重要的问题02相似度与距离测度在进行聚类分析前，首先需要了解聚类分析中的相似度测度，因为只有确定了描述数据对象之间相似度的测度，才能将该测度作为聚类的标准并设定相应的聚类目标，即在同一类别中的数据对象的相似度较大，而不同类别中的数据对象的相似度较小。相似度与距离测度03聚类分析方法聚类分析方法主要可以分为划分方法(PartitioningMethods)、层次方法(HierarchicalMethods)、基于密度的方法(Density-basedMethods)、基于网格的方法(Grid-basedMethods)和基于模型的方法(Model-basedMethods)。聚类分析方法层次方法(HierarchicalMethods)是将数据对象分为若干组并形成一个以不同规模的组为节点的树形结构来进行聚类。层次聚类方法又可以分为自下而上和自上而下的方法。基于网格的方法(Grid-basedMethods)采用的是一种多解析度的网格数据结构。该方法将空间量化为有限数目的单元，这些单元形成了网格结构，所有聚类操作都在网格上进行。划分方法是最基本的聚类方法划分方法的主要思路如下：给定一个包含n个数据对象的数据集，该方法首先将数据集进行初始的k(k≤n)个划分。基于密度的方法(Density-basedMethods)的基本思路是：只要一个类别中数据点的密度大于某阈值，就把它加到与之相近的类别中。聚类分析方法基于模型的方法(Model-basedMethods)试图将给定的待聚类数据与某种数学模型达成最佳拟合。04k-means方法K-means方法的基本思路如下：以最终要得到的类别个数k为参数，首先从n个数据对象中任意选择k个对象作为初始类别中心，而对于所剩下的其他对象，则根据它们与这些聚类中心的相似度(距离),分别将它们分配给与其最相似的(聚类中心所代表的)类别，然后计算每个所获新类别的类别中心(该类别中所有对象的均值);不断重复这个过程，直到所设定的偏差测度函数开始收敛为止。k-means方法(1)算法简单、快速，应用广泛。(2)计算复杂度为O(nxk×t),因此它在处理大数据库时也是相对有效的，具有可扩展性，其中n为数据库中对象个数，k为类别个数，而t为循环次数，通常k<<n,t<<n。(3)可找出使得均方差函数最小的k个划分，当结果类别是密集且类别之间区别明显时，聚类效果较好。k-means方法k-means方法有以下优点:(1)需要计算类别对象的均值(重心),因此一般只适用于类别均值有意义的情况。(2)需要用户事先指定类别个数k,并对选择作为初始类别中心的数据点较为敏感，对于不同的初始值，可能导致不同的聚类结果。k-means算法常常有可能终止于局部最优。(3)不适合发现非凸形状的类别，或者具有各种不同大小的类别。此外k-means方法对“噪声”和孤立点数据也很敏感，因为这类数据可能会影响到各类别的均值。k-means方法k-means方法也存在一定的缺陷和不足，如下所述：05DBSCAN方法DBSCAN(Density-Based

Spatial

Clustering

of

Applications

with

Noise)方法是一种基于高密度连接区域的密度聚类方法，将类别定义为密度相连的点的最大集合，将具有足够高密度的区域划分为类别，并可以在有“噪声”或孤立点的数据集类别中找到任意形状的类别。DBSCAN方法05商务智能的数据企业内部数据企业内部数据种类十分丰富。企业外部数据企业外部数据的常见来源如社交媒体和政府开放数据。从数据来源角度，商务智能的数据来源主要有企业内部数据和企业外部数据两种。“”商务智能的数据指可以在记录文件里以固定格式存在的数据，通常可以通过关系型数据库表示、存储和管理。结构化数据不符合任何预定义的数据模型，不易组织和格式化。半结构化数据部分非结构化数据中存在一定的有迹可循的内部结构。非结构化数据从数据类型角度商务智能的数据谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材社会网络分析普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十章01社会网络的中心性在一个社会网络中，节点之间的连接(Ties)也称为链接(Links)。一个中心参与者就是那些参与到许多链接中的参与者。一个10个节点组成的社会网络的示例如图所示，其中节点i参与到的连接数是最多的，直观上判断节点i应为这个社会网络的中心参与者。社会网络的中心性1.度中心性度中心性(DegreeCentrality)是反映某特定节点拥有与其他参与者的链接或者链接数目。这个定义在无向图和有向图中是不同的。2.贴近中心性贴近中心性认为一个参与者如果与其他参与者之间的距离足够近，那么说明这个参与者就位于中心。3.中介中心性相比于度中心性和贴近中心性，中介中心性从另一个角度度量了一个节点的中心性。在中介中心性中，如果两个节点k和J想要彼此联系上，而节点i在连接它们的路径上，那么节点i对于连接节点k和j起到一定的作用。社会网络的中心性有三种常用的中心性测度，用以度量一个节点的中心度。02社会网络的权威度权威仅考虑那些与节点i相邻的参与者，但是忽略了那些通过间接的方式依然可以到达i的节点，即存在一条有向路径可以到达i的节点。邻近权威就是考虑上述两类节点的一种度量权威性的测度。度权威(DegreePrestige)从一个节点度的角度来衡量一个节点的权威。直观上，如果一个节点有多个链入链接，也就是有多个节点指向该节点，那么这个节点一定具有高权威。社会网络的权威在计算一个节点的权威时，需要考虑其他节点的权威。等级权威也就是一种考虑了其他节点权威的测度。03引用社会网络同引分析在科技文献之间，经常存在两篇论文i和j同时被一篇论文k引用的情况，所谓同引分析，就是利用这样的一种关系来度量论文i和j之间的相似程度。引文耦合引文耦合与同引分析是一组镜像操作。同引分析将同时被一篇文章引用的两篇文章联系起来，而引文耦合是将同时引用的同一篇文章的两篇文章联系起来。引用让学术文章之间构成了联系，形成了网络。本节将介绍两种常见的引用分析，一种是同引分析(Co-Citation),另一种是引文耦合。“”商务智能的方法04社会网络的链接分析PageRank算法PageRank方法是一种经典的网页排名方法，是一种静态的网页评级算法，为每个网页离线计算PageRank值，且该值与查询内容无关。HITS算法HITS(HypertextInducedTopicSearch)算法与PageRank算法不同，是与查询相关的。社会网络的链接分析中最经典的两个算法是PageRank算法和HITS算法。“”商务智能的方法05社会网络中的社区在日常生活中，存在着不同的社区或团体，这些社区或团体中有着共同特点或共同兴趣的人，这些人在一起参加同一个活动。在社会网络中也有着类似的概念，称为社会网络中的社区。社会网络中的社区就是由讨论统一话题、有着共同兴趣的个体所组成的群体。社会网络中的社区有着重要的作用:对于感兴趣的使用者来说，社区提供了有价值的、可靠的和相关的信息来源。关注这些社区，能够让使用者在第一时间获取相关信息。社会网络中的社区谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材概率图模型普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十一章01概率图模型简介概率图模型(ProbabilisticGraphicalModel,PGM)是一种用图结构来描述变量之间的相互依赖关系、对概率进行结构化表示的模型，能进行高效的学习和推理，是研究高维空间概率的常用方式。基于条件独立的假设，概率图模型的参数相对较少，能达到较高的计算效率。概率图模型简介01020304(1)直接因果关系(3)共因关系(2)间接因果关系

(4)共果关系商务智能简介贝叶斯网络中的变量之间存在四种基本关系02朴素贝叶斯模型朴素贝叶斯模型(NaiveBayesModel)是一种简单的概率分类模型。分类问题作为最具代表性的一类有监督学习问题，旨在根据样本特征标识出该样本所属的类别标签，朴素贝叶斯模型03隐马尔可夫模型隐马尔可夫模型(HiddenMarkovModel,HMM)是一种简单的动态贝叶斯网络模型，由美国数学家鲍姆(LeonardE.Baum)等人于20世纪70年代提出[263],主要用于时序数据的建模，在语音识别和自然语言处理领域有着广泛的应用。马尔可夫过程(MarkovProcess)是随机过程中的一个重要模型，由数学家马尔可夫提出。他提出了用数学分析方法研究自然过程的一般图式——马尔可夫链，并开创了以马尔可夫过程为代表的随机过程研究。隐马尔可夫模型04高斯混合模型在现实生活中，数据是混杂的，其分布情况往往难以直接满足某种简单的概率分布，而混合模型假设数据的整体分布是由不同的子分布复合而成的，即可采用K个子概率分布组成的混合分布来表示观测数据的总体概率分布。高斯混合模型高斯混合模型(GaussianMixtureModel,GMM)使用多个高斯分布作为子分布，其总体密度函数为多个高斯密度函数的加权组合，并使用期望最大化(EM)算法进行训练，能够识别出观测数据中由不同子分布生成的数据，也可以作为一种聚类算法使用。高斯混合模型高斯分布(GaussianDistribution)也常被称为正态分布(NormalDistribution),是一种在自然界大量的存在的、最为常见的分布形式，在数理统计领域有着广泛的应用。05LDA模型主题模型是一种用来在大量文档中发现潜在主题的统计模型。一个文档中的具体词语都是与某主题相关的，通过对文本中词所对应的潜在主题进行推测，得到文档所对应的多个潜在主题的分布。LDA(LatentDirichletAllocation,潜在狄利克雷分配)模型是一种常用的文档主题生成模型，是Blei、David等人于2003年提出的，用来推测文档的主题分布，是目前应用最广泛的主题模型。LDA模型LDA模型的基本假设为一篇文档是多个潜在主题的混合概率分布，主题是相关词的概率分布，且都服从多项分布(MultinomialDistribution)形式。即一篇新闻可能与多个主题相关，文档中每个词都由其中的一个主题生成。LDA模型使得每篇新闻都有一个多个主题的概率分布与之对应，每个主题都由一个多个单词的概率分布与之相关联。LDA模型(1)假设该语料库所用文档共对应K个潜在主题。(2)按照先验概率选择一篇文档d,确定文档d的主题分布的参数O～Dir(a)。(3)从文档-主题的多项分布multinomial(Q)采样生成文档d,的第j个词w,对应的主题z。(4)对主题z,确定其词分布的参数β,～Dir(7)。(5)从主题-词的多项分布multinomial(β)采样生成文档的词wy。LDA模型LDA模型是生成式模型，模型假设语料库中每篇新闻的生成为逐个生成新闻中的所有词语的过程，这个过程主要分为以下步骤。(6)重复步骤(2)～(5),直至生成文档d,中所有N个词。01020304(1)随机初始化。对语料库中的每篇文档中的每个词，随机选择一个主题。(3)重复以上语料库的重新采样过程直到吉布斯采样值收敛。(2)重新扫描语料库，对每个词，按照吉布斯采样算法公式重新进行对应主题的采样，在语料库中进行更新。(4)统计语料库中的文档-主题和主题-词共现频率矩阵，从而得到最终的参数θ,β。LDA模型对用吉布斯采样算法的LDA模型参数学习的核心思路进行介绍,该算法主要分为如下几步。(1)随机初始化。对当前文档dne中的每个词，随机选择一个主题。(2)重新扫描当前文档，按照吉布斯采样算法公式对每个词对应的主题重新采样。在采样过程中仅需要对文档的主题分布进行估计即可，推断的过程如下。“”隐马尔可夫模型(3)重复以上语料库的重新采样过程直至吉布斯采样值收敛。(4)统计语料库文档中的主题频率分布，该分布就是要求的θ。在采样过程中仅需要对文档的主题分布进行估计即可，推断的过程如下。“”隐马尔可夫模型谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材神经元网络普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十二章01神经元网络简介神经元网络(NeuralNetwork),又称人工神经元网络(ArtificialNeuralNetwork),是深度学习(DeepLearning)的主要模型。神经元网络最初的灵感来自人脑中处理信号的神经元，生物学研究揭示了人脑由一个个带有突触的神经元连接组成，神经元受到一定的外部刺激而产生信号。商务智能简介从机器学习的角度来看，神经元网络一般可以看作一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经元网络成为一种高度非线性的模型。神经元之间的连接权重就是需要学习的参数，可以在机器学习的框架下通过梯度下降方法来进行学习。商务智能简介(1)第一阶段是20世纪40～60年代的控制论，期间提出了许多基本的神经元模型和学习规则。第一阶段(2)第二个阶段大致是1980—1995年，Werbos的反向传播算法的提出重燃了人们对于神经元网络的探索。第二阶段(3)第三个阶段大概是从2006年至今，研究者逐渐掌握了训练深层神经元网络的方法。第三阶段三个阶段商务智能简介02前馈神经元网络神经元(Neuron)是神经元网络的基本单位，与生物神经元的结构类似，接收输入信号进行处理后产生输出。一个复杂的神经元网络正是由多个这样的基础神经元组合而成。典型的神经元结构如图所示。前馈神经元网络神经元2.Tanh函数4.LeakyReLU函数1.Sigmoid函数3.ReLU函数前馈神经元网络激活函数前馈神经元网络(FeedforwardNeuralNetwork,FNN),又叫多层感知机(MultilayerPerceptron,MLP),是一类基础且重要的神经元网络形式。由一个输入层(第一层)、一个或多个隐藏层(中间层)和一个输出层(最后一层)构成，每层由多个神经元构成。前馈神经元网络前馈神经元网络神经元网络中权重参数的学习是通过梯度下降算法，根据任务目标设定相对应的损失函数。在训练数据集上，梯度下降算法通过计算损失函数对权重参数的偏导数，确定学习率α并对权重参数进行不断迭代更新，直至损失函数值收敛达到最优为止。前馈神经元网络进而，可根据先验知识确定好网络结构，设定适当网络层数、节点个数、学习率、激活函数类型等超参数。对于这样的二分类问题，网络的输出层可选择Sigmoid函数作为激活函数，其良好的性质适用于解决此类分类问题。03卷积神经元网络卷积神经元网络(ConvolutionalNeuralNetwork,CNN)是一种专门处理具有类似网格结构数据的神经元网络，其核心是使用了卷积的这一特殊的线性运算方式，常用于处理图像数据(一般将图像转化为二维的像素矩阵)和时序数据等。卷积神经元网络卷积神经元网络最早用于图像处理领域，计算机处理图像数据时，一般将图像转换成由像素点表示的二维矩阵，对于灰度图像用一个二维矩阵表示，若是彩色图像，则表示为分别对应RGB三个颜色通道的三个二维矩阵。卷积层卷积(Convolution)是数学分析中一种重要运算，在信号处理或图像处理中，常使用一维或二维卷积。一维卷积经常用在信号处理领域，用于计算信号的延迟累积。汇聚层

汇聚层(PoolingLayer),早期也翻译为池化层，目前多被称为“汇聚”。汇聚层的作用是进行特征选择，从而降低特征数量和参数数量。卷积神经元网络(2)平均汇聚(MeanPooling):取区域内所有神经元活性值的平均值作为区域代表值。(1)最大汇聚(MaxPooling):选择这个区域内所有神经元的最大活性值作为这个区域的表征。前馈神经元网络常用的汇聚函数有下述两种典型的卷积神经元网络由卷积层、汇聚层、全连接层交叉堆叠而成。如图12-9所示，一个卷积块有连续M个卷积层和N个汇聚层，M通常设置为2～5,N通常为0或1。一个卷积网络中可以堆叠Q个连续的卷积块，然后在后面接着K个全连接层，Q的取值区间比较大，如1～100或者更大，K一般为0～2。前馈神经元网络卷积神经元网络结构早在20世纪90年代，基于LeNet-5的手写数字识别系统就被美国多家银行用以识别支票上的手写数字。AlexNet²80是第一个现代深度卷积神经元网络模型，首次使用了很多现代深度卷积神经元网络的技术方法，如使用GPU进行并行训练，采用ReLU作为非线性激活函数，使用Dropout防止过拟合等。在AlexNet后还出现了很多优秀的卷积神经元网络，如VGG网络287,Inceptionv1、v2、v4网络288,289,290和残差网络(ResidualNetwork)²911等。前馈神经元网络典型卷积神经元网络04循环神经元网络循环神经元网络(RecurrentNeuralNetwork,RNN)是一种具有短期记忆能力，用于处理序列数据的代表性神经元网络模型。在一般的前馈神经元网络中，信息是从输入层到隐藏层到输出层的单向传播，层与层之间有全连接，一层中的节点是无连接的。循环神经元网络典型卷积神经元网络在循环神经元网络中，隐藏层的输出不仅与上一层的输入相关，更重要的是还与上一时刻当前层的输出相关，这样的操作保留了之前的序列信息，实现了网络对之前信息的记忆功能。理论上，循环神经元网络可以对任意长度的序列进行处理。在实际应用中，循环神经元网络非常适合处理语句序列，在自然语言处理的相关任务上表现出优越的性能。循环神经元网络的参数学习方法依旧采用梯度下降方法，由于存在一个被递归调用的函数，参数学习过程与前馈神经元网络略有不同，常采用随时间反向传播算法和实时循环学习的梯度下降算法。循环神经元网络的最基本假设便是当前的状态与当前的输入与上一时刻的状态都有关。简单循环神经元网络基本结构如图所示。循环神经元网络循环神经元网络基础结构图为LSTM的循环单元结构，其计算过程为：首先，利用上一时刻的外部输出值S,;和当前时刻的输入值x₁,计算出三种门a,、b和c,及候选状态五；其次，结合遗忘门a₁和输入门b,来更新当前的记忆单元h;最后，根据输出门c₁,将内部的状态信息传递给外部输出值s。长/短期记忆网络(LongShort-TermMemoryNetwork,LSTM)是循环神经元网络的一个变体，可以有效地解决简单循环神经元网络的长期依赖问题。相比于简单循环神经元网络，其变化主要体现在引入门控机制对隐藏层状态的计算方式进行改进。循环神经元网络长/短期记忆网络门控循环单元(GatedRecurrentUnit,GRU)网络是一种比LSTM更简单的门控循环神经元网络，其参数更少，训练收敛速度更快。GRU网络利用门控机制来控制信息的传递方式，与LSTM不同的是，GRU网络不引入额外的记忆单元，采用更新门的方法来控制当前状态需要从历史状态中保留多少信息，以及需要从候选状态中接收多少信息。循环神经元网络门控循环单元网络05注意力机制神经元网络所能处理的信息量大小一般与其网络复杂度、节点个数和参数数量等成正相关关系，但是计算资源往往是有限的，一味增大模型规模并不现实。为了减少计算复杂度，借鉴生物神经元网络的一些机制，可以引入局部连接、权重共享及汇聚操作来简化神经元网络结构。虽然这些机制可以有效缓解模型的复杂度和表达能力之间的矛盾，但是实际应用过程依然希望在不“过度”增加模型复杂度的情况下来提高模型的表达能力。注意力机制01020304(1)加性模型(3)缩放点积模型(2)点积模型

(4)双线性模型注意力机制s(x,q)表示注意力分布计算函数，一般可采用以下方式进行计算。多头注意力模型在多头注意力模型中，一般用键值对的形式来表示输入信息，其中键用来计算注意力分布，值用以计算最终的聚合信息。自注意力模型自注意力也叫内部注意力，用以计算序列内部元素之间的连接权重，得到一个与输入等长的输出向量。除了以上介绍的基本的注意力计算方式，还有其他一些结构值得注意，下面主要介绍在自然语言处理中常用的两种注意力计算方式，多头注意力和自注意力模型。“”注意力机制谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材多模态数据表征普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十三章01文本表征词袋模型(BagofWords)是最早的文本表征方法。顾名思义，词袋模型将一段话或者一篇文章视为一个“词袋”,即一个装有多个词语的袋子。词袋模型假设文本是由多个词语组成，不考虑词语之间的前后顺序，仅关注文本包含了哪些词语，以及词语出现的次数。文本表征词袋模型在用词袋模型对文本进行向量化表征前，需要对原始文本数据进行一些基本的数据清洗和预处理，从而能有效地统计文本中包含的词及词频。Word2vec是谷歌团队于2013年提出的一种高效训练词向量的自然语言处理工具,能简单、快速得到词语的向量表示，适用于大规模语料的学习。Word2vec是一种词嵌入的特征表示方式，将一个词映射到N维向量空间中，即将词语表示转换为N维向量的数学表示，这样的向量被称为词向量。文本表征Word2vec模型Doc2vec模型是在Word2vec模型基础上提出的一种用于计算长文本向量的深度学习算法，与Word2vec模型不同，在神经元网络的输入层，Doc2vec模型增加了一个句子向量，句子向量与词向量维度相同，每次在训练过程中，将长文本作为一个特殊的段落ID引入语料中。在训练过程中，算法结合上下文、单词顺序和段落特征，以及训练词向量出现的概率分布，在计算句子向量的同时也可计算词向量。文本表征Doc2vec模型潜在语义分析模型是一种自然语言处理技术。潜在语义分析模型概率潜在语义分析模型是由LSA模型发展而来。概率潜在语义分析模型潜在狄利克雷分配模型用来推测文档的主题分布，是目前应为最广泛的主题模型。潜在狄利克雷分配模型主题模型文本表征02图像表征图像是一类重要的多模态数据，也是最早应用表征学习的数据之一。对于图像的表征通常都采用深度学习类的方法。深度学习可以看作一种通过简单、非线性映射方式获取多层特征的表征学习方法，把原始输入数据通过逐层映射，转变为高阶的、更抽象的特征。对于图像表征，最常用方法就是卷积神经元网络。另一种常用于图像处理的方法是自编码器。图像表征03音频表征音频分析在语音识别、数字信号处理、音乐分类、标签生成等领域的应用逐渐受到了学者们的关注。目前流行的应用系统，如虚拟助手Siri和百度小度等，都是构建于音频信号提取模型之上的。很多研究人员在音频分类、语音识别、语音合成等任务上不断努力，构建了许多工具来分析、探索、理解音频数据。音频表征在语音和音频处理中，一些常用的数据特征和转换方法包括频谱、频谱图和梅尔频率倒谱系数(Mel-FrequencyCepstralCoefficients,MFCC)等。处理音频信号时，采样能将连续信号转换为一组离散数值，通过有规律的时间间隔对声波进行采样，并在每个样本处测量声波的振幅。音频表征04视频表征视频表征学习(VideoRepresentationLearning,VRL)旨在通过机器学习算法对原视频进行表征提取，为相关下游任务提供语义特征。视频可以看作由连续多帧的图像组成，前文提到的图像表征方法，如卷积神经元网络等，也是进行视频表征的常见方法。但是相对于基础的图像数据，视频数据量更大、维度更高，表达、处理、分析、传输和利用的技术挑战性更大，它的时空特性使得传统的图像表征方法无法直接用于视频，还需要结合视频数据特性对方法进行改进。视频表征最简单直接的方法是将视频进行截帧，然后在图像粒度(单帧)上进行特征表达。一种常见的视频表征方式是在基础CNN上进行扩展，其总体思路是在CNN框架中寻找时间域上的某模式来表达局部运动信息，从而获得总体性能的提升。双路CNN的方式包括两个独立的神经元网络，一个CNN用来处理普通的单帧图像，另一个CNN处理连续几帧的光流信息，以捕捉视频的动态特征，最后把两个模型的结果平均进行优化。视频表征谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材信息提取与洞察普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十四章简单说来，“大数据一小数据”问题是一类信息提取问题，旨在从大数据中找到特定规模的小数据子集，使得小数据尽可能地“反映”大数据的语义，为决策者提供“以小见大”的洞察。也就是说，“大数据一小数据”问题是在“语义反映”的意义上，寻求获得小数据，使其语义与大数据语义尽可能相近。本章将围绕“小数据”如何代表性反映、一致性反映和多样化反映“大数据”的语义来讨论“大数据—小数据”问题。信息提取与洞察01“大数据一小数据”问题概述“大数据一小数据”问题中的“大数据”是指相关数据全体，“小数据”是相关数据全体的一个子集，小数据通过部分数据反映大数据在特定方面的语义(Semantics)内容。从集合概念的角度，作为相关数据全体的“大数据”对应着“大集合”,而作为相关数据全体之子集的“小数据”对应着“小集合”。在这个意义上，“大数据—小数据”问题也可以表达为“大集合—小集合”问题。进而，“大数据—小数据”问题可以表示为小数据集合反映大数据集合的问题。“大数据一小数据”问题概述02代表性信息提取代表性信息提取是“大数据一小数据”问题的一种类型，旨在从上述显式语义的视角获得一个数据实例的小集合，以求尽可能地反映数据实例全体的内容语义。代表性语义反映作为“大数据一小数据”问题的一类特殊情形，其核心思路是在数据实例和内容覆盖层面上产生“以小见大”的洞察。相关求解方法可以帮助管理者有效解决在基于数据决策过程中的大小数据间内容语义信息不对称问题，进而更好地为大数据驱动的决策赋能。代表性信息提取代表性语义反映的概念内涵主要体现的是大数据D与小数据D'在元素内容上的对应关系，这种对应关系可以通过元素实例之间的相似关系来度量，如对于d∈D,d'∈D′,二者相似度sim(d,d)测量了二者之间的内容异同，反映了d代表(或覆盖)d'内容的程度，也反映了d'代表(或覆盖)d内容的程度。代表性信息提取代表性评估测度代表性信息提取问题是一个NP-难问题。这对于方法创新提出了高要求，特别是需要设计出新颖有效的优化策略和启发式方法。再者，如何确保启发式方法的寻优效果是此问题求解的另一个难点。鉴于此，相关研究证明了该问题具有一个重要性质，即子模性(Submodularity)。代表性信息提取代表性信息提取方法03一致性信息提取一致性评估测度由于取值模式作为隐式语义存在多种形态，本节围绕取值分布形态讨论一致性语义反映问题的形式化表示，并进而得到一致性评估测度。一致性信息提取方法一致性语义反映问题是一个NP-难问题,这就使得问题求解难以采用传统优化方法。一致性信息提取04多样性信息提取多样性语义反映是“大数据一小数据”问题的一种特殊类型，旨在从隐式语义的视角获得一个数据实例的小集合，以求小集合在特定属性下反映的结构性语义与大数据集合尽可能地相近。多样性信息提取多样性信息提取方法多样性语义反映问题同样是一个NP-难问题,通常需要采用启发式方法进行求解。然而单一的启发式方法容易陷入局部最优，导致影响问题的求解精度，因而可以采用组合多种启发式方法进行寻优的方式来提升效果。多样性评估测度给定大数据集合D,多样性语义反映问题是寻找规模为k的子集D',使得D'在H的框架下(D的类别结构下)对于D的覆盖最大，换句话说，多样性语义反映具有结构覆盖的意味。计算结构覆盖程度的一个思路是通过信息熵来计算H的“信息载量”。多样性信息提取谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材关联分类普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十五章01生成分类关联规则在关联分类中，分类关联规则(ClassAssociationRules,CAR)可以表示为形如x→C的规则，其中X为属性集合，C为类别。可见，如果将C看作一种特殊属性，那么分类规则其实是关联规则的一种特例。生成分类关联规则(1)一种思路是先挖掘出所有的关联规则(满足阈值限制),然后从中挑选出后项为类别属性的规则。(2)另一种思路是直接挖掘后项为单个类别属性的分类关联规则。生成分类关联规则有两种思路：“”生成分类关联规则02分类关联规则剪枝在得到的所有分类关联规则中，有的可能对分类不会产生任何作用(如没有记录适用于该规则),有的可能对分类产生副作用(错误地对记录分类)。这些规则称为冗余/冲突规则，它们会影响分类器性能。规则剪枝正是针对这种现象而提出的。通常有两种对冗余/冲突规则剪枝的方式，分别是后剪枝方式和先剪枝方式。分类关联规则剪枝1.悲观错误率法悲观错误率法的基本想法是，记录每条分类规则在整个训练集学习过程中的分类准确率贡献，依次删除贡献最小的规则；不断重复上面的过程，直到显著影响到训练集的分类准确率为止。2.x²检验(规则前后项相关性检验)法经过分类关联规则的挖掘，可得到所有置信度和支持度满足阈值限制的分类关联规则虽然置信度确实在一定程度上反映了分类关联规则的预测能力，但是仍然存在一些缺陷。后剪枝方式的思路是，先得到所有满足阈值限制的分类关联规则，再删除冗余/冲突规则。具体方式因分类器的设计思想而异，下面介绍悲观错误率法和x²检验法两种常见的剪枝方法。“”分类关联规则剪枝1.最佳分裂属性GARC利用信息增益的概念选择其最佳分裂属性，并且要求所有的候选频繁集必须包含该最佳分裂属性。2.先剪枝策略GARC同样采用先剪枝策略。从分类角度，生成的大量分类规则之间可能存在冗余和冲突。3.GARC方法扩展在本章后续讨论中可以看到，GARC方法与其他方法相比具有一定优势，主要体现在：在分类准确率与其他方法基本相当的前提下，GARC规则集的规则数目显著少于其他关联分类方法，且消除了一定的规则冲突和冗余。分类关联规则剪枝先剪枝方式的思路是，提前停止产生不需要规则的处理过程，即挖掘出少量的分类关联规则。03构建分类器在对分类关联规则进行剪枝后，分类器需要使用规则集对(类别)未知记录进行分类。从分类方式上，可以将分类器划分成单一规则分类器和多规则分类器两种。构建分类器单一规则分类器顾名思义，给定分类规则集合y与(类别)未知记录d,分类器从y中选出一条规则对d进行分类。单一规则预测思路很简单也很直观，经过前面诸多过程的筛选和“学习”,分类规则已经按照优先级排序，所以采用分类器中适用于待分类记录的数据项中优先级最高的分类规则来进行预测是很自然的解决方法。多规则分类思路是选择分类关联规则的全部或部分(如高兴趣度的),对类别未知记录进行预测。如果预测分类到同一类，则将该记录标记为相应类别；如果得到的类别多于一个，则需采用一个判断指标，将具有最大指标值的类别标记为该测试记录的预测分类。构建分类器04混合型关联分类在关联分类方法中，有一大类是将关联规则分类方法与其他分类方法相结合构造的混合分类方法，如基于关联规则的决策树(AssociationbasedDecisionTree,ADT)、ART(AssociationRuleTree)和LB方法等。混合型关联分类基于关联规则的决策树(AssociationbasedDecisionTree,ADT)方法在生成关联规则时，不设置最小支持度，只生成符合最小置信度的规则，称为置信规则。由于没有最小支持度的设定，不存在基于下闭合性(Dsupp(XY)≤Dsupp(X))的剪枝策略，因此ADT不能直接采用Apriori思想来生成关联规则。于是ADT方法相应提出了基于置信度的性质，并在置信规则生成过程中剪枝。混合型关联分类ART方法也是一种将关联规则分类方法与决策树方法相结合的混合方法。它与一般的决策树方法每次利用一个属性进行数据划分不同，其关联规则树可以同时利用多个属性进行划分，从而在某些情况下可提高判定树的分类准确率并降低计算复杂度。05GARC方法解析01020304GARC引入信息增益的概念来确定最佳分裂属性，作为生成候选集的组成属性之一，以期在保有信息量的情况下减少生成候选集的数量。1.最佳分裂属性(1)冲突规则(2)冗余规则(3)简洁规则集3.简洁规则集GARC将生成频繁集和产生规则合并在一个步骤中，用于重点发现和存储规则项集(可生成规则的频繁集)和排除项集(支持度小于阈值的候选项集)。2.排除项集4.剪枝性质与策略GARC方法解析GARC思路与算法框架性质1:如果最小置信度β大于50%,则规则X⇔C₁和X⇔C,不可能同时在D中成立。性质2:假设规则X=C,在数据库D中成立，若满足1-Dconf(X=C,)<a,则任何项集XYC,都是排除项集。性质3:假设规则X→C,在数据库D中成立，若满足|X|<|D|a,则任何项集XYC;都是排除项集。GARC方法解析4.剪枝性质与策略3.信息熵的影响进一步的数据实验表明，使用信息熵(IG)与不使用信息熵(NIG)对GARC的分类准确率没有显著影响，但是对分类器规则数目则有显著影响。

4.规则数目规则数目显著影响到分类器的可解释性，较少的规则会更易于解释与理解。1.分类准确率将GARC方法与当前若干主流分类方法(如CBA、决策树(C4.5类))、神经元网络(NN)、支持向量机(SVM)、CMAR、RIPPER、RSES类和RIONA等的分类准确率进行比较，可知GARC方法也能获得满意的分类准确率，这与其他方法在分类准确率方面没有显著性差异。2.GARC阈值的设定针对同一个数据集，不同的置信度和支持度阈值会影响分类准确率，由此可以得到最大化分类准确率的阈值。商务智能与信息社会数据实验与方法比较谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材不确定性知识发现普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十六章不确定性有多种形式。本章将围绕随机性和模糊性两种不确定性形式，侧重讨论相关的知识表达和知识发现方法。值得一提的是，通常不确定性表达和处理的相关理论和方法是传统理论和方法的扩展(Generalization),因而本章介绍的不确定性知识发现理论和方法是传统商务智能相关理论和方法的扩展。不确定性知识发现01020304(1)不确定性信息表达(3)数据间的部分隶属性(2)分区中的边界问题(4)不完整数据依赖不确定性知识发现本章主要内容如下01不确定性信息表达不确定性的两种最常见和重要的形式是随机性(Randomness)和模糊性(Fuzziness)。随机性的不确定性特征体现在：对于一个事件来讲，人们知道此事件发生后的各种可能的结果，但是此事件发生前不确定知道将会出现哪一种结果。模糊性作为另一种不确定性形式，其不确定性特征主要体现在概念上的模糊性，并通常通过“边界问题”反映出来。不确定性信息表达2.模糊蕴含算子模糊集合理论的一个重要应用领域是近似推理。这主要基于模糊集合理论在传统布尔逻辑上的扩展，其中模糊蕴含算子(FuzzyImplicationOperator,FIO)的作用举足轻重。

4.相近性传统普通集合之间“相等(Equality:=)”的概念可以被扩展到模糊集合领域，以表达模糊集合之间“相近(Closeness:≈)”的概念。1.模糊集合模糊集合是普通集合的一种扩展。给定论域U,定义在U上的模糊集合(FuzzySet)F可以由一个隶属函数μp来刻画。3.语言变量语言变量的提出旨在表达自然语言所反映的概念上的模糊性及语言的语义概括和数据不精确的特点。语言变量是一种以自然语言词句为取值的变量。不确定性信息表达信息技术提升信息社会发展水平02分区中的边界问题在前面讨论关联规则(AssociationRule,AR)时可以看到，关联规则反映的是事件之间发生与否的关联情况。通常，关联规则挖掘所使用的实际数据存储在关系数据库中，或者存储于日常事务数据集(TransactionDataset)中。区间划分的方式有等区间划分、平均划分、聚类划分等。如前所述，可以引入模糊集合理论来解决这类边界问题。针对D”这样的模糊数据库进行数据挖掘，首先需要扩展布尔关联规则中的支持度(Dsupp)和置信度(Dconf)的概念，因为这两个测度都是基于传统集合的计数(如|x|表示数据库中包含属性集合X的记录个数)来计算的。分区中的边界问题03数据间的部分隶属性在商务智能领域关注的应用中，数据之间通常存在着一定的隶属关系，如产品目录、图书分目、行业划分、组织机构等。以超市数据为例，客户购买的商品都属于最基本的数据项。布尔关联规则(AR)挖掘发现的知识就是客户同时购买这些商品的关系，即对应的数据项在支持度和置信度意义上的联动。分区中的边界问题以图16-7所示的数据层次结构为例，基于数据层次结构的数据库D,如表16-6所示，它是一个数据转换后的数据库D₆,其中Apple、Cabbage、Mutton和Pork是叶子节点，其他属性是高层节点。根据叶子节点的数据值及数据关系，可以得到高层节点的数据值。分区中的边界问题对于数据模糊结构G和与此相对应的一组语言修饰词集合H,扩展的基本思路是修饰G/中的语言词，进而获得一个新的数据模糊结构G”,被修饰的语言词(如SortofFruit(大致是水果),VeryFreshVegetable(非常新鲜的蔬菜))作为新的节点加入层次结构，并通过修饰词计算得到相应的隶属程度。图16-9是基于语言修饰词的数据模糊结构G"的示例。分区中的边界问题04不完整数据依赖数据依赖(DataDependency)是一类关联知识，在数据建模中有着非常重要的作用。一方面，数据依赖作为数据间的完整性约束(IntegrityConstraint),对数据库设计和避免数据库使用中的修改异常(UpdateAnomaly)有举足轻重的作用；另一方面，数据依赖本身是一种语义知识，通常反映一定的领域业务规则(BusinessRules)。不完整数据依赖在数据依赖中(如函数依赖、多值依赖、连接依赖、包含依赖和存在依赖等),函数依赖(FunctionalDependency,FD)最受人们关注。商务智能在企业管理中的作用①人们在模式设计时知道所有的相关函数依赖。②在数据库使用中时时刻刻都能够保证相关的函数依赖所表达的完整性约束被关系实例r满足。数据库的理想状态是“”不完整数据依赖谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材智能推荐普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十七章01信息推荐方法在电子商务领域中，推荐系统是指建立在对海量的用户信息、产品信息及用户对产品的偏好反馈信息(如点击、浏览、购买和评分等)挖掘基础上的一种商务智能技术，能够迅速准确地帮助消费者找到喜欢和感兴趣的商品。信息推荐方法推荐系统概述基于内容的推荐方法协同过滤方法混合推荐方法推荐系统概述信息推荐方法基于内容的推荐方法是指充分利用用户和商品的各种属性特征(如电影的上映时间、演员和题材等，用户的年龄、性别和地理位置等),分析其内容相似度，然后将最相似的商品推荐给用户。协同过滤方法是推荐方法中最经典的方法之一，主要使用用户与系统交互而形成的反馈数据完成推荐，包括显性反馈(ExplicitFeedback)行为和隐性反馈(ImplicitFeedback)行为。具体的混合方法主要包括加权型混合推荐方法(将来自不同推荐方法生成的候选结果进一步组合加权)、转换型混合方法(采取一定的标准在不同的推荐方法之间变换，以达到更高的预测准确率)、瀑布型混合推荐方法(将不同的推荐方法视为不同粒度的过滤器，前一个方法的输出结果作为后一个方法的输入内容)等。信息推荐方法推荐系统概述物联网是一个由相互连接的智能设备和传感器组成的系统网络，这些微型智能设备和传感器实时采集需要监控的物体或过程信息，并将收集到的数据用于进一步的存储、处理和分析。

1.基于邻域的推荐方法基于邻域的推荐方法主要是根据消费者的历史行为数据(如购买历史、关注和收藏行为及打分等)分析用户间或者物品(如书、电影、音乐、食品、衣物和软件等各种网上商品及服务)间的相似性，从而形成推荐信息。信息推荐方法协同过滤推荐方法01020304是衡量一个推荐系统质量最重要的指标，是用来度量一个推荐方法预测用户行为的能力，一般通过离线实验来计算。1.预测准确率描述了推荐结果中商品两两之间的不相似性，以覆盖用户多个方面的兴趣点，增加用户找到感兴趣产品的概率。3.多样性是内容提供商较为关注的指标，描述了一个推荐系统对网站平台上长尾商品的挖掘能力。2.覆盖率若用户没有听说过推荐列表中的大部分物品，则说明该推荐系统的新颖性较好。4.新颖性和惊喜度信息推荐方法推荐系统评测指标惊喜度与新颖性的区别在于：如果推荐结果与用户的历史兴趣不相似但让用户很满意，就可以说这是一个让用户惊喜的推荐，而推荐的新颖性只取决于用户是否听说过这个推荐结果。目前还没有公认的惊喜度指标定义方式，一般是定性地通过推荐结果与用户历史兴趣的相似度和用户满意度来衡量，具体可参见文献。信息推荐方法推荐系统评测指标1.消费者网上产品选择过程随着搜索引擎和推荐方法的广泛应用，在线购物平台能够根据消费者以往的购物经历或针对当前的搜索请求提供相应的产品列表。信息推荐方法2.预测性推荐针对上述消费者网上产品选择过程中的两个方面的问题，向消费者提供关于考虑概率的预测性推荐，以及提供继续浏览产品的收益增益的预测性推荐很有意义。相关预测性推荐方法包括消费者产品考虑概率预测和消费者信息搜索价值增益预测两种。消费者信息搜索过程中的推荐02多模态信息推荐线上信息服务过程中，消费者可以接收图片、评论文本等多种多样的数据资源，在获取更丰富信息的同时，也意味着需要面临更严重的信息过载问题。为了缓解这一矛盾，推荐系统需要接纳和整合多源异构的信息资源，从多个感知层面刻画消费者偏好，帮助消费者进行商品搜索和决策，为其提供个性化的推荐服务。多模态信息推荐2.非结构化文本处理对于非结构化文本，Deep-MINE针对每个商品进行词袋表征，并设计一个4层栈式自编码网络，通过逐层降维获得其潜在表征。

1.图像表示商品图像为消费者提供视觉线索，降低感知风险。在过去的几年里，深度学习技术的进步使人们可以对图像内容进行更深入的分析。多模态信息推荐多模态信息表征从认知风格的维度来看，不同消费者在信息处理上可能存在着异质性，即一些消费者可能更重视图像，另一些消费者可能更关注文本。认知风格往往是在实验室中通过对参与者调查获得。然而真实网络购物环境中通常有数十万消费者，通过实验方法来准确评估所有消费者的认知风格是极其困难的。因此，Deep-MINE在多视图信息整合操作中以数据驱动的方式学习消费者的认知风格，即在模型架构中增加了一个认知层。多模态信息推荐多视图信息整合多模态信息推荐多视图信息整合03序列推荐序列推荐一般存在预定义的全局假设，即消费者的决策序列之间具有交互影响。然而，基于现实观察可以发现，这样的交互作用存在一定的不确定性，甚至不一定呈现序列上直接的先后顺序。序列推荐1.序列项图(SequentialltemGraph)在构造序列项图时，令A∈R为序列项图的邻接矩阵，该矩阵包含所有消费者交互序列中两个商品项目(Item)相邻的频率。2.语义项图(SemanticItemGraph)语义项目关系对于测量推荐结果中的商品相似性至关重要，而传统的序列模型不一定能捕捉到这类相似性。3.图卷积(GraphConvolution)在整合操作中，需要将序列项图A,和语义项图A结合起来，并进行平滑嵌入。不仅如此，还需要考虑序列关系和语义关系之间的传递性。序列推荐04捆绑推荐商品捆绑销售将多个商品作为一个商品组合进行销售，是一种被广泛使用的营销策略。消费者往往会出于各种动机购买捆绑商品，包括预算驱动(如免运费)、偏好驱动(如功能、品牌和独特性)等。而在网络购物中，捆绑销售变得更加突出。序列推荐2.商品-特征关系进一步，对于商品网络中的节点x',其对应特征为(f,f,…,f)。商品节点-特征类型边z'由先验⊙生成。而z'和节点x'之间的关系类型与2,共享分布。

1.商品-商品关系在商品捆绑图中，每条边e连接一对商品节点x和y,并引入潜在节点类型因子，商品捆绑图中的所有节点都可以被聚类在一定的节点类型上，用节点类型z表示。捆绑推荐谢谢观看商务智能原理与方法（第三版）普通高等教育“十一五”国家级规划教材商务智能的经济社会影响与发展普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十八章01商务智能与管理决策01020304决策所涵盖的信息范围从单一领域向跨域融合转变，管理决策过程中利用的信息从领域内拓展延伸至领域外，即“跨域转变”。在信息情境方面决策时的理念立足点从经典假设向宽假设，甚至无假设条件转变，支撑传统管理决策方法的诸多经典理论假设被放宽或取消，即“假设转变”。在理念假设方面决策者与受众的角色在交互融合，特别是决策形式从人运用机器向人机协同转变；在决策主体方面决策从线性、分阶段过程向非线性过程转变，线性模式转变为各管理决策环节和要素相互关联反馈的非线性模式，即“流程转变”。在方法流程方面商务智能与管理决策上述决策要素的转变将引出诸多新的管理问题，拓展了创新机遇和发展空间，也给决策思路和求解策略带来了新的挑战。例如，在问题求解的方法论方面，可以采用“外部嵌入、技术增强、使能创新”的新型方法论。商务智能与管理决策02商务智能的发展趋势作为一个相对新兴的领域，商务智能仍然处于日新月异的发展和变化之中。一方面，商务智能的研究和应用与社会活动与组织运作联动，面向实际问题和决策分析需求，不仅涉及传统行业和各类运作模式，也涉及新兴行业和组织形态；另一方面，商务智能的研究和应用与技术演进和数字化进程联动，面向学科交叉和方法创新，不仅关注传统和成熟技术领域，也关注新兴技术和前沿动向，包括新兴的学科和领域。商务智能的发展趋势涵盖许多方面的内容，本节将举例讨论商务智能的四个主要发展趋势，即移动商务智能、人工智能赋能、数据安全与隐私保护、数据治理。商务智能的发展趋势随着移动通信技术和应用的普及和多样化，移动商务成为电子商务发展