商务数据分析课件：复杂数据分析方法

复杂数据分析方法第一节文本处理1.文本预处理为了将文本处理为模型可用的数据，需要先对文本进行预处理。一般预处理步骤为分词、清洗、标准化、特征提取，然后将提取出来的特征应用下游任务中，如分类、情感分析等。

1.文本预处理（1）文本分词组成文本的词，被认为是重要的特征。因此文本分析首先要做的是对文本进行分词。对于英文来说，文本本来就是根据空格分开的，可以直接以空格为依据进行分词。对于中文分词目前已经有很多分词工具，通过这些工具，可以实现对文本的分词。1.文本预处理（2）文本清洗在大多数情况下，经过分词的文本中还有很多无用的部分，为了提高后续处理的效率，需要将这些内容清洗去除。根据第一步分词时得到的每个词的词性，只留下有实际意义的与研究问题相关的词，通常包括名词，形容词，副词三种词类。至此，经过文本清洗，文本被拆分成了由若干个名词，形容词和副词构成的词语集合（通常被称为词袋）。（3）标准化常应用于英文的文本处理中。标准化就是处理一个单词的不同形式，完成词形还原，将一个任何形式的语言词汇还原为一般形式，即将英文的过去式、现在分词等各种形式都还原成词根。２．文本特征提取文本分词后的结果也会存在两个问题第一、并不是所有词都是有用的，第二，一个语料库中词的数量是非常大的，但是有的词语出现次数很少，甚至只是出现一次，如果直接将分词的结果作为特征进行处理，会造成数据稀疏，严重影响模型效率。需要对特征进行提取，即只用部分词集合代表文本的特征。词频分析(WordFrequencyAnalysis)是对文本中词汇出现的次数进行统计与分析，是文本挖掘中方便且重要的手段，是一种常见的文本分析角度。常见的分析方法主要为：词袋模型和词向量模型。２．文本特征提取

２．文本特征提取（2）词袋模型之基础的LDA主题模型只考虑词频，没有考虑到词语背后的语义之间的关联，无法处理两个文档共同出现的词语不同，但是两个文档主题是相似的情况。主题模型是用来在大量的文档中发现潜在主题的一种统计模型。一个文档通常包含多个主题且每个主题所占比例各不相同，主题模型能够统计文档中的词语，根据文档中词的信息判断文档包含的主题以及各个主题所占比重。一种典型的词袋模型：LDA基本设想为一篇文档是由一组词组成的集合，词与词之间没有顺序和先后关系。同时，基于词集合，文档的特征由若干主题代表，每个主题“以一定概率选择了某个词”；而文档的每个词“以一定的概率属于某个主题”。LDA主题模型中，文档是由主题组成的，每篇文档根据词集合，按照概率分布的形式给出主题。通常在训练时虽然需要指定主题的个数，但不需要对训练集进行事先标注，因此属于无监督算法。２．文本特征提取（2）词袋模型之基础的LDA主题模型不足之处生成的主题没有显式的有意义的语义主题和关键词的生成过程分为如下几步：第一步是设置主题的数量以及每个主题下输出的关键词个数，例如在对十篇与外卖评论有关的文档进行处理前，先设置主题数量为2；第二步是生成每个主题下的词分布，根据词分布确定该主题的含义，例如根据每个主题下的关键词，确定外卖评论的主题为“配送”和“商品”；第三步是生成文本-主题分布，确定每个文档属于每个主题的概率。例如第一篇文档属于“配送”的概率为70%，属于“商品”的概率为30%。２．文本特征提取（3）词袋模型之LabeledLDA主题模型LabeledLDA是一种有监督的学习方法，与基础LDA主题模型最明显的区别在于，这个方法需要一部分已知标签的文本数据。在训练时采用了不断扩充训练集的方法。首先将这些人为打上标签的数据作为初始种子训练集，然后使用LabeledLDA方法计算出没有标签的评论属于每一个标签的概率分布，取概率分布差异最明显，即对所打标签的可信任度较高的评论加入训练集。之后不断重复这一步步的过程，直至所有评论数据均被打上标签。通过上述过程，即可获得每条评论的标签。优势与基础LDA相比，LabledLDA不仅可以获得明确的主题，还能够得到各个主题下关键词的内容。对比TF-IDF算法，上述LDA模型由于在词和文档之间加入了主题的概念，可以较好的解决一词多义和多词一义的问题２．文本特征提取（4）词嵌入（词向量）模型对于词袋模型来说，在表示文本时容易受到维数灾难的困扰；同时不能很好的刻画词与词之间的关系，由此发展出了词嵌入模型。主要的思想是将文档中每个词语映射到低维空间上的一个向量，构建基于向量分析的模型。通过词向量可以表达比词袋模型更丰富的内容，例如词与词之间的关系，上下文的逻辑等，从而用于下一步的文本深入分析。Word2vec词向量模型是一个小型的神经网络，目前较为流行的有两种模型：（1）CBOW模型：用上下文单词作为输入来预测目标词语，对于小型数据比较合适。（2）skip-gram模型：用一个词语作为输入来预测它周围的上下文，在大型语料中表现更好。两个模型均是一个三层的神经网络，分别包含输入层、隐藏层和输出层，输入层以词的one-hot编码表示。小结常见的TF-IDF算法和主题模型都可以应用于文本的分类，主题模型还可以提取文本的不同主题。两种词嵌入模型CBOW、Skip-gram可以进行词或文本的特征提取，将人类语言转为机器可以理解并计算的数值向量。３．文本情感分析通过分析文本所流露出的特定主体的情感偏好，可以更好地剖析文本对决策者的作用价值。文本情感分析又称为意见挖掘或倾向性分析，指的是通过对文本进行分析、处理、归纳和推理，分析出带有感情色彩的文本中所包含的发布者的情感态度。（1）基于情感词典的方法基于词典的方法顾名思义，需要先指定情感词典和对应规则，以此为基础，对文本进行段落拆分、句法分析，分别计算情感值，最后通过情感值来作为判定文本的情感倾向依据。I.情感词典介绍

对于英语文本分析来说，sentiwordnet是很著名的情感词典，对于中文来说，常见的有知网、台湾大学简体中文情感极性词典等。有时也要利用打标签的样本和制定的规则自己构建或扩充词典，PMI（点互信息）算法是其中一种方法。３．文本情感分析

３．文本情感分析（1）基于情感词典的方法II.基于词典的情感计算为特定的情景应用文本建立了情感词典之后，便可以进行词语的情感计算。首先依次搜索各个词语是否出现在情感词典中以及它的情感值（如果词典提供的话），如出现在正向情感中，则正向情感词计数加一，若出现在负向情感词典中，则负向情感词计数加一，最后统计句子中分别出现的正负向词语的数量，或者计算各个情感词的情感分值就可以得到句子的情感值了。当然有时还需要考虑情感词前后是否出现否定词和程度副词。例如正向词前面出现了否定词例如“不/喜欢”，此时应将“喜欢”处理为负向词；如果出现了“特别/喜欢”，应该将“喜欢”对应的情感值乘“特别”对应的程度值作为“喜欢”的情感值。除此之外，有时需要借助前面提到的主题模型，确定句子是到底是对什么表达的情感。小结基于词典的技术，可以分析文本中出现的情感词，同时关联该词附近的副词否定词来计算最终句子的情感倾向。但是这种方法只适用于句子结构节点而且情感倾向明显的情况。在分析复杂句子结构、复杂情感时，比如随着网络用语不断出现，互联网上的评论不再正规，没有恰当的规范的词典，这时利用情感词典的分析效果将会变差。３．文本情感分析（2）基于深度学习或者机器学习的方法需要利用有标签的文本进行训练，建立模型后对未知的实例进行情感分析。利用深度学习和机器学习进行情感分析时会将问题抽象为分类问题，例如将一条语句分类为正向还是负向两类，也可以转换为回归问题，例如判断这条语句的情感程度。当然基于深度学习和机器学习的情感分析也有一些难点，比如语句长度太长会出现梯度消失和梯度爆炸。第二节图像处理常见的图像处理包括图像的分割、图像的分类、目标的检测、图像的情感识别等等。图像分割是指根据空间纹理等图像特征把图像划分成若干个互不相交的区域，例如在不同颜色的花中分辨出红花。图像分类是判断图像中物体的类别，如猫狗分类是判断图像是猫的图像还是狗的图像。目标检测也叫做目标提取，这意味着不仅要用算法判断图像是否是猫的图像，还要在图片中定位出猫的位置。对于上述的图像处理，最重要的就是找到合适的特征，然后利用这些特征结合合适的算法对图像进行处理。1.颜色特征颜色特征描述了图像或图像区域对应的表面性质。颜色的表示方法，颜色空间RGB颜色空间是根据人眼对不同波长的红、绿、蓝光做出锥状体细胞的敏感度描述的基础彩色模式

，所以其他颜色模型都可以根据RGB颜色模型进行转换计算得到。其中R、G、B分别是图像中红、绿、蓝的亮度值，大小限定在0-1或者在0-255。HSV颜色模型是依据人类对于色泽、明暗和色调的直观感觉定义颜色，其中H（Hue）代表色度，S（Saturation）代表饱和度，V（Value）代表量度，相对于RGB系统，它更接近于人们的经验和对彩色的感知，因而被广泛应用于计算机视觉分析中。颜色特征的表达方法:颜色直方图,能够简单描述一幅图像中颜色的全局分布即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。优点是不受到图像旋转和平移变化等的影响，同时进一步借助归一化还可以不受图像尺度变化的影响。由于颜色对图像的方向、大小等变化不敏感，所以颜色特征不能很好的捕捉到图像中对象的局部特征，２．纹理特征纹理特征是所有物体表面共有的内在特性，是一种不依赖于颜色或亮度的反映图像同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息，其表现为图像上灰度或颜色分布的规律性。提取一般是设定一定大小的图图像区域，然后从中取得纹理特征，常见的提取方法是统计方法、几何方法、模型法和信号处理法。统计方法是基于像素及其周围邻域的灰度属性来研究纹理区域的统计特征。具有较强的稳健性和适应性，但是其计算成本较高，并且忽略了像素之间的依赖关系。几何法是建立在纹理基元理论基础上的一种纹理特征分析方法，该理论认为，若干简单的基本纹理元素按照一定规律的形式重复排列后，可以构成复杂的纹理。模型法以图像的构造模型为基础，采用模型的参数作为纹理特征，模型参数的估计是模型法的核心问题。模型法可以研究像素之间的依赖关系以取得纹理特征，同时兼顾了纹理整体的规律性及局部的随机性；但是参数调节不方便，且模型收敛速度较慢。信号处理法主要是利用滤波器等对纹理图像某个区域进行变换，再提取出能够保持相对平稳的特征值来表示该区域的纹理特征。信号处理法能在更精细的尺度上分析纹理，更符合人类视觉特征，但是其计算量较大，对于背景更复杂的自然图像处理能力有限。３．形状特征形状特征主要是对图像中形状的表示，常见的有两类的表示方法，一种是轮廓特征，一种是区域特征。图像的轮廓特征主要是聚焦于物体的外边界，而图像的区域特征关系到整个形状区域。常见的形状特征的提取和表示有以下几种方法。边界特征法是通过对边界特征的描述来获取图像的形状参数。傅里叶形状描述法的基本思想是用图像边界坐标的傅里叶变换作为基础，定量地描述图像中目标边界的形状。这一方法具有对旋转、平移、尺度变化不敏感的特点。几何参数法是指采用有关形状的定量测度参数（如面积、周长、矩等）对图像进行描述。但是形状参数的提取要以图像处理及图像分割为前提，参数的准确性必然受到分割效果的影响，甚至对于分割效果很差的图像，形状参数无法提取。４．空间关系特征空间关系主要描述的是图像中多目标之间的空间位置或者相对方向。常见来说，空间位置信息包含两种：一种是绝对空间位置信息，强调目标的具体位置，比如目标之间的距离远近；另一种是相对空间位置信息，强调目标之间的相对位置，比如左右、上下、前后等关系。空间关系特征的使用可以加强对图像内容的描述区分能力。空间关系特征常对图像或者目标的旋转、翻转、尺度变化等变换比较敏感，所以仅仅利用空间信息往往不够，也需要和前面提到的其他特征进行结合使用。常见的提取图像空间关系特征有两种方法：一种是运用图像分割算法对图像进行处理，自动将图像划分成各个区域，使各区域内图像特征尽可能相似，通过对各区域内特征进行提取，得到图像的空间关系特征；一种是将图像均匀划分为各个部分，对各部分进行特征提取，进而得到空间关系特征。５．关键特征提取出图片最关键的特征，即不会因为图片位置平移旋转、大小缩放、而发生变化的特征。SIFT特征（Scale-invariantFeatureTransform）是其中的代表，其本质是在不同的尺度空间上查找关键点（特征点），并计算关键点的方向。SIFT的所查找到的关键点是一些不会因光照、旋转等因素而消失的、十分突出的点。SIFT特征提取主要有以下三个步骤：（1）提取关键点：搜索所有尺度空间上的图像位置，识别潜在的具有尺度和旋转不变性质的关键点。（2）定位关键点并确定特征方向：对关键点进行选择，选择的依据为关键点的稳定程度，这样做可以增强抗噪能力和稳定性。（3）生成关键点描述子：为了使关键点具有更多的不变特性、提高图像匹配的效率，还需要生成关键点描述子。关键点描述子除了包括关键点之外，还包括关键点周围对其有贡献的像素点；同时为了保证旋转不变性，需要将坐标轴旋转到关键点方向，生成SIFT特征向量。6．视觉词袋特征词袋模型也被应用图像处理中，与文本中的词袋模型类比，将图像的特征都当做单词，即把图像“文字化”，简写为Bag-of-Visual-Word(BOVMmodel)。（1）图像局部特征提取：根据具体应用场景，综合考虑特征的独特性、提取算法复杂性等因素，从图像中抽取局部特征，生成一定维度的特征向量；（2）视觉词典构造：利用步骤1处理好的特征数据通过适当的去冗余处理得到一些有代表性的特征向量，再用聚类方法将特征词分为若干类，其类别的数据由自己设定，将聚类中心定义为视觉单词。所有视觉单词组成视觉词典；（3）量化图像特征：一个图像由很多视觉词汇组成，通过每个图像的视觉词汇来量化表示图像