运用传统方法进行大众评论的情感分析问题(基于python语言)

题目 运用传统方法进行大众评论的情感题目 运用传统方法进行大众评论的情感 分析问题分析问题 作者 刘小文 2015 届上海大学本科毕业论文 摘要摘要 本文介绍了通过基于 python 自然语言处理的中文文本分类流程 通过对大 规模的真是语料 大众评论 基于传统方法 利用 python 的 Scrapy 爬虫抓取 预处理 再使用 jieba 进行文本词语的分类使得用户评论变得可处理 在基于 Gensim 的 Word2vec 的工具箱下将文本分词矢量化 使得具有维度 将矢量化 的文本进行特征提取 从而实现传统方法进行情感分析 并将结果呈现出来 关键词 python 文本分类 语料分析 Word2vec Abstract This paper introduces the python based natural language processing Chinese text categorization process by large scale really corpus user reviews based on traditional methods the use of Scrapy python reptiles crawl pretreatment and then use jieba for text words the classification process makes user reviews become available in Gensim based toolbox Word2vec the text word vectorization so as to have a dimension the vectorization of text feature extraction in order to achieve the traditional methods of sentiment analysis and the results are presented come out Keywords python text classification corpus analysis Word2vec 1 引言引言 1 11 1 文本分类流程文本分类流程 人们快捷人们的生活越来越依赖于大数据 在这个时代大数据 谁能够掌握大量数据 的 谁就在这个信息时代拥有更多的话语权 互联网信息资源的开发 使之与文本分类的 混合情绪已经成为研究信息的热点地区之一 在自然语言 特别是在文本分类的研究 理 论和 DG 的实践之间的研究紧密结合彼此 自然语言理解 机器学习 特征提取和文本分 类的其他领域奠定了情感分析坚实的理论基础 和文本分类是由于在该领域的非常实用的研 究 在互联网上爬行 预处理的文本 该文本 矢量化的话 最后的特征提取操作都离不 开大量的练习来进行测试 在各种自然语言处理 编程语言 蟒蛇算是后起之秀 Python 语言简洁 可读性和可 扩展性强 Python 中也有一个有钱有势的图书馆 经常被称为胶水语言 能够很容易地 与其他语言 特别是 C C 制成各种模块连接在一起 对于 MATLAB Python 入门成本 较低 但也更容易学习 更严格的语言公开征求意见程序 用传统的语言处理方法 获得 文本的特征值 从而在大数据的情感分析到达处理可以有很多实际的一个 1 21 2 传统传统 情感分析方法情感分析方法 传统的情感分析方法有很多 但最流行的是衍生品的 SVM 支持向量机 朴素贝叶 斯 贝叶斯 和最大熵 最大熵 三种分类算法 三种算法不断 让越来越多的订单丰富 多彩情感分析 下面将简要地考察三种方法 1 2 1 支持向量机支持向量机 SVM 在机器学习领域 支持向量机 支持向量机 是一种监督学习模式通常用于模式识别 分类和回归分析 SVM 有两个主要的想法 首先是要用于非线性点线性分析的情况下 通过使用低维空间的非线性映射算法线性不可输入样本转换成高维特征空间 以便它线性 地可分离以便使用可能样品的线性分析的非线性特性的第一算法的高维特征空间 第二机 制是基于以上在特征空间最佳分割的超平面构造风险最小化的 SVM 理论 使学习者获得全 局优化 并在整个样本空间中的预期风险满足一定的概率的上限 1 2 1 1 SVM 的一般特征的一般特征 1 SVM 学习问题可以表示为一个凸优化问题 所以你可以用已知的找到目标函数的全 球最低有效的算法 其他分类方法 如基于规则的分类和人工神经网络 都采用基于贪心 学习策略来搜索假设空间 这种方法一般只能局部最优解 通过最大化决策边界边缘 以 控制模型的能力 然而 用户必须提供额外的参数 如利用核函数类型和引进松弛变量 通过引入虚拟变量为每个类别属性数据 SVM 可应用于分类数据 SVM 一般只在两种类型 的问题地使用 对于许多类型的无效的问题 为了选择不同的内核的功能 可以产生不同的 SVM 一般有以下四种 线性核 K X Y X 多项式核 K X Y X Y 1 D 径向基函数 K X Y EXP x y 2 D 2 核心层的神经网络 K X Y 正切 A X Y B 相应的内核功能没有问题选择 6 SVM 更加困难 分类精度的更复杂的问题是不是很高 以及大型分类问题训练时间长 1 2 21 2 2 最大熵最大熵 最大熵是最符合的随机变量客观情况的标准的统计特性的一个选项 所述量的概率分 布是难以测量 通常只能得到各种已知或意味着在某些限定的条件的值 用这些测量分布 一致值可以有多种 以及无限多种 在一般情况下 其中在最大熵分布 这种选择具有最 大熵分布作为随机变量的分布 是一种有效的治疗方法和准则 虽然这种方法是有些主观 的 但可以认为 最符合的客观情况的选项 最大熵 对应于我们的最大的复杂性 如科 学技术的各个领域的使用原理或方法的问题是旗手约翰尼 E T Jaynes 但对于不同的熵函数 中添加不同的约束 那么如何界定人为限制将变得非常困难 而对于物理意义的约束 给 出合理的解释 因此可能已经看到了最大熵或进一步需要解决 1 2 31 2 3 贝叶斯贝叶斯 贝叶斯分类分类原则是通过使用贝叶斯公式计算的后续体验的概率 即 该对象属于 某个类别的概率的对象的先验概率 选择具有最大后验概率作为对象的类类属 贝叶斯网络是一个概率意见向无环图 图中的每个节点代表一个随机变量 两个节点之间 的数字 如果有一个圆弧 则对应于一个随机变量的概率两个节点是相关的 反之则表示 两个随机变量是独立的条件 任何网络节点 X 有一个相应的条件概率表 条件概率表 CPT 来表示每个可能的节点 X 的条件概率在其父当节点需要的值 如果节点 X 没有父节 点 CPT 为 X 的贝叶斯网络结构的先验概率分布和每个节点的 CPT 定义的概率分布网络变 量 贝叶斯分类器是分类的贝叶斯网络 网络节点应该包括在类 C 其中 C 是从该组的类 C1 C2 厘米 导出的值 还含有一组节点 X X1 X2 XN 表明分类特征 为贝叶斯网络分类器 如果被分类 D 的样本中 分类特征为 x X1 X2 X n 时 则属于该类别词的样品 D 概率 P C CI X1 X1 X2 X 2 Xn n 个中 i 1 2 M 应满足下面的公式 P C CI X X 最大 P C C1 X X P C C2 X X P C cm X X 并通过贝叶斯公式 P C CI X X P X X C CI P C CI P X X 其中 P C CI 通过本领域专家的经验获得的 和 P X X C CI 以及 P X x 的 计算更加困难 2 Scrapy 爬虫抓取爬虫抓取 由于本文是基于 Python 语言进行传统方法上的情感分析处理 那么在大 众评论 即网页抓取上用的就是 Scrapy 爬虫抓取 下面来讲解一下 Scrapy 如在示意性 Scrapy 一般框架所示 在中间是指发动机部件 Scrapy Scrapy 引擎用于控 制整个数据处理系统中 首先初始化的 URL 开始 Scrapy 引擎将 URL 到调度器模块 调度 将合并为一个合法的下载请求被传递到模块 downloader 下载 下载服务器获取的页面将 返回到分辨率的 蜘蛛 后 蜘蛛一般有两种结果出来了 一是为进一步链接抓取 诸如 下一个 链接的需求 它们将形成由发动机传输调度模块的新请求 另一种是来从一个网 页后 这个信息被发送到该项目管道 管道工程 项目管道的主要职责是负责处理来自 Web 项目吸引蜘蛛的信息 他的主要任务是明确的 验证和存储数据 当页面被解析蜘蛛 它将被发送到项目管道 和后几个特定的顺序处理数据 在项管道模块数据的后处理 例 如 详细的分析 过滤和储存等的操作 以及各种模块之间的中间件 主要是处理模块之 间的反应 和特定的数据处理步骤如下 1 打开发动机在域 域是意义的领域 单位的网络 有针对性地控制它的蜘蛛 蜘蛛 和一个 URL 抓取的第一个请求域的独立运作 2 第一发动机得到的 URL 从 蜘蛛 爬行 并作为请求放在调度 3 发动机调度请求到下一个 URL 4 接下来调度抓取网址返回到发动机 该发动机将通过下载中间件发送到 URL 下载 请求 5 一旦完成页面下载 下载器 使用该下载页面来生成响应 并通过下载中间件发送 到引擎 响应的方向 从发送到响应下载获得 6 引擎 并邮寄到 蜘蛛 蜘蛛通过中间件 输入方向 处理 7 蜘蛛 治疗反应和回报项目和一个新的请求到引擎 8 蜘蛛 发送引擎返回项目管道 派出 蜘蛛 的请求返回调度 9 重复步骤 直到调度有没有剩余的请求 这次发动机关机域 Scrapy 提供了许多功能强大的特性使拼抢非常容易使用 也很高效 如 支持内嵌 HTML 和 XML 源提取数据选择 内置支持出口数据以各种方式 包括 XML CSV 和 JSON 介质的管道 用于自动下载并爬到项目相关的图像 或其它任何媒体 支持使用此类中间 件 扩展和插件来扩展管道等 Scrapy 要想在加入 Scrapy 自己的功能 有各种嵌入式中间件 和延伸的 用于处理压缩 缓存 饼干 认证 用户代理欺骗 robot txt 文件处理 统计 爬行动物深度限制 一个交互式脚本抓取控制台 交互式刮外壳控制台 编写和调试爬虫 非常有用的 一个 Web 管理控制台 Web 管理控制台 以监视和控制爬虫 一个远程登录 控制台 远程登录控制台 用于访问内部流程 Scrapy 不受限制的 Python 控制台调试你的 爬行动物 一些用于记录 记录 的内置工具 收集统计 统计数据收集 并发送电子邮 件通知 发送电子邮件通知 2 12 1 ScrapyScrapy 的功能模块的功能模块 Scrapy 看起来很复杂 其实 不同意 使用 scrapy 框架抓取我们需要五个功能模块 包括 蜘蛛侠 工程管道 设置和中间件页面 蜘蛛 模块 是 scrapy 核心模块 该模块将限定可变域和起始的 URL 下一步需要被提 取的链接规则 规章和提取数据从网页 开始网址 这样我们要提取的决定的信息 文本 研究的主要对象是附着在买家评论情感价值 开始写一个 URL 基于爬行规则抽取确定种子 下一步规则需要提取链接和网页数据提取规则在我国的默认请求后实现的回调函数 p 的定 义得到响应调用函数 p 这里需要解析的网页 它返回两个结果 然后 我们显然要提取 的资料哦 只要你需要分析网页的结构特点 以找到在网页中目标信息的平民 scrapy 在 使用 XPath 来描述路径 然后使用 HtmlXPathSelector 方法提供的提取相应的信息被发送到 数据存储模块即可 蜘蛛 模块来实现下一步的另一个重要功能是定义提取链接策略 这是解决该页面 中的所有链接 我们只需要找到合适的位置 项目重新定义模块 你需要匍匐着 scrapy 领域将定义一个空类的框架 如 coding utf 8 Define here the models for your scraped items See documentation in http doc scrapy org en latest topics items html from scrapy item import Item Field class BbsDmozItem Item define the fields for your item here like name scrapy Field url Field forum Field poster Field content Field 图 2 空类框架 以上 调度程序将请求的 URL 下载器下载 下载后 将被转发到 蜘蛛 进行分析 分析 出需要保存的数据被发送到项目 管道在那里 然后后处理的数据 如果你需要提取由管 道储存的所有数据必须在项目定义 文本的要求 我们可以谈论所有提取子弹项模块上市 在图中还示出 管线模块 用于存储数据 蜘蛛 将返回到调度模块处理结束项目对象 后 调度的项目将被发送到管道模块 接收到该数据项后管道模块是通过一系列的处理的 数据处理方法的实施 管道一般数据处理包括以下四个方面 清除 HTML 数据不是用来提 高系统性能 检查上一步骤中提取得到的数据的合法性 删除重复提取的数据 按照相应的存 储存储器获得在本地的数据 在本文中 必要的后续治疗 这里存储选择存储方式直接 蜘蛛 模块 按照适当的输出到一个文本文件中提取信息的简单文本 3 SnowNLP 库情感赋值库情感赋值 3 1 SnowNL LP 库 在蟒蛇自然语言处理 SnowNLP 一个句子或单词已经给图书馆的情感价值 作为一个 第三方库 可以轻松地处理中国的文字 被写入 TextBlob 的启发 因为现在大部分的自然 语言处理库基本上都是针对英语 然后写了一个图书馆 方便中国人的处理 以及不同 TextBlob 是的 有没有用 NLTK 所有的算法都是在自己的执行 并附带一些训练好字典 和 SnowNLP 实现 中国词语音标准 情感分析 分类 转换成拼音 繁体简体反过来 文 本关键词提取 特里树 文本摘要 TF IDF 符号化 划分句子 文本相似 下面是其 中几个功能的简要说明 3 2 中文分词 四字词语 中文分词 四字词语 因为产生和字判别方法的常规方法 难以应对比已知的固定词汇 基于字符的测定方 法已被广泛使用 唯一已知巩固词汇该确定方法 在基于单词的方法 它处理一个字的分 析 它被认为是与人类使用的相邻字符的这四个字的发现来计算其优异的性能之间的段内 做的能力 中国分割 CWS 为优先 其目的是要找到对应的单词序列的给定中国字符序列 此 外 字的问题也可以配制成任一模型或生成判别模型 此外 在上述的分类的基础上 长 期在它将作为产生的方法 被称为模型而言字为主 而公知的基于字符的标签模型 将基 于歧视做法字符命名 此外 宽松 措施 一词没有混乱的话 模特 的交流 生成基于 单词的模型 我们已经开发如下 其中 WSeq w1 w2 wm 指示与 m 个字的特定字序列 并且表示具有 1 n 个字符的判定 而经典的三字词模型 P Wi Wi 2 Wi 1 被初步制定如下 1 当 P 时 P 就是 WSeq 的候选词语 变成简约的二阶马尔科夫 1 1 1 1 公式 这样等式就对等了 在等式 10 这取决于在它们之间的字中的字符 如由联合事件隐含护理 作为单个 单元处理 当这种模式效果很好 它不超过词汇 OOV 然而 这种情况不能在实践中 实现 例如 命名这是经常遇到的实体和数字 OOV 单词的表达 因为与相关联的那些多字 符候选 OOV 单词离不开 OOV 检测的搜索过程中产生 这是不可能识别它们在基于字的方 法 大多数 OOV 所以将其分为单字符单词及其对应的序列 换句话说 所述基于单词的模 型是易受这些 OOV 单词 同时 总的准确率也将降低 因为他们被迫 OOV 单词分割成更 小尺寸的多个词 3 3TextRank3 3TextRank 算法算法 在中国的自然语言处理 TextRank 算法 文本提取和文本摘要关键字起到至关重要的组 成部分 但 TextRank 的 PageRank 算法 用于生成关键字和文本摘要 的 PageRank 最初用于计算页面的重要性 万维网整体可以被看作是一个有向图图节点是一 个网页 如果网页 A 指向网页 B 的链接存在 再有就是从网页 A 指向网页 B 向边的一个点 构造图后 请使用以下公式 PageRank 需要使用上面的公式多次迭代才能得到结果 初始时 可以设置 每个网页的重要性为 1 上面公式等号左边计算的结果是迭代后网页 i 的 PR 值 等号右边用到的 PR 值全是迭代前的 上图表示了三张网页 之间的链接关系 直觉上网页 A 最重要 可以得到下面的表 结束 起始 A B C A0 1 1 B0 0 0 C0 0 0 横栏代表其实的节点 纵栏代表结束的节点 若两个节点间有链接关系 对应 的值为 1 根据公式 需要将每一竖栏归一化 每个元素 元素之和 归一化的结果 是 结束 起始 A B C A0 1 1 B0 0 0 C0 0 0 3 3 1 使用使用 TextRank 提取关键字提取关键字 原文中筛选出停用词分割成一个句子 每个句子 只保留语音所需部分的字 你可以 设定单词和句子的集合 的 PageRank 每个字作为一个节点 设定窗口大小为 k 假设由以下序列组成单词的句子 W1 W2 W3 W4 W5 WN W1 W2 周 W2 W3 WK 1 W3 W4 周 2 都是一个窗口 它的任何 两个词之间存在的对应节点的窗口具有一个自由边缘没有权利 指的是一个结构图上面 计算每个字的节点的权重的权重 一些字可被用作权重的关键字 3 3 2 TextRank 提取关键短语提取关键短语 参照 使用 TextRank 提取关键词 提取出若干关键词 若原文本中存在若 干个关键词相邻的情况 那么这些关键词可以构成一个关键短语 例如 在一篇介绍 训练神经网络 的文章中 可以找到三个关键词训练 神 经网络 通过关键