谷尼网络舆情监控系统技术白皮书

谷尼网络舆情监控系统谷尼网络舆情监控系统 技术白皮书技术白皮书 ( (简版简版) ) 谷尼国际软件（北京）有限公司谷尼国际软件（北京）有限公司 二一年八月 目录 1系统概述系统概述.1 2系统结构系统结构.1 3系统特点系统特点.2 4功能描述功能描述.3 4.1热点话题、敏感话题识别.3 4.2舆情主题跟踪.3 4.3自动摘要.4 4.4舆情趋势分析.4 4.5突发事件分析.4 4.6舆情报警系统.5 4.7舆情统计报告.5 5 5运行环境运行环境.5 1 系统概述系统概述 网络舆情形成迅速，对社会影响巨大，不仅需要各级党政干部密切关注， 也需要社会各界高度重视。该方案可应用在政府的新闻监管、舆论监督等部门。 网络舆情监控系统是一套利用搜索引擎技术、文本处理技术、知识管理方 法，通过对互联网海量信息自动获取、提取、分类、聚类、主题监测、专题聚 焦，实现用户对网络舆情监测和热点事件专题追踪等需求，形成舆情决策库、 舆情简报等分析结果，为客户全面掌握舆情动态，做出正确舆论引导提供分析 依据。 谷尼网络舆情监控系统是以信息采集技术为核心，应用信息采集技术、内 容管理技术、知识管理技术、信息分类技术，实现网络舆情监测和新闻热点追 踪、新闻监管等功能需求。为客户全面掌握群众思想动态，做出正确舆论引导， 提供分析依据。系统工作流程如下: 信息采集：互联网信息实时监测、采集、内容提取及排重； 信息处理：对抓取的内容进行自动分类聚类、主题检测、专题聚焦等； 信息服务：将采集并分析整理后的信息直接为用户或为用户辅助编辑提 供信息服务，如自动形成舆情信息简报、追踪已发现的舆论焦点等。 2 系统结构系统结构 总体来说，网络舆情监控系统软件的结构如下： 3 系统特点系统特点 该项目与国内外互联网舆情监控系统或类似功能的系统比较，具有自己显 著的技术特点，如允许用户定制舆情监控的范围、方式等，具体如下： 支持网页编码自动识别 支持 URL 去重识别 支持正文自动识别抽取，无须标签配置 支持分页采集 可设置采集频率 支持分布式部署 强大的信息采集功能 智能化的中文信息处理 全面的敏感信息分布式检索系统 分类、聚类等中文智能处理技术广泛采用 实时增量备份原则 合理的模块化结构及方便的分类监控 灵活的调度算法 支持新闻、博客、论坛、贴吧的采集监控 基于内容相似性去重识别 支持互联网关键词搜索采集入库 支持敏感词过滤提取 支持热点发现 支持网页快照 4 功能描述功能描述 4.14.1 热点话题、敏感话题识别热点话题、敏感话题识别 网络舆情监控系统可以根据新闻出处权威度、发言时间密集程度等参数， 识别出给定时间段内的热门话题。利用内容主题词组和回贴数进行综合语义分 析，识别敏感话题。 4.24.2 舆情主题跟踪舆情主题跟踪 网络舆情监控系统分析新发表文章、贴子的话题是否与已有主题相同。 是根据文档内容间的相关程度进行分组归并。聚类不需要类别及相关训练 样本。 聚类可以发现当前舆论焦点,或者相关文档的查找. 网络舆情监控系统通过对同一个阶段搜索到的大量信息进行聚类，我们可 以很方便地发现当前关于什么类别的文章数量更多，那些信息之间的关系更紧 密，这样我们可以很直观地了解到当前舆论的焦点，以及各个舆论点之间的联 系紧密程度。 4.34.3 自动摘要自动摘要 网络舆情监控系统对各类主题，各类倾向能够形成自动摘要。 信息自动摘要的中心思想是让用户在查看搜索结果时候，无需点击进入每 一个搜索结果去了解具体内容，而自动在搜索结果条目下显示摘要信息。这些 “摘要”帮助用户迅速了解搜索结果的主要内容，提高了工作效率。 4.44.4 舆情趋势分析舆情趋势分析 分析某个主题在不同的时间段内，人们所关注的程度。 4.54.5 突发事件分析突发事件分析 网络舆情监控系统对突发事件进行跨时间、跨空间综合分析，获知事件发 生的全貌并预测事件发展的趋势。 4.64.6 舆情报警系统舆情报警系统 网络舆情监控系统对突发事件、涉及内容安全的敏感话题及时发现并报警。 4.74.7 舆情统计报告舆情统计报告 网络舆情监控系统根据舆情分析引擎处理后生成报告，用户可通过浏览器 浏览，提供信息检索功能，根据指定条件对热点话题、倾向性进行查询，并浏 览信息的具体内容，提供决策支持。 5 5 运行环境运行环境 操作系统:Microsoft Windows XP/NT/2000/2003/ 数据库为:SQL2005/MYSQL/ORA