舆情卫士监测平台技术方案

舆情卫士监测系统

技术方案

中国移动通信集团安徽省有限企业安庆分企业

5月

目录

1总体需求.................................................错误!未定义书签。

1.1建设目标.................................................错误!未定义书签。

1.2功效需求.................................................错误!未定义书签。

1.2.1互联网海量信息采集子系统................................错误!未定义书签。

1.2.2海量信息存放子系统......................................错误!未定义书签。

1.2.3海量信息检索子系统......................................错误!未定义书签。

1.2.4互联网云数据分析处理子系统..............................错误!未定义书签。

1.3性能需求.................................................错误!未定义书签。

1.4其余需求.................................................错误!未定义书签。

2技术方案.................................................错误!未定义书签。

2.1翼腾云计算概述...........................................错误!未定义书签。

2.2总体设计概述.............................................错误!未定义书签。

2.3系统架构图...............................................错误!未定义书签。

2.4业务流程图...............................................错误!未定义书签。

2.5数据中心介绍.............................................错误!未定义书签。

2.6.1海量互联网信息采集子系统..................................借误!未定义书签。

通用采集技术.............................................错误!未定义书签。

2.6,1.2互联网信息采集............................................错误!未定义书签。

2.6.2海量信息检索子系统.........................................错误!未定义书签。

2.6.3大数据分析处理子系统.......................................错误!未定义书签。

2.6.3.1信息及数据处理...........................................错误!未定义书签。

2.63.2舆情及敏感信息分析.......................................错误!未定义书签。

2.6.4用户权限管理...............................................错误!未定义书签。

2.6.5安全子系统................................................错误!未定义书签。

2.6.6手机舆情..................................................错误!未定义书签。

能力，能够利用云数据分析技术进行深度比对、关联、分析和挖掘,

实现网上信息快速发觉。

1.2.1互联网海量信息采集子系统

网络媒体形式全，能够对各类网络媒体进行监测：

1）门户网站：系统可采集以媒体公布为主新闻网站信息；

2）论坛：各种形式BBS、贴吧、论坛、小区；

3）博客：各博客网站博客信息；

4）微博：各微博网站信息监测；

5）电子报：各类报纸电子报信息监测；

6）问答：对问答类网站采集；

7）视频：对视频网站文字信息采集；

8）WAP：对WAP网站信息采集；

9）搜索引擎：对搜索引擎信息聚合；

10）微信公众账号采集。

1.2.2海量信息存放子系统

实现海量采集文章数据（高并发）存放和相关查询统计业务（如

历史文章查询），并处理存放服务长久运行高可用性问题。

1）可存贮最少三个月历史数据;

2）可经过统一系统界面监测全部服务器运行情况，及时发觉并处

理出现任何情况；

3）具备完整容灾备份方案。

1.2.3海量信息检索子系统

采取分布式并行计算搜索框架，能对T级以上索引提供7*二十四

小时搜索服务。采取群集服务多服务器同时搜索数据，有效提升检索

速度，能够达成每秒处理100万次搜索速度。

1.2.4互联网云数据分析处理子系统

信息及数据处理主要是针对采集入库后数据进行整理、处理。主

要技术和功效包含：

（1）漏斗式过滤技术：

采取漏斗式多重过滤技术，逐层过滤掉无关干扰信息，展现给用

户精准舆情信息和热点资讯。

（2）汉字分词：

采取基于自然语言处理技术汉字分词技术，对全文做文本处理，

为舆情分类、专题聚类、自动摘要、语义分析、检索等提供基础。

（3）要素分析

对全部采集信息，在抽取标题、起源网站、起源频道、公布人、

公布时间、链接、正文、图片等元素后，形成结构化数据存放于舆情

库中。

（4）数据挖掘：

关键词是本系统筛选舆情信息主要规则，另外还采取数据挖掘方

法分析出主要舆情信息和有价值敏感信息，比如：

1）分析出舆情高发网站及频道；

2）分析出舆情高发人群；

3）推荐网民关注度高舆情；

4）筛选新词、热门话题；

5）关联性分析：

采取智能关联技术将与一条新闻相关新闻、论坛评论、博客评论

等信息关联到一起，帮助用户多方位她了解新闻事件进展和其余报道

情况，以及相关网民评论等信息，全方面地掌握各种相关信息。

1.3性能需求

1）常规监测信息源数量3万个以上；

2）日均采集信息量300万条以上；

3）信息采集效率在30分钟以内；

4）数据中心数据可提供PC端、移动端等不一样方式信息检索，

检索效率在5秒钟以内;

1.4其余需求

1）可针对客户要求给出详细硬件配置方案；

2）基于数据中心监测平台系统架构图；并详细描述所采取技术及

方法等。

3）系统布署拓扑图；

4）能够统一管理各服务器运行并监测其运行情况；

2技术方案

2,1翼腾云计算概述

“云计算”是一个很时尚概念，它既不是一个技术，也不是一个

理论，而是一个商业模式表现方式。“计算与数据”跷跷板平衡已发

生改变，即已经到“移动计算要比移动数据要廉价多（Moving

computationischeaperthanmovingdata）”,透过这项技术，网

络服务提供者能够在数秒之内，达成处理数以千万计甚至亿计信息，

达成和“超级计算机”一样强大效能网络服务，云计算关键技术：

1.虚拟化技术

虚拟化技术是指计算元件在虚拟基础上而不是真实基础上运

行，它能够扩大硬件容量，简化软件重新配置过程，降低软件虚拟机

相关开销和支持更广泛操作系统方面。虚拟化技术主要应用在CPU、

操作系统、服务器等多个方面，是提升服务效率最好处理方案，以

PaaS为关键来构建和运行新一代SaaS应用,经过与移动运行商合作

共建SaaS舆情应用系统，处理众多中小企业舆情需求，OpenStack

提供了比较成熟PaaS处理方案。

2.分布式海量数据存放

云计算系统由大量服务器组成，同时为大量用户服务，所以云

计算系统采取分布式存放方式存放数据，用冗余存放方式（集群计算、

数据冗余和分布式存放）确保数据可靠性。冗余方式经过任务分解和

集群，用低配机器代替超级计算机性能来确保低成本，这种方式确保

分布式数据高可用、高可靠和经济性，即为同一份数据存放多个副本。

使用数据存放系统是Hadoop团体开发GFS开源实现HDFS。

3.海量数据管理技术

云计算需要对分布、海量数据进行处理、分析，所以，数据管

理技术必需能够高效管理大量数据。使用开源NoSql数据库Mongodb

和Cassandra处理海量文章存放、检索。

4.编程方式

云计算提供了分布式计算模式，采取了一个思想简练分布式并

行编程模型Map一ReduceoMap一Reduce是一个编程模型和任务调度

模型。主要用于数据集并行运算和并行任务调度处理，基于Hadoop集

群，使用Map-Reduce处理离线数据挖掘。另外针对流式实时运算采

取并行编程模型Spout-Bolt,基于开源JStorm集群实现实时文本挖

掘。

5.云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不一样地点，

同时运行着数百种应用，怎样有效管理这些服务器，确保整个系统提

供不间断服务是巨大挑战。采取Nagios对众多集群进行监控，使用

SALT处理大规模服务器自动化管理。

翼腾数据中心借助于上述5个方面云计算技术，处理了互联网

海量信息实时检索、海量分析、推荐挖掘等问题，依靠于全国众多数

据中心，为多个行业、多个地域SaaS舆情监测平台提供数据支撑，

为众多企事业单位提供优质汉字信息监测服务。

翼腾巳建成数据中心使用依靠阿里云云平台，天天采集互联网

500W以上海量文章信息，每个数据中心出口带宽达成10G,天天新增

10T以上数据文件，使用分布式文件系统、分布式数据库存放索引、

文章等相关信息，使用软件方式处理了数据可靠性问题，翼腾搜索引

擎实时返回各个SaaS平台检索需求，能够支持上万并发请求。另外

经过实时推送技术，天天推送到客户端信息量能够达成上百万。

2.2总体设计概述

舆情卫士监测平台是基于大数据平台+行业处理方案+面向服

务整体处理方案，海量数据大都为非结构化文本数据，使用NoSql技

术和Hadoop架构进行有效结合集成，实现在采集、存放、分析、挖

掘、检索、展示等方面详细要求，并针对其个行业做深入开发，以服

务方式提供数据产品。大数据平台是在大数据环境下，为满足数据处

理要求而倾力打造一款具备革命性架构设计平台级产品。大数据管理

系统由服务器集群、大数据处理软件、情报产品三部分组成，系统支

持PB级海量数据管理，采取高可靠架构设计，兼容Hadoop标准，自

有海量全文检索引擎系统，支持水平扩展。大数处理软件是一款完全

分布式、多副本机制、数据分片集群系统，不存在单点故障或性能瓶

颈。

“舆情卫士监测平台”能够分为两个部分来建设。一是互联网信

息数据中心平台。平台完成各类海量信息采集、存放、检索等功效，

建设完成后能够供不一样用户进行舆情信息巡查。一是基于数据中心

平台舆情应用平台建设，包含PC端及移动终端各种舆情管理与应用。

互联网信息数据中心负责从互联网各类网站进行信息采集，同时

还支持其余各种信息搜集和存放，比如微信公众账号所公布信息等信

息。数据中心大量进行数据采集、处理和存放，为满足不一样用户及

业务应用，采取分方式技术进行规划信息检索服务，提升数据检索效

率。

不一样用户应用平台信息都起源于数据中心，基于这些数据建立

自己应用平台，本建设实现了中心数据向多用户开放，为未来不一样

用户依照实际需求定制本用户信息平台提供数据支撑和平台基础。

舆情卫士监测平台一样是采取大数据、移动互联网等新技术进

行建设，一能够确保整体舆情工作效率，同时还为未来应用留下了发

展空间。舆情卫士监测平台是一个整体平台，在平台使用基础上，基

于大数据技术进行了更深一步数据分析和挖掘。

舆情卫士平台可提供PB级海量数据存放能力，能够利用云数据

分析技术进行深度比对、关联、分析和挖掘，实现网上信息快速发觉、

态势研判和舆论引导，重点栏目信息1-5分钟发觉报警。

2.3系统架构图

舆情卫士产品介绍一系统技术

舆情分析

号

分

线

教

坨

布

程

梅

堤

式

并

更C

案

发A

群

网|«

对

过

班

比

湿

01扫

|»

提

特点及优势：

★采取分层架构设计，每个功效都有多份系统，不存在单点故

障，且可进行水平扩展；

★系统采取嵌入式、多引擎技术，并满足用户定制自己数据处

理逻辑要求；

★基于索引分区机制，实现内存中高速索引创建，海量索引数

据放入磁盘，处理了快速索引应用需求，同时有效降低索引匹配范围,

缩短检索响应时间；

★采取多副本机制，实现了容灾备份，防止单点故障，同时也

实现了负载均衡，提升并发检索能力，每份数据都最少有三块一样数

据做备份；

★支持离线检索模式，适应大量数据检索应用场景要求，防止

了同时检索模式时消耗太多线程资源问题;

★自有缓存集群，千亿数据提取GO毫秒；

★大数据底层基于Hadoop,充分利用HDFS可靠性，数据挖掘

采取MapReduce分布式运算模型，处理了海量数据挖掘数量瓶颈问

题。

2.4业务流程图

互联网

采集服务器群

全文检索

大数据存储

数据中心系统是一个集互联网舆情采集、检索于一体综合系统，

系统经过采集互联网数据，对数据进行过滤分析，向其它舆情产品推

送热点数据信息。数据中心布署实施需要建立一个舆情信息处理分布

式平台和云服务器集群，内容包含服务器、存放等硬件设备，关键业

务系统分别使用网络负载均衡技术及服务器群集技术实现高性能与

高可用性。数据存放使用区域存放网络，并使用磁带库进行数据备份,

充分保障业务数据可靠。基础应用系统分布布署在应用服务器组中，

基础服务系统服务器组布署Hadoop、Mongodb、TomcatsHornetQ>

Tomcat等软件系统，信息门户服务器组布署舆情指挥系统等平台软

件，统一信息交换服务器布署数据中心程序，数据中心布署文章索引

服务、文章采集服务集群，建立应用软件数据仓库及数据库系统，将

关键数据集中存放在SAN存放网络之中，确保实现整个系统应用和数

据可靠性和安全性，以满足数据存放、信息处理等方面需要。

2.5数据中心介绍

数据中心主要包含以下子系统：互联网海量信息采集子系统、海

量信息存放子系统、海量信息检索子系统、展示子系统、信息分析分

发子系统、网评子系统、数据存放与容灾备份等。还包含多对微信、

二维码、和视频采集和分析处理等。

数据中心广泛采取集群应用、分布式数据存放、分布式计算等云

技术。可提供PB级海量数据存放能力，能够利用云数据分析技术进

行深度比对、关联、分析和挖掘，实现网二信息快速发觉，确保重点

栏目信息1-5分钟发觉报警；数据检索经过对分布式存放和分布式计

算采取，有效确保了在海量数据情况下，系统检索响应速度控制在秒

级范围。

舆情卫士产品一系统总览

采集于系统

®S点枭集

◎S体形式丰.=*元量羊.转构化提或

分析子系统

阳邮旎计8s势分折

舆情卫士产品介绍一系统技术

中国移动

舆情管理子系统

•分费夬情

・专题舆情一令H制*

•本地、境内、境外信息

采集流程舆情分析・文情简报一口定义?出

•■情导控

・眇手分析

名丈章要会极取

a分

及

救

布

程

岐

也分契”美舆情颈警子系统

式

并

信

更

案

发

新

克

钎

网

时

过

兴

我舆情协管子系统

比

兴

拐tf门动，叁•发现舆情一处也典情一影

知成方泉情推一督分

提〃关理诃

协同办公子系统

微博管理子系统

舆情卫士产品介绍一工作原理

敏耕我情》・奥情St■功本

信恩悌计Wtrtft统计匕势分析

夷情曲IR.—代由人分析搜茂方案

站已乘第炒F分析

即纣EMM*自动情♦号也胡■及分析全““索

MM果肥自美统计分析IRLflLR

胃*采1!拈闻分析

他比果H笠7”检文♦“动抽取

族阿果集智能ttit线雷类玄置单？W：

神子系统分析子系统桧案子累蜕

2.6.1海量互联网信息采集子系统

海量数据采集子系统实现对互联网信息采集功效，包含了前端采

集信息、搜索引擎信息和人工浏览信息。采集设备可分布式布署。

支持互联网全网信息采集，云平台可实时监测3万余个网站、超

出50万个栏目或频道实时信息，同时还采取元搜索技术，对上百个

搜索引擎信息经过关键词搜索及采集，日均信息处理量达700万以

上。

通用采集技术

(1)采取定点采集和全网搜索相结合采集机制。

定点采集可确保第一时间采集到重点网站信息，全网搜索可进行

传输全方面性补充采集；

1）定点采集：系统内置50万栏目，采取定点采集方式；

2）全网搜索：经过关键词对新闻类搜索引擎、论坛类搜索引

擎、博客类搜索引擎、微博类搜索引擎及大型网站站内搜索工具信

息聚合搜索；

3）内嵌脚本执行引擎：伴随Web2.0相关技术发展，脚本语言越

来越多地应用于论坛、新闻评论、博客等类型网站建设。内嵌脚本

引擎对脚本语言自动解析和执行，实现对采取脚本语言论坛、博客

以及新闻评论网站采集；

4）7*二十四小时不间断采集，5分钟采集频率，信息更新扫描最

小间隔为1分钟；

5）对各微博网站实现访问搜索。

6）支持验证码采集；支持多页合并采集。

（2）全媒体采集

网络媒体形式全，能够对各类网络媒体进行监测：

1）门户网站：系统可采集以媒体公布为主新闻网站信息；

2）论坛：各种形式BBS、贴吧、论坛、小区；

博客：各博客网站博客信息；

4）微博：国内外微博网站信息监测；

5）电子报：各类报纸电子报信息监测;

6）问答：对问答类网站采集；

7）视频：对视频网站文字信息采集；

8）WAP：对WAP网站信息采集;

9）搜索引擎：对搜索引擎信息聚合。

10）微信公众账号采集

实现对微信公众账号信息监控和数据采集。系统可自动添加对微

信公共账号关注，形成微信公众账号库，实现对公共帐号信息实时采

集。

互联网信息采集

经过自动识别技术识别并抽取网页要素，包含：标题、起源网站、

起源频道、公布人、公布时间、链接（URL）、正文、图片、快照、表

格，自动剔除广告（图片或flash）等垃圾部分，存放为统一结构化

信息，供后续分析、检索、查询、统计和展示。

海量子系统实现海量采集文章数据（高并发）存放和相关查询统

计业务（如历史文章查询），并处理存放服务长久运行高可用性问题。

利用MongoDB来一体化处理采集文章数据（高并发）存放和相

关查询统计业务（如历史文章查询），并外理存放服务长久运行高可

用性问题。详细包含：

（1）处理海量文章信息存放问题（高并发写、高速查询、高速

统计分析）；

（2）处理海量文章检索问题（高并发写、高速查询、统计分析）;

（3）处理存放服务高可用性问题（如负载均衡、线性扩容、故障

转移、灾备恢复、服务监测等）；

最终目标：简化现有平台业务流程，降低故障节点，提升存放服

务高可用性。

2.6.2海量信息检索子系统

采取Lucene+Hadoop分布式并行计算搜索框架，能对T级以上索

引提供7*二十四小时搜索服务。采取群集服务多服务器同时搜索数

据，有效提升检索速度，能够达成每秒欠理100万次搜索速度。

文章经由采集服务器采集，发送到消息队列中，搜索客户端获取

文章内容，实时建立索引，并对外提供实时数据检索服务。对于海量

数据建立索引，使用基于HadoopMapper/Reducer分布式运算建立索

引。然后把建立索引从HDFS分发到各个索引服务器。

因为采集系统采集网页比较多，天天采集数量最少在100万篇，

所以在索引设计时需要考虑到不一样资源需求，这里面最少有两个原

因需要考虑，一个是时效性，另一个是数据量。

时效性指是一个资源数据从修改到生效需要时间，时效性高表示

生效时间短，有资源甚至需要立刻生效；而生效时间长资源也会分成

很多档次，有小时级，有天级，甚至有更长时间静态资源。数据量指

是一个资源数据规模，从最小数千条到千万级甚至亿级，不一样数据

量级别资源会用不一样方式进行索引构建以及索引检索。以下简单列

举了不一样时效性和数据量条件下索引方式:

实时索引需要实时支持索引增加以及删除操作，更新操作能够看

作是删除操作和增加操作组合。对于数据量小资源，能够将索引完全

放入内存，在内存中建立倒排索引，增加操作能够直接在索引拉链末

端添加新doc_id,注意这里doc_id是全局分配，确保索引拉链按照

doc_id升序排序；对于数据量比较大资源，因为索引无法完全放入

内存，需要建立文件索引，但因为文件索引紧致压缩特点，无法实时

地在倒排拉链中添加doc_id,在这种情况下，处理时效性问题能够

有两种方法，一个是尽可能缩短建索引时间，比如基于map-reduce

分布式建库技术能够将千万级别建库时间缩短到10分钟以内，这种

索引我们称为伪实时索引；另一个比较复杂方式是混合索引，即索引

增量部分存于内存中，在检索时需要将内存索引和文件索引合并，这

种方式在做检索时处理较复杂，数据中心搜索主要采取是伪实时索引

方式处理大数据量、高时效性资源数据。

对时效性低数据也有不一样处理方式，对于数据量比较小资源，

单机索引能完全涵盖，此时只需要周期性构建索引然后进行索引切换

就能够了；对于大数据量资源，单机索引无法涵盖，索引必须分布到

多台机器上，数据中心搜索现在是按照doc_id进行切分，一个doc

对应全部term都会分布到同一台机器上。

数据中心搜索索引构建流程。对实时内存索引，增加、删除索引

都是实时流，不过频繁索引修改会造成索引拉链碎片增多，需要有专

门任务定时整理索引拉链，首先是清理碎片，紧致排列索引拉链；另

首先也需要对过长拉链进行截断。对文件索引，使用分布式建库是个

非常高效方法，数据中心搜索文件索引建库主要是采取这种方式。

建立家引

实时写入批量算入

s

a

v

e

r

-

实

trf

银夫

则

同

步

2.6.3大数据分析处理子系统

互联网云数据分析处理子系统包含信息及数据处理和舆情分析。

大数据时代，对数据解释是关键。现在，数据可取得度已经空前提升,

我们能够分析更多数据，有时候甚至能够处理和某个尤其现象相关全

部数据，实现真正大数据挖掘和分析。数据海量、及时、动态、开放,

有利于我们完善分析效度和深度。同时，大数据也有价值密度低、传

输速度快等特点，数据分析模式是否科学，这将直接影响数据分析质

量。大数据异构和多样性，需要舆情分析人员对一些危机事件进行高

质量数据解释。基于数据分析，能否提炼出独到、高质量观点，在凌

乱纷繁数据背后找到更符合客户要求舆情产品和服务，并进行针对性

调整和优化，这是大数据时代舆情最大变量。

大数据时代，对趋势研判是目标。大数据关键和目标就是预测，

详细到舆情服务，舆情工作人员从互联网浩如烟海数据中挖掘信息、

判断趋势、提升效益，即使取得广泛且实际应用，但还远远不够c舆

情分析人员要不停增强关联舆情信息分析和预测，把服务重点从单纯

搜集有效数据向对舆情深入研判拓展，跟踪关联舆情，不再局限于危

机处理，还要辅之以决议参考，从重视“静态搜集”向重视“动态跟

踪”拓展，从致力“反应问题”向致力“处理问题”拓展，使舆情产

品和服务”更高、更加快、更强”(视点高、预警快、处置强)。

信息及数据处理

信息及数据处理主要是针对采集入库后数据进行整理、处理。主

要技术和功效包含：

(1)漏斗式过滤技术:

采取漏斗式多重过滤技术，逐层过滤掉无关干扰信息，展现给用

户精准舆情信息和热点资讯。

（2）汉字分词：

采取基于自然语言处理技术汉字分词技术，对全文做文本处理，

为舆情分类、专题聚类、自动摘要、语义分析、检索等提供基础。

（3）要素分析

对全部采集信息，在抽取标题、起源网站、起源频道、公布人、

公布时间、链接、正文、图片等元素后，形成结构化数据存放于舆情

库中。

（4）数据挖掘：

关键词是本系统筛选舆情信息主要规则，另外还采取数据挖掘方

法分析出主要舆情信息和有价值敏感信息，比如：

1）分析出舆情高发网站及频道；

2）挖掘文本中主要信息，如联络电话、QQ号码、邮件地址等信

息；

3）分析出舆情高发人群；

4）推荐网民关注度高舆情；

5）筛选新词、热门话题；

（5）关联性分析：

采取智能关联技术将与一条新闻相关新闻、论坛评论、博客评论

等信息关联到一起，帮助用户多方位地了解新闻事件进展和其余报道

情况，以及相关网民评论等信息，全方面地掌握各种相关信息。

舆情及敏感信息分析

舆情分析技术是用于舆情信息分类和判断，按照关注人物、地域、

单位、事件、主题等要素进行舆情分类，并对敏感舆情传输情况包含

传输源头、公布人、传输媒体、传输内容、传输路径进行抽取和分析,

提供各类统计数据和图表，掌握舆情事件在网络中传输全貌。

(1)分类技术：

系统内置一套较为科学和完整舆情分类体系，经过自动分类技

术，对用户关注敏感信息和国计民生各个重点领域进行实时监控，及

时发觉负面、有害信息。系统还提供灵活多维度信息分类自定义设置,

展示给客户丰富舆情分类浏览：

1)按主题分类：按关注主题自定义分类，如政法、医疗卫生、

教育等，进行常规监测过滤分析；

2)按照特定人物分类：设置关注人名，包含党政机关领导人、

政治人物或敏感人，对人网络活动进行分析；

3)按网站性质分类：按照网站性质如新闻、论坛等方式分类

信息；

4)按特定机构：设置各级国家党政机构，以及特定地域机构;

5)按照地域分类：按照地域提取各地舆情；

6)按关注网站分类：设置关注网站分析相关信息；

7)按有害信息：如法轮功、色情、民运等反动信息；

8)按定制搜索分类：设置关注网站和关键词规则进行过滤分

析。

敏感信息分析技术：

负面敏感信息分析是本系统最主要功效之一，经过预警功效在第

一时间将负面或敏感信息通知用户。

(1)热点发觉与跟踪

热点自动发觉：自动识别热点新闻事件，发觉网民关注焦点和热

点