舆情监控实验室系统参数.doc

互联网舆情监控系统招标参数性能指标性能描述主要功能互联网舆情监控产品应包含四个功能子系统：舆情数据采集子系统、舆情数据处理子系统、舆情分析子系统、舆情门户应用子系统。1） 舆情数据采集子系统舆情数据采集子系统的数据采集对象主要是互联网网站和网页，数据源主要有两种，一是通过指定范围的网站对其进行抓取采集，另一种是通过baidu、google等进行全网的数据采集监控。在数据采集过程中，包含了对于正文内容的自动识别、文章去重与相似度分析、自动生成摘要和关键词等多项中文语言处理技术。此外，数据采集子系统还能够针对网页中的图片、文档资源文件进行采集下载，具有生成网页图片和快照、实现网站自动登录、利用代理服务器下载、JS自动识别判断、分布式采集等多项功能。 2) 舆情数据处理子系统 舆情数据处理子系统主要是针对采集子系统采集的数据进行整理、处理。主要功能包括： 舆情数据管理：包括对于数据的整理、编辑、删除、新增等维护工作。 门户信息配置：系统可以自动生成前端门户平台的信息，管理员也可以通过后台配置将需要重点呈现的信息置于门户中去，同时，管理员也可以对门户的一些频道、热词、专题进行管理和设置。 简报管理模块：通过设置舆情简报模版，可以按天、按月、自动生成舆情简报，也可以手动选择信息生成简报，同时对于已生成的简报提供可视化的编辑界面。 3) 舆情分析子系统 舆情分析子系统功能分为统计和分析两部分。 统计主要是对于舆情内容的统计，信息站点分布统计、时间统计、具有折线图、柱状图、饼图多种表现方式。 舆情分析功能包括，自动聚类、热词发现；正负面信息研判；事件发展趋势分析；热点人名、地名分析； 4) 舆情门户应用子系统 舆情门户应用子系统是根据客户的行业特点与行业需求，定制的一个舆情展示、呈现平台，通过该平台可以将舆情系统中收集到的信息、分析结果、生成的简报、以图文方式进行展现，提供给用户和各级领导浏览、下载。功能及特点：(1)核心技术A.信息雷达B.网页块分析正文抽取C.自动分类，聚类D.支持多种检索语法E.信息指纹去重F.多语言，编码格式自动识别G.分布式系统、支持亿级数据检索H.智能摘要、关键字提取技术(2)功能列表A.信息雷达通过网络雷达系统，可以自己定义需要关注和监控的网站、栏目、或某段IP地址，作为采集源，并可以按照行业或分类进行管理。在菜单中也可以配置监控网站的优先级，刷新速率，监控深度等设置。在进入监控状态时，系统会自动执行雷达指令，对需要监控的网站或网址进行扫描，对于未更新的页面会自动跳过。 B.自动聚类、分类自动聚类、分类功能，可以将雷达采集的信息进行二次处理，帮助用户对数据进行整理，系统支持人工分类，也支持基于统计模型的自动分类。 C.监控管理用户可以自行设置监控的词语或语句，并可根据词语分类，例如：国际、军事、政治等。并可以设置发现敏感词汇的处理方式，以email或短信方式实时提醒。保留原始网页快照以备追踪热点信息、热门话题自动发现。文本关联分析，根据文本相似度计算，找到相似的文本和内容，根据发布的时间和IP，可以追踪到内容的传播过程和途径。 D.统计分析分布统计：通过图表展示监控词汇和时间的分布关系以及趋势分析，包括地域信息分布。热点统计：根据时间统计热点的分类和热门关键词，包括地域信息分布。热点云图：以形象的图形展示热点信息预警信息：对于敏感信息重点监控信息报告：智能生成信息报告，支持报告导出功能。 E.多用户和分级支持多用户管理，不同用户可以设置不同的监控源以及监控词汇，分类等信息。对于存在上下级关系的用户，支持报表的分级汇总及上报。 (3)特点A.海量数据处理本产品采用的搜索引擎核心技术，可处理亿级数据，TB级的数据检索可在毫秒内完成，结合分布式技术，不用担心因为数据的增长而产生的性能降低。B.高效率实时监控每天的监控页面在100万以上，单页面监控可在几秒钟以内完成。C.操作简易采用完全Web端网页管理方式，不需要安装额外插件，界面操作简单易用，普通人员经过简单培训即可。D.多数据库支持支持各种主流数据库，如MSSQL、Access、MySQL、Oracle、DB2、Sybase等。E.开放式API提供标准XML接口，提供多种API调用，支持JAVA,ASP.NET,PHP等多语言二次开发。系统架构B/S(Browser/Server)模式，后台+前台：后台进行数据采集、监控设置、门户管理、信息管理等；后台设置好之后，所有的数据都会自动推送到前台网站，供需要的人调