网络舆情概论（微课版）电子教案

《网络舆情概论》（微课版）教案PAGEPAGE１３第3章网络舆情监测教学内容网络舆情监测的定义网络舆情监测的关键技术网络舆情监测的代表性工具网络舆情监测的实施步骤教学要求理解网络舆情监测的定义。掌握网络舆情监测的基本流程。了解网络舆情监测的关键技术教学重点1.网络舆情监测的关键技术2.网络舆情监测的实施步骤教学难点1.网络舆情监测的关键指标2.网络舆情监测的基本流程教学方法讲授法、案例法、演示法课时数1课时课程导入：伴随着互联网的飞速发展，舆情发展的阵地也逐渐向网络空间转移。构建风清气正的网络环境离不开网络舆情监测。网络舆情监测既能够进行信息的采集和清理，也能够对后续的网络舆情分析起到重要作用，具有外部接口的重要功能。通过网络舆情监测，了解网络舆情的发展脉络，对于疏导网络舆情具有重要的作用。本章旨在通过梳理网络舆情监测的定义、基本功能等，讲述网络舆情监测的关键技术、代表性工具和实施步骤。网络舆情监测通过对某一主题相关数据的实时抓取、剔除和分析，对网络舆情的现状、发生的原因、趋势等进行观察、梳理和判断，形成不同形式的报告、图表等分析结果，以满足掌握网络舆情和新闻追踪等信息需求的活动，对网络舆情进行动态式的观察。3.1网络舆情监测概述自互联网媒体在中国兴起以来，民众的网络话语表达能力得以加强，社会矛盾开始聚焦到网络上，在这个背景下，网络舆情监测显得尤为重要。目前，网络舆情监测存在着人员匮乏、系统落后、技术手段未及时更新等一系列的问题，网络舆情监测还有很大的发展空间。3.1.1网络舆情监测的定义网络舆情监测是搜索引擎技术发展到一定阶段的产物。它通过对相关主题某相关数据的抓取分析，并对网络舆情的现状、原因、趋势等进行观察、梳理和判断，形成不同形式的报告、图表等分析结果，以满足掌握网络舆情和追踪新闻等的信息需求，对网络舆情进行动态式观察。随着网络舆情监测更加具有个性化和实用性，网络舆情监测的行业规模也越来越大。1．以软件开发公司为主的监测机构以软件开发公司为主的监测机构利用其软件设计优势，开发舆情监测系统，其主要目的是推广监测系统，同时提供粗浅的监测和公关解决方案。比如，清博舆情、蚂蚁工坊、百度指数等。2．以主流媒体为主的监测机构以主流媒体为主的监测机构是主要的监测机构，也是我国发展较早和较成熟的监测机构，如人民网舆情监测室、新华网网络舆情监测分析中心等。以人民网舆情监测室为代表，2008年7月人民网舆情监测室正式成立。人民网舆情监测室依托其雄厚的新闻基础，优秀的新闻人才，依托人民网舆情监测平台、中文报刊监测系统进行网络舆情监测，同时辅以公众搜索引擎。人民网舆情监测室尤其重视搜索引擎的舆情监测，在搜索引擎解决不了的区域补充人工监测，高效收集网络舆情信息。3．以高校和研究机构为主的监测机构中国人民大学舆论研究所、中国传媒大学网络舆情（口碑）研究所、上海交通大学舆情研究实验室是典型的以高校和研究机构为主的监测机构。这些监测机构在丰厚的学术底蕴的基础上，开始网络舆情监测服务，在网络舆情数据分析的基础上进行学理分析。在这个过程中，监测机构也收获了学术成果。例如，中国人民大学舆论研究所发布的《中国社会舆情年度报告》、上海交通大学舆情研究实验室发布的《中国社会舆情与危机管理报告》等，从网络舆情的角度关注并解释社会经济文化发展态势，其数据具有普遍的公信力，既在社会上产生了较大影响，也为其他学者进行学术研究提供了数据依据。4．以各级政府部门、企事业单位为主的监测机构网络舆情的影响力加强引起了社会各方对网络舆情的重视。以各级政府部门、企事业单位为主成立的舆情监测机构以期通过网络加强了解公众对本部门、本行业的意见和建议，减少网络负面舆论对自身的影响。目前，随着社交媒体时代的到来，网络舆情往往具有及时性、复杂性、反转性等多方面的特点，给网络舆情监测带来了前所未有的挑战。在这个基础上，网络舆情监测也在技术上不断进步，如大数据和人工智能技术的应用使网络舆情监测的精准性和及时性大幅提高。尽管技术不断进步，网络舆情监测也有其不可动摇的底线，在网络舆情事件中发挥着其独特的功能。3.1.2网络舆情监测的基本流程网络舆情监测是一个完整的流程，通过信息的采集，获取采集后产生的效果，并不断调整引导策略，达到化解公共危机、稳定舆情的效果。早期的网络舆情监测主要是针对网页的简单交互设计的。网络舆情监测的流程大致是通过相关样本库，把需要监测的网页进行模板匹配，并设定为监测数据源；应用爬虫程序抓取数据，存储到本地，再进行数据的净化和简略的分析；利用简单的图表模板和文字描述，呈现监测和分析的结果。1．选题并确定舆情信息源网络舆情监测的选题需要在建立了选题标准的情况下，从新闻事件、公众话题、热点现象等多方面入手确定。一般来说，选题取决于网络舆情监测工作所服务的对象的需求。以政务网络舆情为例，网络舆情监测就需要在考虑政府工作职权范围、决策调整优化空间、是否涉及公众利益等问题的基础上进行选题。2．明确舆情监测指标根据网络舆情的发展情况对网络舆情指标体系予以明确，是网络舆情监测的重要环节。网络舆情监测指标根据网络舆情事件的不同会存在一定的差异。现有的网络舆情监测与预警指标体系分别从传播学、公共管理以及信息科学等角度对网络舆情的传播特性、主题特征、内容价值等内容进行了揭示，提炼出了网络舆情的大部分监测点。3．舆情的分析与处理在舆情的分析与处理阶段，第一，要对收集的舆情进行预处理，对不规范的数据进行整合，对不完整的数据进行清理，简化数据的难度。第二，为预处理后的数据选择合适的分析工具，应用统计方法、事例推理、决策树等方法进行处理，得出分析结果。4．舆情引导舆情引导是指辅助完成引导信息的主题策划和内容策划，制作认知域的信息，利用社交网络、论坛、博客及微博等渠道完成信息投送。舆情监测是手段，舆情引导是目标。通过舆情监测，将生成的结果以可视化的形式通过多种途径传播，以达到良好的舆情引导效果，提升舆情引导的传播力，是舆情监测的最终一环。目前舆情监测可以通过H5、舆情简报、手机短信、电子邮件等多种形式进行传播，最终达到精准传播的效果。3.2网络舆情监测的关键技术在网络舆情监测中，面对海量的网络信息，必须借助于信息技术来实现网络舆情监测的自动化和智能化。于是，各种网络舆情监测系统应运而生。3.2.1网络舆情监测的关键指标网络舆情监测指标体系是进行网络舆情整体态势分析的基础。不同学科背景的学者结合舆情基础理论和社会实践经验构建了网络舆情监测指标体系，用以衡量网络舆情的强度、热度和破坏性。当前，基于不同的目标对象，针对不同危机事件的网络舆情监测指标体系研究已经取得了重要的进展。本书基于宏观目标，将指标整合为“舆情传播者指标”“舆情传播媒介指标”以及“舆情受众指标”3个方面的内容。3.2.2网络舆情监测的信息采集技术网络舆情的信息来源于互联网中各种网络媒体、信息交流平台发布的网页信息，其中包括网络新闻、微博、论坛帖子等，尤其是微博、网络论坛等交互式网络平台，是网络舆情的主要来源地。因此，在网络舆情监测中，首先需要使用网络信息采集工具自动搜索和采集主要网络媒体发布的信息，为网络舆情监测提取数据资源，网络舆情监测的效果在很大程度上取决于信息搜索和采集的质量。网络舆情监测的信息采集技术包括网络爬虫技术、垂直元搜索采集技术、分布式蜘蛛技术等。1．网络爬虫技术网络爬虫技术主要利用网页中的超文本链接进行访问，然后搜集互联网上的各种信息。通常，网络爬虫访问始于一个事先制作好的列表，该列表一般可从以往的访问记录中提取而来。然后，网络爬虫对照该列表提取记录，由一个网页到另一个网页，直到没有新的网页。网络爬虫在访问一个网页之后，主要会在对网页内容进行分析的前提下，抽取和产生新的关键词，并将其加入“列表”之中。同时，网络爬虫也会将提取的网页归置于数据库之中。网络爬虫所提取的信息可以被搜索引擎用于构建索引数据库，进而网页中含有的超链接将被网络爬虫当作新网页进行访问。这样一来，反复进行整个过程，信息就能得以收集。2．垂直元搜索采集技术从本质上来讲，元搜索是一种搜索引擎的集成。元搜索引擎自身并不采集文档，也不存在索引，它主要是以下层多个搜索引擎提供的服务为基础来提供统一的检索服务。面对一个查询，元搜索引擎按照相应格式将其进行转化后，将这一查询分派至下层引擎。在这一过程中，元搜索引擎会参考成员搜索引擎的参数进行调度和选择。最后，元搜索引擎对多个搜索引擎返回的结果加以整合，统一输出，依照权重大小有序地呈现出最终结果。百度和谷歌就是元搜索引擎的主要代表。元搜索引擎大大改善了检索质量。通过以上分析可知，元搜索引擎是在多个成员搜索引擎的基础上进行工作的，因此扩大了搜索的覆盖面，并提高了搜索效率，使得元搜索可以实现个性化搜索。元搜索引擎主要由显示模块、检索模块、搜索请求模块3部分构成。显示模块是搜索系统的首页，其功能类似于普通搜索引擎的首页，为用户提供一种简单的、易操作的搜索界面，常常包含搜索框、设置、登录等功能，方便用户进行搜索设置。检索模块的功能在于帮助元搜索引擎二次处理各成员搜索引擎反馈的结果，并将二次处理结果传送至显示模块。搜索请求模块的功能主要体现在组合完成用户搜索请求和制订成员搜索引擎的搜索规则。它可以直接向各个互不相连的搜索引擎传送搜索请求，然后借助预处理机制，集合所获取的各成员搜索引擎返回的搜索结果。3．分布式蜘蛛技术除此之外，还有一些其他的技术同样具有网络舆情监测中的信息采集能力，如分布式蜘蛛技术能够实现对海量舆情数据的提取。分布式蜘蛛技术采用分布式多线程并发指令执行体系结构、增量实时索引、智能分词等先进技术，基于爬虫机制，对Web页面信息进行智能识别和资源抓取，能够实现网页排重、垃圾过滤等预处理，分页内容自动合并，动态信息增量采集。另外，分布式蜘蛛技术依托云计算平台，建立有效的采网络舆情概论集调度规则，采用自适应带宽设计，能够实现多个网站同时并发访问，实现多点负载均衡的效果，从而提高信息采集的效率和性能。采用分布式蜘蛛技术能够提高信息采集的并发性。在采集信息时，因为数据量大，系统容易出现任务“死锁”等“假死”状况。采用分布式蜘蛛技术能够让两条或多条指令并行执行，同时处理多个任务。这样做既可以提高运算速率，也可以保证系统稳定性。4．生成式人工智能辅助采集技术生成式人工智能辅助采集技术通过深度学习模型，能够智能理解和识别网络内容的语义特征，从而实现更加精准和高效的信息采集。该技术主要利用大语言模型的自然语言处理能力，对采集到的非结构化文本数据进行智能解析和分类。与传统采集技术相比，生成式人工智能能够自动识别网页中的关键信息区域，过滤掉广告、导航栏等无关内容，准确提取正文、评论、转发等核心舆情数据。同时，该技术还可以根据特定的舆情监测需求，自动生成个性化的采集规则和策略，动态调整采集范围和频率。3.2.3网络舆情监测的数据分析技术网络舆情分析建立在网络舆情监测的基础之上。网络舆情分析运用科学的网络舆情研判方法，对网络舆情的特点、规律等进行分析，并对网络舆情未来的走势进行预测，为舆情的应对和引导提出意见或建议。对网络舆情进行分析研判，离不开数据分析技术的支持，数据分析技术能够帮助我们深入了解网络舆情信息传播的特点、规律和趋势，有助于网络舆情的应对、引导以及相关实际工作的开展。相关数据分析技术主要包括舆情分类、文本表示与主题发现、网络舆情意见挖掘和观点分析。3.2.4网络舆情监测的数据可视化技术数据可视化（DataVisualization）是研究数据和信息的视觉呈现的学科。它一方面解决如何将冰冷枯燥的数据和信息用有趣直观的方式呈现给受众，另一方面进行视觉分析，帮助人们理解大量的、复杂的数据背后隐藏的故事。它是将计算机科学领域的理性逻辑思维与艺术设计领域的视觉传达思维相结合的一个学科。3.3网络舆情监测的代表性工具网络舆情监测能为用户全面掌握受众思想动态、做出正确的舆论引导，提供分析依据。做好网络舆情监测能发挥舆论引导的作用，及时准确地将采集、整理、分析出来的有价值的信息提供给决策层，这也是监测机构的职责所在。目前网络舆情监测系统可以分为新闻舆情监测系统、博客舆情监测系统、社交舆情监测系统、全网舆情监测系统等。3.3.1新闻舆情监测系统新闻舆情监测系统指的是借助大数据工具，通过抓取搜索引擎、微信公众号、微博上的热点新闻，进行网络舆情分析的舆情监测系统。目前新闻舆情监测系统的代表性工具包括“百度指数”和新华网的“舆情在线”。3.3.2社交舆情监测系统社交舆情监测系统主要是指针对当前存在的社交媒体软件进行网络舆情监测。目前广为使用的社交舆情监测系统包括新浪舆情通和清博大数据等。3.3.3全网舆情监测系统与其他舆情监测系统相比，全网舆情监测系统的覆盖范围较广，其优势在于能够对互联网实行24小时的有效舆情监测，目前较有代表性的是识微商情监测系统，可以对突发舆情进行及时预警和监测，同时还能生成具有参考性的舆情报告。3.4网络舆情监测的实施步骤网络舆情监测是一个复杂的过程，需要掌握大量的技术和工具，具体的实施步骤包括关键词设置，网络舆情的覆盖范围及抽样，网络舆情监测的可视化呈现。3.4.1网络舆情监测的关键词设置常见的网络舆情监测的关键词设置方法有按照舆情类型设置、按照舆情监测范围设置。开展网络舆情监测前需要做好根据监测所要达到的目标进行关键词筛选，同时也要根据网络舆情的发展情况对关键词进行不断地重新组合。网络舆情的热点关键词是从热点的文本中摘取出的精要内容或要点，其目的是通过对原文本进行压缩、提炼，为用户提供简明扼要的内容描述。关键词是文本中最重要的部分之一，关键词是单独的词汇。关键词的抽取首先要对文本内出现的候选关键词进行过滤，其次，将候选关键词按照出现次数排序。对于文本内出现次数相同的候选关键词，按照由浅到深的规则进行过滤，这是整个关键词提取工作的核心。最后，通过网络舆情监测工具，得到各个词语的权重并进行排序，最终给出规定个数的关键词。3.4.2网络舆情监测的覆盖范围及抽样借助网络舆情监测工具，网络舆情监测的范围可以扩展至全网，从而实现24小时实时监测。不同的网站其抽样方法也略有不同。以新闻网页为例，新闻网页的舆情监测主要包括新闻报道的标题、出处、发布时间、正文、相关新闻链接等。这是由于该类网页的舆情数据常常是有关突发事件和热点事件的报道，新闻的结构性比较强，抽样类别也较为容易确定。3.4.3网络舆情监测的可视化呈现数据可视化分析对负面舆情事件的意义在事前预测、事中感知以及事后反馈3个大环节上体现出来。事前预测强化了大数据对舆情的预测功能，在舆情没有发生前，提前建立监测方案，起到了防患于未然的作用。事中感知实质上就是舆情正处于发生初期，基于大数