【社交内容网络建模及放置体系设计9700字（论文）】

PAGEPAGE5社交内容网络建模及放置体系设计TOC\o"1-4"\h\z29030目录 6181101绪言 8154211.1研究背景 8236431.2研究意义 857881.3研究现状 86982相关技术支持 9280822.1基于内容中心的建模方法 9243242.1.1方法介绍 9296502.1.2数据清洗 10155622.1.3内容传播规律挖掘 10180932.2基于内容的热点事件构建过程 10189022.2.1构建方式 10301042.2.2推文分词处理 1185742.2.3停用词字典构建 12145783基于内容观点分类的模型构建 12139693.1BERT-CNN模型 12290413.1.1模型理论 12262533.1.2模型结构 1349113.2内容关系网络建模 14127563.2.1转发关系统计 14202173.2.2关键词关系统计 1562104社交内容网络建模及放置体系设计 16303154.1系统需求分析 1664844.1.1需求分析 16302374.1.2系统可行性分析 17220514.2整体架构设计 17159034.3数据库设计 19277644.3.1ER图设计 19295144.3.2数据库表设计 1969724.4系统功能详细设计 21225824.4.1数据导入模块 2110914.4.2数据可视化模块 2248284.4.3数据查询模块 23153004.4.4前端页面模块 23235844.5系统测试 2377494.5.1测试环境 23206984.5.2测试用例 24261095结语 251143参考文献 271绪言1.1研究背景随着互联网的不断发展，随之蓬勃发展的社交网络平台改变了人们习惯的社交模式，用户可通过互联网在社交网络平台进行信息交流。根据我国最近的报道，2020年9月29日中国互联网络信息中心发布的第46次《中国互联网络发展状况统计报告》四统计显示，截至2021年12月，我国网民规模达9.40亿，较2020年增长3625万，互联网普及率达67.0%，较2020年提升2.5个百分点。在网络世界中，用户既可以在社交平台上浏览感兴趣的内容，也可以表达和交流观点，通过关注、加好友等方式开展网络社交。网络社交行为反映了人类本身的行为，且包含着人与人之间复杂的联系。每一个在网络冲浪的人都作为社交网络的一部分，网络上人与人之间的关系构成了社交网络关系，社交网络在信息传播交流中起了至关重要的作用。由于社交网络信息传播的便捷性，每个人都参与热点话题，拥有相同兴趣爱好的人更容易聚集在一起，可对热点事件进行分析，挖掘参与者的爱好，可做针对性的个性化推荐、社区发现等。基于上述背景，本文内容中心网络建模与内容放置问题为主题做出分析，研制一个交互式可视化系统，将分析结果做出展示。1.2研究意义当今社交网络平台作为人们社交的主要场所，用户在网络平台对个人观点进行表达和讨论，国内外的社交平台如推特、脸书、微博、贴吧等，都为信息传播和扩散的重要场所，海量的社交数据包含着巨大的价值。研究社交网络中内容之间的关系，有助于深入认识事件在信息传播过程中内容是如何发生变化，哪些内容更容易被个体接纳与传播，受关注的内容之间是否存在某种联系及规律，通过发现热点事件及衍生事物，更容易了解到日前的流行趋势，可对用户做出具有针对性的个性化推荐，以提高商品转化率，减少企业货物积压成本等，也可对用户社交行为做出分析，分析关注某一事件的用户群体拥有哪些共同特点或爱好，可对性格分析和职业预测等提供数据支持。1.3研究现状用户作为社交网络中信息传播的主体，在社交平台可参与感兴趣的话题，发表观点与言论，对这些内容分析研究可得内容关系网络。通过提取内容网络中的热点事件，可以对当前环境下的舆情进行预判。因此，对内容关系的研究逐渐演化为对舆情的研究，故以下介绍有关舆情的研究近况。近年来，以推特为首的各大社交平台纷纷成为了公众发布、传播舆情，参与舆情讨论的最主要渠道之一。由于推特信息发布的门槛极低，并且互联网公司常常不对内容加以严格的审核与判定，因此推特门户已经成为了快速传播网络舆情的重要途径。网络舆情的时效性和广泛性使其在交通工程领域的事故报告、违法举报、问题发现等方面均有广阔的应用空间。Kwak等讨论了Twitter作为一种社交网络或者是一种新闻媒介对世界的影响；Arun等人对舆情分析所用的几种机器学习方法做了介绍，为后人研究提供的思路。Nasim等提出了一种基于马尔科夫链的情绪分析方法，用于预测乌尔都语推文的情绪，开发了一个大型的乌尔都语推文标签语料库，用于情绪分析。Madani等人提出一种基于词库的敏感词网络方法，根据推文的观点态度将推文分为不同类别。Carosia综合运用SVM于最大熵及多层感知器对群众情绪与股市走势进行了分析。Rajini运用NLP和n-gram词干算法识别推文情感，对事件做出分析。2相关技术支持2.1基于内容中心的建模方法2.1.1方法介绍内容中心建模方法首先对推文数据进行清洗，将原始数据处理成便于读取操作的格式，从数据集中挖掘被转发推文与转发推文之间的关系，将转发关系计数统计，对统计结果中的原推文进行关键字及摘要生成，最终将结果可视化展示。内容演化及方法传播具体操作流程如下图所示。图1内容传播规律流程图2.1.2数据清洗数据清洗过程方法如下：(1)将原创推文过滤掉，只保留转发推文，转发推文中带有被转发推文id。(2)构造一个<英文月份，数字月份>的哈希表，可较快的将推文日期格式车换为统一的YYY-MM-dd格式，以天为单位对推文进行时间分类。原始数据日期格式如下：SatSep2819:23:07+00002021转换后格式如下：2021-09-282.1.3内容传播规律挖掘遍历数据集，构造一个<区>的哈希表，飞为被转发推文i,V为转发推文数组，遍历完成后对结果进行筛选，通过判断转发推文数组的长度可统计原推文被转发次数，将转发次数较少的推文过滤，实验中采用40为过滤数值，转发数低于40的推文不做可视化展示。2.2基于内容的热点事件构建过程2.2.1构建方式热点事件的发现方法包括以下操作步骤，首先对数据集做数据清洗，过滤掉无效数据，再使用Jiba分词对推文内容进行处理，通过停用词字典对分词结果过滤，然后按天统计词语的出现频率，选取一个数值作为热点值，过滤掉当天词语的最大热度低于此热点值的数据，经筛选后的数据作为最终结果。具体算法流程如下图所示：图2热点事件发现流程图2.2.2推文分词处理数据输入为清洗后的推文文本内容，使用Jiba分词中的分词算法进行分词，所采用的分词模式为精确模式。Jiba分词的中文词扫描功能主要靠前缀词典数据结构实现，并应用动态规划算法查找最大概率路径，将输入文本中的可能成词的汉字构造为一个有向无环图，使用词频作为图最大切分组合依据，应用MMB模型与Viterbi算法发现未登录词，支持四种分词模式：(1)精确模式，将输入文本尽可能精准地切开，适用于文本分析；(2)全模式，将输入文本中可能组合成词的结果全识别出来，运行速度快，分词结果可能出现歧义词；(3)搜索引擎模式，将输入文本尽可能精确地切分，对包含字数较多的词语再次切分，适用于搜索引擎检索关键词的生成。(4)paddle模式，通过百度开源的PaddlePaddle[4o深度学习核心框架，训练序列标注（双向GRU)网络模型实现分词。同时支持词性识别。主要功能包含文本分词、自定义词典添加、提取关键词、词性识别、多线程分词等。2.2.3停用词字典构建每条推文内容均包含一段完整的文本，文本可以为篇章、段落或者句子，句子可分为陈述句、疑问句、感叹句等，因此推文内容包含大量的连接词、语气词、代词等，分词结果中的高频词汇也会包含上述类别的词语，为热点事件的发现增长障碍，通过构造停用词字典过滤掉无效高频词，使结果准确性得以提高，字典构造方法如下：(1)网上查找通用的停用词字典，作为字典的基础，其中包含各种代词与转折词，例如：我们、你们、因为、所以等无关词语。(2)随机选取2000条推文基于已有停用词字典对分词结果进行过滤，统计词频数并按由大到小的顺序排列，将总词频数大于30的不相关的名词、形容词、不明意义的词语添加至停用词字典。(3)重复步骤2，直至新的统计结果TOP20的词语不包含形容词与不相关名词，完成停用词字典的构建，最终使用此字典对第2.2.3节的分词结果进行过滤。3基于内容观点分类的模型构建在社交平台的各种热点话题中，用户的博文及评论体现个人观点倾向，有效的识别文本内容中所包含的观点态度并做出正确的分类，对网络环境乃至社会都有重大意义。本文第二章中基于内容挖掘了热点事件，由于参与者较多，无法从宏观角度得到事件所有参与者的观点态度，不便于做出分析与决策。为了解决上述问题，本章提出了基于BERT-CNN的观点分类模型，在真实数据集上对事件参与者的观点做出分类，并应用至下一章的内容关系网络。3.1BERT-CNN模型3.1.1模型理论BERT来自Google的论文Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding。BERT、GPT、ELMO的模型结构如图3-1所示，其中E，E2，…，E，表示文本中单个字符的输入，T1，T2，…，T为对应字符的向量表示，文本内容到向量的转换依靠Transformer层完成。对比可以发现，GPT中的Transformer为单向结构，从左到右扫描信息只能单向传递。而在ELMO中使用双向多层LSTM，可更好地学习到文本内容的上下文信息，由于LSTM需串行运行，所需训练时间较长。BERT综合了两个模型的优点，使用双向Transformer，运行效率比LSTM高效，还可以很好地习得前后两个方向的文本信息。图3BERT、GPT、ELMO对比图3.1.2模型结构本文将BERT作为词嵌入层，选取CNN作为分类模型，模型结构如下图所示。图4BERT-CNN模型图（1）词嵌入层与Word2vec相比，BERT可以更好地学习词语的上下文信息。为BERT选择适当的超参数展开训练，训练好的模型可将输入文本中的每个token转换为768维的词向量，文本最大长度设置为35，因此词嵌入层将得到一个35*768的矩阵。（2）卷积层为了更好地提取文本局部特征。组合BERT与CNN模型。CNN卷积层选择三种不同的卷积核，大小分别为2、3、4，每种卷积核数量均为256，将词嵌入层的输出作为卷积层输入，经过卷积处理后，大小为2、3、4的卷积核分别得到256个34、33、32维的特征向量。（3）池化层池化层也叫做下采样层，可对卷积后的数据做降维处理，防止过拟合。池化操作通常分为最大池化（max-pooling）和平均池化（average-pooling），最大池化选取区域内最大的值作为该区域特征值，平均池化选取区域内特征的平均值作为该区域特征值，为了更好的体现文本特征的差异性，使模型做出有效分类，本模型选取最大池化法，卷积结果经过池化操作后得到3个256的向量，拼接后得到768*1的向量，在进入全连接层之前，通过dropout技术防止模型过拟合。（4）全连接层将全连接层作为整个卷积神经网络的输出分类器，模型预期输出为支持、中立、反对三者之一。目前常用的分类函数有sigmoid与softmax，sigmoid函数一般用于二分类任务，softmax函数更适合多分类情景，因此将全连接层设置为（768.3）的线性分类器，池化层的结果通过全连接层和softmax函数后即可得到最终的三分类结果。3.2内容关系网络建模内容关系网络建模主要分为三步，首先完成转发关系统计，然后统计关键词关系，上述两种关系作为网络节点之间的内容联系，最后进行内容关系强度计算，完成网络建模。3.2.1转发关系统计转发关系是指用户A发送了一条推文，用户B对此推文进行了转发，A作为被转发者，B作为转发者。数据清洗后，单条推文数据格式如表4-1所示。表1单条推文数据格式id字段为转发者推文id，retweetedstatus.id为被转发者推文id，遍历输入数据，构造一个<key，Array>结构的哈希表，key为被转发推文id，Aray为转发推文id的数组，遍历完成后可得到数据中所有的推文转发关系，可由FORWARD_WEIGHT控制转发关系强度数值。3.2.2关键词关系统计关键词关系∶推文A与推文B的文本内容在分词处理后，得到词集合U。与U，当关键词x∈U。同时xEU，则表示推文A与推文B之间拥有关键词x的关系。在得到聚类结果后的某一类推文集合中，对此类包含的所有推文内容使用TextRank算法处理，只保留普通名词，可以得到单条推文内所包含的词语，由于分词后会出现很多词语，词语的关键程度也有区别，为减少无关的关键词关系，再次筛选关键词所占权重大于MINWEIGHT（自行编码实现，可指定数值，本实验中选用的词语作为关键词，可得到单条推文内容中的关键词集合。基于倒排索引的思想，将<推文id，关键词集合>的对应关系映射为<关键词，推文id集合>的关系，由于内容关系是推文与推文之间的关系，单条推文无法构成内容关系，所以对推文id集合长度为1的关键词做过滤处理，过滤后可得到拥有相同关键词关系的推文id集合。4社交内容网络建模及放置体系设计4.1系统需求分析4.1.1需求分析根据研究课题的指标，主要围绕对推特用户、推文、推文聚类分析后等信息进行可视化展示，综合分析，得出如下功能需求：(1)通过点和簇的形式，对个体以及群体进行可视化展示用户和推文均以文本信息的形式存放至数据库，为了更好的展示以上内容，将每个用户个体抽象为一个点，每个点都包含个人信息，用户与用户之间的关系依靠点与点之间的连线表示，用户群体经可视化后以簇的结构呈现，可视化页面需包含交互功能，可通过节点查看用户详细信息。(2)热点话题可视化展示针对某具体话题，以可视化图像的形式展示该话题的生命周期，进而发现话题下的热点事件，能从宏观角度把握话题下相关事件的发展脉络。(3)内容关系可视化展示以可视化图像的方式展现不同推文之间的联系，能从可视化图像直观得出推文与推文之间的内容关系，进而发现影响力较大的推文及用户。(4)个体和群体社会关系可视化社交关系包括好友关系、推文转发以及评论关系，为了更加直观的查看推特用户个体的社交关系情况，将推特用户个体的好友关系、推文转发关系等进行可视化可视化展示，可视化节点需包含交互功能，可通过节点查看好友详情及推文详情。（5）前端页面需求为方便用户使用，当可视化页面在图像较大、内容较多的情况下，通过平移放缩操作，可以查看局部图像的信息，提供更好的使用体验。前端页面响应时间需在500ms以内。（6）其他功能需求系统设计需要有扩展能力，支持其他话题下的内容可视化。系统需要可靠安全，有效防止XSS攻击及SQL注入。系统需要为实验室中多位同学的实验结果提供可视化接口，将实验结果导入数据库即可完成数据可视化。包括话题分析、动力学预测、群体特征分析等功能模块。4.1.2系统可行性分析（1）经济可行性分析此可视化系统开发所选取的技术大多是开源免费。在整个系统的开发与运行过程中，对电脑性能要求不高，普通的个人电脑可以完成整个开发流程，线下测试的服务器可以在本机的tomcat下测试，后续的线上部署可以使用实验室的服务器，对现有资源进行充分的利用。（2）技术可行性分析实现社交内容关系网络与用户关系网络可视化系统系统，拟采用目前最为主流的Javaweb开发技术作为系统开发技术。Java体系目前较为成熟，有强大的开源组织作为支持，Javaweb后端拥有强大的Spring生态体系，相对技术都较为成熟完善，Mysql是一款开源免费的数据库，此技术搭配目前在许多主流互联网公司都有所应用，因此使用Spring＋SpringMVC+Mybatis+MySQL模式作为后端技术选型。前端候选可视化框架居多，根据所实现的功能进行查阅，发现可视化框架Echarts、Highcharts、D3均可满足此系统的实现，经对比后发现，Highcharts框架使用需要支付额外的费用，故不考虑，D3复杂度高，会减慢页面渲染速度，项目可视化元素较多，遂决定使用Echarts作为可视化框架。与使用原生的HTML、CSS相比，Layui框架在前端布局页面开发更有优势，开发效率更高，学习上手更快，因此将Layui作为前端页面布局框架。（3）风险分析社交数据量达百万条以上，需对数据库做出优化减少检索时间。前端页面渲染关系图元素节点过多的情况下，渲染时间较长，需优化处理。4.2整体架构设计该系统的整体架构方案主要是根据系统的需求、功能、性能等多方面考虑，并参照目前市面上主流公司所使用的架构技术做出对比，开发人员所使用技术栈等因素综合考虑，整体架构设计如下图所示。此系统的整体架构设计采用的是MVC模式，基于Java语言开发，采用开源框架SpringMVC来简化开发，可以让代码层次更加清晰，降低模块与模块之间代码的耦合度，增加系统功能的可扩展性。使用Mvbatis作为持久层框架，减少与数据库连接的JDBC代码，只需要专注于业务SQL语句的编写。数据库使用MySQL，使用基于InnoDB引擎的数据表，通过B+树实现的索引来加快查找效率，可以满足系统对数据查找时间的要求。图5整体架构设计（1）视图层视图层作为整个系统请求的入口，向用户提供前端页面的展示，将前端请求发送至控制层，更方便视图层与控制层之间的数据传输，对控制层返回的查询结果通过Echarts框架中的折线图、关系图、柱状图、饼图等做可视化展示。（2）控制层控制层为视图层提供访问路径接口，通过配置请求路径映射，将请求与方法解耦，在后续功能发生变更或升级时，通过改动更少的代码来达到需求。控制层对前端传递的参数做验证处理，再调服务层接口中的方法，调用结束后对调用结果数据进行包装处理，返回值视图层。（3）服务层服务层均为接口类，当接口类声明的方法被控制层调用后，通过spring框架会将请求传递至对应的接口实现类中，实现类中的方法可以与数据层通信，对数据表进行增删改查操作，将操作结果返回给控制层。（4）数据持久层通过使用Mybatis框架，避免了通过代码管理数据库连接，Mybatis统一封装了对JDBC的连接释放操作，基于注解的方式可以对接口声明的方法进行SQL语句编写，使用过程中可直接调用对应接口，无需创建对应的实现类。（5）数据层整个系统所有的数据均存储在数据层，包括推特用户个人信息、推文信息、以及基于原始信息进行分析处理后的衍生信息。4.3数据库设计4.3.1ER图设计由于实体属性较多，在此只通过ER图展示部分属性，详细内容在数据表设计章节中做了介绍，如下图所示。图6E-R图设计4.3.2数据库表设计系统功能实现所需关键数据库表结构设计如下所示。表2用户表字段名称字段类型是否为空字段描述user_idVarchar(20)NO主键，推特用户记user_nameVarchar(20)YES用户名locationVarchar(20)YES用户所在位置fan.s_nuinInt(12)NO用户粉丝数friend_nmnInt(12)NO用户好友数Registei_timeVarchar(30)NO用户注册时间upvotenuniInt(12)NO用户总点赞数isVerifiedVarchar(8)NO是否为认证用户tweet_numInt(12)NO用户所发推文数max_fbrwardInt(12)NO用户推文最大转发数miii_for\vardInt(12)NO用户推文最小转发数max_upvoteInt(12)NO用户推文最大点赞数niin_upvoteInt(12)NO用户推文最小点赞数niax_tweet_lenInt(12)NO最长推文长度mm_tweet_lenInt(12)NO最短推文长度charactersVarchar(24)YES用户特征表3推文态度表字段名称字段类型是否为空字段描述idInt(12)NO主键记，自增长user_idVaichar(20)NO用户idtweet_idVarchar(20)NO用户所发推文记class_nmnIiit(8)NO用户所在分类week_nuniInt(8)NO话题第几周topicVarchar(20)NO话题attitudeVarchar(8)NO用户态度，支持、中立、反对表4好友表字段名称字段类型是否为空字段描述idNO主键id,自增长iiser_idIiit(20)NO用户idfolloweridIiit(20)NO粉丝id表5观点表字段名称字段类型是否为空字段描述idInt(12)NO主键id,自增长weekInt(8)NO第几周数据topicVarchar(20)NO某话题classnuniInt(8)NO第几类人群contentVarchar(100)NO观点内容4.4系统功能详细设计根据系统的需求和初步的调研，将系统的功能分为数据导入模块、数据查询模块、数据可视化模块，以下内容详细介绍了各个模块的设计。4.4.1数据导入模块目前需求只需要对某些话题进行可视化展示，考虑到后期需求可能发生变动，因此为使用者提供一个数据导入接口，根据约定的数据格式，可以通过浏览器将数据以文件的方式成批导入数据库，进行持久化存储，从而可对已导入数据可视化处理。相关类图如下图所示。图7相关类图4.4.2数据可视化模块在数据可视化模块，主要功能有热点事件发现可视化、内容关系网络可视化、社交关系可视化、话题分析可视化、群体特征可视化、观点预测可视化。热点事件发现可视化功能根据选择的话题给出事件发展趋势图，由折线图和饼状图构成。折线图从宏观上展示了事件的发展脉络，饼状图可展示具体日期用户所感兴趣的关键词。呈现效果如第二章实验结果所示。内容关系网络可视化功能可对某时间段内的推文做出分析，以力导图的方式展示推文之间关系，通过图像可直观得出推文内容之间的联系，进而找到影响力较大的推文。社交关系可视化由推文转发可视化和好友关系可视化两部分构成，推文转发即查看推文的转发情况，以网络图的形式可视化推文之间的转发关系。好友关系即查看用户的粉丝及关注信息，以网络图的形式可视化用户之间的社交关系，在前端页面提供交互式操作，可通过单击推文节点或用户节点进行详细信息查询。话题分析可视化功能支持以周为单位的话题分析，分析查询时间段内具体话题的推文内容并通过力导图、饼图、柱状图等方式展示分析结果，前端可视化页面提供交互式操作。群体特征可视化功能可查看在某个话题各人群所拥有的共同特征，通过树图进行展示。观点预测功能对基于动力学对某话题分析后的结果进行可视化展示，可查看未来两周某话题下人群态度的预测结果。当DataVisualController收到来自前端与可视化功能相关的请求时，通过映射器解析请求路径后缀映射至所请求的具体方法。社交关系可视化包含推文转发可视化与好友关系可视化，推文转发可视化功能由getUserTweets方法实现，方法内部调用TweetService实现类的getForwardRelations方法，将推文转发记录结果返回给前端页面。好友关系可视化功能由userFriendsGraph方法实现，通过调用UserService实现类的getUserFriends方法，可将好友的全部粉丝信息返回至前端页面。4.4.3数据查询模块数据查询模块，按功能可分为个人信息查询、推文查询、和全部信息查询。个人信息查询即查看某用户id的详细个人信息，推文查询即查询某用户id所发送的所有推文，全部信息查询即查询全部用户信息。4.4.4前端页面模块前端模块需要交互式可视化页面，需要为可视化元素增加交互功能，可视化图形需要四种以上，前端响应时间需在500s以内，以下部分为部分前端模块的设计。前端页面采用模块的形式，便于页面的更改与设置，将页面上方与页面左方的导航栏进行抽取，在其他页面引入复用，便于页面格式的统一，页面布局发生变动时，只需要改动单一模块即可。目录结构及代码如下图所示：header.isp与leftscrol1jsp为页面上方标题与左侧导航栏模块，可通过引入的方式将模块嵌入至其他页面。图8页面目录生成4.5系统测试4.5.1测试环境Java为跨平台语言，Java程序在VM虚拟机上运行，测试选择在windows环境下进行测试，测试结果应与在Lx环境下一致，系统测试环境版本及说明如下表所示。表6测试环境说明表名称版本 备注Windows系统10 64位Mysql8.0.18 无Tomcat8547 无Jdk1.8 1.8及以上Chiome86.0.4240.75 无4.5.2测试用例通过编写测试用例对系统进行功能测试，各功能模块的测试用例具体内容如下表所示。表7数据导入模块测试用例测试编号测试步骤预期结果测试结果1在文件上传页面点击上传，文件传输框中选择csv格式文件点击确定没有错误文件类型提示与预期结果相同2在文件上传页面点击上传，文件传输框中选择PNG格式文件点击确定提示文件类型不符合要求与预期结果相同3选择符合格式要求的csv文件，在文件上传页面点击上传数据上传成功与预期结果相同4选择不符合格式要求的csv文件，在文件上传页面点击上传提示文件格式不符合要求，数据上传失败与预期结果相同表8数据査询模块测试用例测试编号测试步骤预期结果测试结果1在个人信息查询页面，输入数据库以存储的用户id,点击査询可展示査询用户id的详细信息与预期结果相同2在个人信息査询页面，输入数据库未存储的用户点击査询提示该用户id不存在与预期结果相同表9异常测试用例测试编号 测试步骤预期结果测试结果1 手动输入错误请求路径，如正确路径为dataVisual/user,输入为dataVisual/userq跳转至界面友好的404错误页面与预期结果相