网络论坛舆论的自相似和长相关特性研究

网络论坛舆论的自相似和长相关特性研究

0联网信息发布互联网信息发布是指人们通过终端向互联网下载信息的操作，例如创建网络论坛文章的过程、发表和回复、编辑和发布新闻网站的过程。它是互联网参与热点事件讨论和社会舆论行政的重要方式之一，因此受到政府、企业等领域关注。目前，对网络信息发布的研究主要是从内容角度。例如从新闻传播和社会学角度对议题形成的研究；从自然语言处理角度对话题发现与跟踪的研究等。也有部分从信息发布者的角度进行，例如应用社会网络分析网络虚拟社区信息的传播模式；应用无尺度模型研究网上流言传播特性等。这些都为人们认识互联网的信息传播和舆论形成规律提供了有益帮助。1网络流量自相似特性分形（Fractal）是上世纪七十年代由MandelbrotB.B.提出的一个重要概念。通过对自然界中那些形状各异，看上去极为粗糙、无规律，甚至无法用欧几里得几何进行描述的图像的观察，发现它们都具有一个共同特性，即整体与部分之间的某种自相似性（Self-Similar）。这一概念已被应用到天文、地理、电子、化学、环境及网络安全等领域，例如，上世纪九十年代发现的网络流量自相似特性现已成为监测网络拥塞和木马病毒的重要依据之一。与自相似性紧密相连的是长相关特性（Long-RangeDependence），它表征过程的长时间记忆特性（LongMemory）。由于这两个概念往往成对出现，因此本文将其统称为自相似和长相关特性。R/S方法（又称重标极差法，RescaledRange）是分形理论中的一种分析方法。它主要用于估计Hurst指数。设有一序列{Xt,t=1,2,…,T}，首先将总长度T分为n×k个区间，对可变长度为n的序列，计算累积极差R(n)和标准差S(n)：随着n值的逐步变化，可以计算出相应各子样本的重标极差Qn=R(n)/S(n)。对于具有自相似特性的Xt，当n→∞时，Qn趋向于c·nH，其中c为常数，H为Hurst指数。现已证明，对于不同的Hurst指数H(0<H<1），存在以下情况：(1)H=0.5，说明序列X={Xi,i=1,2,3,…,N}是相互独立、方差有限的随机序列；(2)0.5<H<1，表明该序列具有自相似性，并表现为持续性（Persistence），即未来变化将与过去的变化趋势一致；(3)0<H<0.5，表明该序列具有自相似性，并表现为反持续性（Anti-Persistence），即将来总体趋势与过去相反。2r-s分析信息2.1《新闻网站》本文针对网络论坛和新闻网站这两种互联网主要形式的信息发布行为进行实验。实验数据包括两部分。一部分是某国内大型网络论坛的后台实际数据，一部分是通过网络爬虫抓取的5个有代表性的国内大型新闻网站数据。具体描述如下：数据1（网络论坛数据）：从2002年12月25日到2004年4月20日，共483天3274288条信息。包含主帖，也包含跟帖，且每条数据都含有标题、正文、文章长度、网民ID、网民IP、发帖时间、回复数、点击数、是否主帖等内容。其中，一天发帖量最大达13403条，最小达2063条。共有26812个网民发帖，网民发帖量最大达31652条。数据2（新闻网站数据）：从2008年1月23日到2009年3月30日，5个网站共1842592条信息。其中，网站1、网站3与网站4属于略偏向于娱乐的综合性新闻网站，网站1和网站3的规模较大，网站4的规模适中；网站2与网站5是偏向于时政的综合性新闻网站，其中，网站2为官方新闻机构主办的大型网站，网站5为民间自发组织的中型网站。表1给出了各网站数据的统计信息。2.2实验2:日发帖量数据分析网络论坛信息发布行为主要体现在论坛日发帖量序列和网民发帖量序列。设帖子集合B={b1,b2,…,bi,…,bM}，M为集合大小（即包含主帖也包含回帖）。日发帖量指发帖时间为同一天的帖子的个数。设日发帖量序列X={Xt,t=1,2…,T}，T为总天数，Xt是第t天的发帖量。网民发帖量指由网民ID为同一个的帖子的个数。设网民发帖量序列Y={Yi,i=1,2,…,N}，N为发帖网民的个数，Yi是第i个网民的发帖量，且Y1≥Y2≥…≥YN，即Y序列按照网民发帖量由大到小排列。下面应用R/S方法分别对X、Y序列进行研究。首先以序列X为例。将总长度T分为长度为n的I个子区间，I=[T/n]。子区间长度n为整数，且在[2,T-1区域取值。根据公式（1）计算每个子区间的累积极差Ri(n)和标准差Si(n)，则重标极差在log-log坐标中画出Qn与n的关系，如图1(a)所示。可以看出，日发帖量具有自相似性。用最小二乘法拟和得到直线斜率β=0.8231∈(0.5,1)。同样对序列Y进行处理，可得到如图1(b)所示结果。用最小二乘法拟和得到直线斜率β=0.9617∈(0.5,1)。以上实验结果表明：(1）网络论坛的信息发布行为在时间上具有持续性，即日发帖量的未来变化趋势与历史一致。网络论坛中，我们常发现一个突发事件爆发过后，很容易形成另一突发事件，就是该特性的具体表现之一。(2）网络论坛的信息发布行为在网民分布上也具有持续性。小发帖量网民与大发帖量网民的发帖量变化趋势一致，且持续性较强。这说明普通网民容易跟随高发帖网民的意愿，二者相互驱动，导致了发帖量的暴涨。这里，高发帖网民类似舆论学中的“舆论领袖”。2.3不同网站的持续性比较新闻网站主要通过网络编辑发布信息，由于网络编辑一般不署名因此只能对其单日信息发布量进行研究。设新闻网站的日信息发布量序列为X=Xt,t=1,2,…,T}，T为总天数，Xt是第t天的信息发布量。采用与网络论坛相同方法估计重标极差Qn，并用最小二乘法拟和曲线log(Qn)-log(n)，得到Hurst指数的估计值H（如表2所示）。从表2中可以看出，新闻网站的信息发布行为同样具有自相似和长相关性，且不同网站的持续强度略有不同。总体来说，新闻网站的持续性都弱于网络论坛，且偏重于时政网站的持续性要略强于偏重于娱乐的网站。在时政性网站中，大规模官方网站的持续性略高于规模较小的网站。说明在时政新闻方面，网民更关注大规模官方网站，因此大规模官方网站的自组织性更高，更容易形成热点事件。在娱乐性网站中，中型网站的持续性略高于大型网站，说明大型娱乐性网站反而不容易形成热点事件，这与许多网络热点起源于中小型网站的现象相一致。3基于r-s的预测算法3.1舆情变化模型上述实验表明，互联网信息发布量包含时间和空间（信息发布者）两个方面，对于某个时间点j，可计算信息发布量在空间分布上的重标极差Qnj。而Qnj随时间的变化曲线Qnj-t不仅可以反映信息发布量随时间的变化，而且能反映其在空间分布上的广度和均匀度，因此有助于更全面反映网络舆论的实际状况。具体的数学描述如下：设第j个时间点信息发布者的信息发布量序列为Yj={Yij,i=1,2,…,Nj}，Nj是第j个时间点信息发布者的个数，Yij是第j个时间点第i个信息发布者的信息发布量，且Y1j≥Y2j≥…≥YNj，即Yj序列按信息发布量由大到小排列。根据公式（2）计算得第j个时间点信息发布量的重标极差Qnj。对Qnj的分析可有两种形式：(1)设定经验阈值Q，由公式（3）计算一定时间段内Qnj大于Q的天数Nt。根据Nt判定舆情变化。(2)绘制Qnj与时间的变化曲线Qnj-t,t={j=1,2,…T}，T为总天数，根据变化曲线进行分析。3.2统计结果分析应用以上方法对数据1（网络论坛数据）进行实验。其中时间点取以天为单位，空间点取以网民为单位，即Qnj表示第j日网民发帖量的重标极差。选取第一种分析形式，以月为统计时间段，设Q=44。图2给出数据1(2002年12月～2004年3月）的计算结果。其中横轴为月份，纵轴为Nt值。由分析可知，Nt较大的月份均发生了网络突发事件，例如2003年3～7月间发生了“非典事件”和“孙志刚事件”，2003年9月发生了“刘涌事件”，2004年1月发生了“宝马事件”。这些事件也基本涵盖了其间网络中发生的重大突发事件。由此可见，基于R/S的分析方法有效反映了网络论坛舆情变化。3.3实验数据的统计与分析上述方法也可用于对热点事件的分析。具体步骤如下：(1)应用搜索引擎在热点事件发生的时段内收集网络信息。为了对比新闻网站和网络论坛的不同表现，本实验采用了两个有针对性的搜索引擎———中国政府网搜索引擎（用于收集新闻网站信息）和奇虎搜索引擎（用于收集网络论坛信息），其搜索结果包含了信息的标题、摘要、来源和发布时间。(2)对搜索结果进行去重、去杂等处理，以保证数据的纯正度。(3)采用基于R/S的方法进行分析。这里时间点取以天为单位，空间点取以网站为单位，即Qnj表示第j日各网站关于事件发布的信息量的重标极差。选择第二种分析形式在同一坐标空间内绘制网络论坛和新闻网站的Qnj-t曲线，以对比两种网站形式对热点事件的不同表现。实验以2005年底发生的“松花江水污染事件”为研究对象。该事件由中石油吉林石化公司双苯厂发生爆炸引起。由于爆炸造成的苯类污染物流入松花江，导致江水受污，下游哈尔滨市停水四天。事件在网上引起高度关注，并由于初期部分地方政府部门试图掩盖真相而引起网民对政府公信力的质疑。不过，事件随后得到了及时公正、公开的处理，各新闻网站在事件报道和网络舆论引导等方面发挥了极大作用，因此未发展成恶性事件。实验通过搜索“哈尔滨停水”、“松花江水污染”和“吉化爆炸”等关键词，收集到2005年11月21日至2006年6月6日期间共198天数据。图3(a）、（b）分别给出新闻网站和网络论坛日信息发布量的分布曲线。其纵轴为信息发布量，横轴为时间（以天为单位）；（c）给出重标极差Qnj随时间变化曲线，其中实线为新闻网站的，虚线为网络论坛的。通过对比可以看出：(1）重标极差Qnj比信息发布量更早体现了舆情的高峰与回落，说明基于R/S的分析方法对热点事件中的舆情变化更为敏感；(2）新闻网站与网络论坛的Qnj-t曲线呈交错变化态势，新闻网站的峰值往往会导致网络论坛峰值的下降，由此体现出新闻网站对该事件网络舆论的引导作用。综上所述，基于R/S的分析方法可以有效预测网络事件热度。4hurst指数和网络热点事件+事件临床信息信息发布量是互联网中的一个重要参量，也是较易获取