余弦距离算法区分微博用户行为偏好的统计检验与影响力分析

余弦-距离算法区分微博用户行为偏好的统计检验与影响力分析复旦大学任毅、郭磊、郁文Contents关键词:余弦距离聚类分析Logistic回归数据降维 2HYPERLINK\l”_Toc294275101"1引言 3HYPERLINK\l”_Toc294275102"1。1 新浪微博简介 3HYPERLINK\l”_Toc294275103"1。2选题意义与研究目的 4HYPERLINK\l”_Toc294275104"1。3 相关文献综述 5HYPERLINK\l”_Toc294275105"2 数据收集与余弦—距离算法 72。2余弦-距离算法 8HYPERLINK\l”_Toc294275108”3 统计检验与影响力建模 12HYPERLINK\l”_Toc294275109"3。1两总体均值向量的比较 123。2Kruskal—Wallis秩和检验 12HYPERLINK\l”_Toc294275111”3。3 系统聚类与动态聚类分析 13HYPERLINK\l”_Toc294275112”3.4微博用户影响力的Logistic回归建模 15HYPERLINK\l”_Toc294275113"3.5主成分分析与余弦—距离算法降维效果比较 16_Toc294275115”参考文献 22

余弦—距离算法区分微博用户行为偏好的统计检验与影响力分析摘要Microblog，微博作为一种新的社交媒体，正不断改变着21世纪人们获得并分享信息的方式。依靠将现实世界的人际关系复制于网络微博，仰赖现实关系的稳定性来增强微博信息的可靠性,通过人际关系获得信息将成为这个世纪的主流。那么究竟符合何种特征的微博用户能在自己的社交网络中拥有较强的影响力呢？本研究围绕着建立微博用户影响力模型的初衷，以微博用户的粉丝对该用户微博信息进行的评论与转发的频率作为用户对粉丝的影响力指标，试图从微博用户与其粉丝行为偏好的相似性来解释用户对粉丝的影响力形成。本研究的数据收集利用了新浪微博公开的API预设函数，通过Java语言开发包收集了以目标用户为中心，利用新浪微博平台曾广泛邀请并认证名人用户的特点，聚焦于微博用户实际交互的粉丝圈，计算了用户与粉丝圈的名人好友成分向量,并且原创了余弦-距离算法,来压缩高维的成分向量,实现数据降维，先利用统计的多元T2统计量、非参数Kruskal-Wallis检验以及系统、动态聚类分析验证了算法区分用户行为偏好相似度的准确性,再通过将粉丝是否转发或者评论作为Logistic回归的因变量,利用算法得到的余弦值和向量顶点距离作为解释变量,较为成功地拟合了Logistic回归模型，证明余弦—距离算法能够作为微博用户影响力的定量解释，并且算法的结果可以讨论用户行为偏好的相似性。研究者将主成分分析的降维效果与余弦-距离算法比较，发现从建模角度降维效果类似,而且余弦-距离算法有更方便解释的优点。利用该算法判断用户与粉丝行为的相似度，比起同类可以计算用户行为偏好的LDA主题模型节省了语义库的收集成本，具有较好的理论价值和实用性。通过余弦-距离算法得到微博用户行为的相似性，将有助于发掘真正有影响力的微博用户来推广信息,同时为开发根据用户兴趣来进行微博信息精准关键词:余弦距离聚类分析Logistic回归数据降维1引言新浪微博简介一种传播媒介要普及到5000万人,广播用了38年，电视用了13年，互联网用了4年，Microblog这种社交媒体用了14个月。有人在平台上做过调研，如果美国人突袭本拉登时，如果本拉登登录Microblog,就可能看到巴基斯坦地区的热门信息：今日伊斯兰堡上空出现许多不明战斗机，而幸免遇难。Microblog,中文译作微博，即微型博客的简称，是一个基于用户关系的信息分享、传播以及获取平台，用户可以通过Web、Wap以及各种客户端组件个人社区，以140字左右的文字更新信息，并实现即时分享。最早也是最著名的微博是美国的twitter，根据相关公开数据，截至2010年1月份,该产品在全球已经拥有7500万注册用户.2009年8月份中国最大的门户网站新浪网推出“新浪微博”内测版，成为门户网站中第一家提供微博服务的网站,微博正式进入中文上网主流人群视野。本研究的研究平台就是以新浪微博用户为总体来进行。区别国外的微博平台twitter，新浪微博由于推广的需要，首先邀请了明星和名人加入开设微型博客，并对他们进行实名认证，认证后的用户在用户名后会加上一个字母“V”，以示与普通用户的区别，同时也可避免冒充名人微博的行为，但名人微博的功能和普通用户是相同的。公众名人用户众多是新浪微博的一大特色，目前基本已经覆盖大部分知名文体明星、企业高管、媒体人士。一旦普通人注册了新浪微博帐号之后，新浪微博会按照官方给出的名人类别，向用户推荐一批名人好友,来增加用户使用新浪微博的兴趣，普通用户也可以在阅读到名人所发的微博后，自己主动加名人好友，以示“关注".用户可以通过网页、WAP页面和手机短信、彩信发布140字以内的消息或上传图片,此外还可通过API（应用程序接口，后文2.1会详细介绍）用第三方软件或插件发布信息。于2009年8月14日开始内测。截至2010年10月底,新浪微博用户数已达5000万,新浪微博用户平均每天发布超过2500万条微博内容.其中有38%来自于移动终端。微博总数累计超过20亿条。目前是中国用户数最多的微博产品，是目前国内最有影响力、最受瞩目的微博运营商.以新浪微博为代表的微博平台，或者说是一种社交媒体正在给能够上网的所有民众参与到大范围信息传播的路径里。在这种微博的社交媒体里，大量的观点、评论、新闻、产品信息甚至应用软件每秒钟都在不断被传播.很自然的就会想到根据信息传播的途径、频率来衡量信息传播的影响力.特别是新浪微博的用户群这么大,用户习惯形成时间最长也相对最稳定,许多广告公司甚至传统的媒体，如BBC、时代周刊、文汇报都开始注意到利用新浪微博增加信息传播的即时性.每一个微博用户都是信息的载体，如何挑选最有影响力的客户成为了学术研究、商业需求的焦点，这正是本研究尝试解决的问题。若欲解释微博用户影响力及其成因，势必要对用户之间的关系以及用户之间的互动进行研究。在新浪微博的平台，每个用户都可以“关注”其他用户，这些被用户“关注”的帐号一旦发布了新的微博信息,就能够被关注他们的人浏览到。另一方面，每个用户都可以被其他用户“关注"，那些“其他”微博用户就称为“粉丝”。讨论一个微博用户的影响力，也就是要讨论他所发出的微博信息能否赢得其粉丝的真正关注。赢得粉丝的关注，涉及到许多因素,比如该用户所发出的微博信息是否新奇,是否能够引起粉丝的共鸣，以及该微博发布的时间与粉丝登录微博的时间相差是否过大等等。如果能够找到定量的方法来描述,具有何种特征的用户其发布的微博信息最能引起其粉丝的关注，那么对于广告营销，信息的精确定投都具有非常重大的意义。若想研究微博用户的影响力以及影响力是否与用户行为偏好有关，必须对大量微博用户进行宏观的研究，选择用户数目多,每日微博信息发布量大,而且多为中国用户的新浪微博最为具有代表性。而且对于社交媒体的研究是近年来的热门，但是基于Facebook和twitter的研究数目不少，但是基于新浪微博的用户行为分析，或者统计建模较少。1。2选题意义与研究目的如果能够定量分析微博信息传播的途径和一般规律，有助于利用微博作为信息发布的媒体平台，将有信息的影响力和实效性发挥到最大.如今信息井喷，获得信息的渠道日趋便捷和迅速的前提下，能够做到信息的精准投放，对于商家和客户都是至关重要的。因此基于新浪微博，对于微博用户的行为规律进行统计建模与分析很有意义。我们采信了由DanielM.Romero等人的研究成果，对于微博用户，“有影响力与粉丝众多没有太强的相关性，真正的影响力表现在粉丝的转发行为中”DanielM.Romero,WojciechGaluba,SitaramAsurandBenardoA.Huberman.InfluenceandPassivityinSocialMedia.HPSocialComputingLabResearch,2011,Publishedonline.此处为研究者译DanielM.Romero,WojciechGaluba,SitaramAsurandBenardoA.Huberman.InfluenceandPassivityinSocialMedia.HPSocialComputingLabResearch,2011,Publishedonline.此处为研究者译目前统计学中比较常用的方法，是由D。M.Blei在2002年提出的LDA主题模型,即LatentDirichletAllocation潜在狄利克雷分配模型.该主题模型是一种语言模型，对自然语言进行建模，常用于信息检索。LDA模型是用一个特定的词频分布来刻画主题，并认为一篇文章、一段话、一个句子都是从Dirichlet分布生成.然而由于Dirichlet分布随机向量各分量间的弱相关性，使得所分析文档的潜在主体之间也必须是不相关的，这与许多实际问题并不相符。而且使用LDA主题模型必须要有一个语料库，语料库设计的优劣直接影响了主题模型推导的效果,使用起来非常不方便.本研究创造性地利用了新浪微博的特点，原创了所谓的余弦—距离算法。利用新浪微博推广期间,会邀请名人开通微博帐号，同时进行认证的特点，计算每一个普通用户的“关注”的各行各业的名人好友，占全部好友的比例，由于新浪微博根据名人所在的领域，官方给出了名人首肯的身份“标签”,就形成了以标签为向量分量名的名人成分向量.收集微博原创作者与其转发评论的粉丝的名人成分向量,利用余弦-距离算法对这些向量进行处理，就能得到微博用户之间行为偏好的相似性。之后我们利用统计里比较经典的多元方差分析、非参数的Kruskal—Wallis检验以及系统和动态聚类，验证了该算法。然后再利用Logistic回归，将该算法得到的结果作为解释变量,以粉丝转发评论的数目作为因变量，得到了比较理想的结果。研究结果证明了本文提出的余弦-距离算法在处理微博用户的名人成分向量，以此算法推出微博用户的行为偏好是成立的，同时也是为微博行为建立模型，可以采用的解释变量。相关文献综述基于新浪微博，这类公认的平台进行的公认的研究成果目前并不多。因此本研究前期所查文献多是对于twitter用户行为规律的总结。HPSocialComputingLabResearch里发表了许多关于社交媒体的研究成果.比如前文的DanielM。Romero等人在《InfluenceandPassivityinSocialMedia》里提出即使有许多的粉丝也未必有很大的影响力。他们构建了一个所谓的Influence—Passivity的算法,能够计算出用户的影响力与其粉丝的消极性，其基本的想法是用户的影响力是取决于其被粉丝转发的比例以及这些粉丝的消极性,同时其粉丝的消极性是取决于粉丝没有转发的微博比例和其关注者的影响力，这就形成了几个比例之间的互相迭代与递归关系。然而这个算法是根据某些含有URL的微博所得到的,不够具有代表性。而且推广到普通的微博平台时，微博用户未转发或者评论的微博数目，只有该用户自己才能得到。使用该算法的限制条件局限了这个算法的意义。SitaramAsur与ChunyanWang在《TrendsinSocialMedia:PersistenceandDecay》中提出了相类似的结论。他们认为在一段时间内，有大量同类关键词的微博出现，表明了该微博的话题已经形成了某种趋势,而微博用户发表微博的频率与粉丝的数量同微博是否能够形成趋势，并没有很强的相关关系.他们从具有同类关键词的微博入手,将固定时间段内同类的微博数目相加，发现了选择固定的时间间隔,前后两个微博时间段微博数目的比例服从Log-Normal分布，能够长时间形成趋势的微博关键词其Persistence服从几何分布。建立两个随机模型后，他们得到了一个非常直观的结论：只有粉丝转发了微博,该微博的话题才有可能形成趋势。Huberman等人研究了基于twitter的交互关系，发现了twitter上用户与其粉丝的互动是与其背后稀疏的社交网络关系有关。Jansen等人将twitter视作一个口口相传的广告媒介，他们选择了一些知名的品牌，研究了品牌在twitter上的网络口碑。Yang和Leskovec针对微博中出现的标签，拟合了一个和时间序列相关的聚类算法,从发表微博和转发评论微博数目与时间关系的角度，解释了微博话题形成趋势的规律。Agarwal发现最具有影响力的微博用户往往并不是那些发表微博频率最高的人。Cha等人通过三个指标好友数目、转发率以及被提及数目进行比较,讨论了微博的影响力，他们揭示了转发率同被提及的数目之间有很强的相关关系,转发率能够较好地表明该微博是否具有较强的影响力.依据上述在学界比较推崇的结论,我们假定了微博话题能否具有影响力最重要的指标，是能否赢得粉丝“转发”.我们将粉丝转发或者评论的行为，认定为对于该条微博有强烈的偏好。从微博用户与其粉丝之间的关系，来定量分析形成强影响力和“转发”行为的根本因素，进一步对于微博话题和微博用户的影响力成因进行分析,弥补了这一类研究的空白。数据收集与余弦—距离算法2。1数据收集过程从2011年4月20日到2011年5月25日，我们通过新浪微博的公开的API平台，自己开发了一套基于Java语言的爬虫工具，总共收集到433所谓新浪微博的API，就是与新浪微博主服务器公开的ApplicationProgrammingInterface应用程序编程接口，是一些由新浪微博预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力，而又无需访问源码,或理解内部工作机制的细节。这样既保证了新浪微博能够在保证商业机密的前提下，公开让一群软件开发者在新浪允许的访问函数内提取一定数据，制作成符合微博用户利益的应用,增强新浪微博的使用价值。通过API任何一个开发工程师都可以在新浪微博上提取其好友的信息，全部微博的列表,“关注”某个名人或者解除某个粉丝的关系等等，基本上能够在微博页面手动实现的操作,都能通过API的编程语言批量实现.本研究正是利用了该应用程序的编程接口，通过新浪微博发布的Java语言的开发包,调用甚至修改了新浪的部分函数，来收集普通微博用户的名人好友数量。在新浪微博的平台，两个用户之间的关系可以有三种,如下图2。1:AA关注X，X称为A的好友X关注A，X称为A的粉丝A与X互相关注，称为互粉图2.1新浪微博会将每天原创微博的内容和原创作者公开在微博广场，而不需要对这些原创作者进行“关注”，我们在数据收集的周期里每天中午12点，随机抽取了最先发表微博的10名用户,形成一个目标样本库，每天进行配对比较，要求所收集的用户ID是以往收集的库中所没有的。累计至今收集了329名潜在样本。手动进入这些用户的页面,确认了这些用户是经常更新微博,且不是官方团体的帐号,避免了粉丝数目过多，方可入样，最终进入本研究的用户为39名.然后,新浪微博官方将其所邀请的名人用户的ID按不同的类别公布在微博名人堂中。我们从2011年3月15日到2011年4月19日，手动收集了每个类别中粉丝数目在前50名的名人ID，与其分类.目前新浪微博共有如“影视明星”“IT业内"“媒体记者"等多达141个类别，这些类别经过新浪官方认证，可以作为该名人社会影响力的分类，在本研究中称为标签。由于部分类别门类较新,还不满50位名人入驻,于是我们就把该类别所有的名人ID全部取出,形成了含有6190位名人ID的名人库。我们想证明从329名微博广场上收集到的普通微博用户出发,通过所谓的余弦—距离算法比较其转发和评论比例最高的粉丝,以及随机抽取的4位粉丝之间的行为偏好。如果能够较好地将这些粉丝分类，就证明余弦-距离算法所得到的指标能够解释用户之间互动频繁的原因.2011年4月20日到2011年5月5日，我们选择了不同年龄、不同性别、不同职业，但是知道E—mail地址，可以联系上的20位实验样本。我们利用API收集到该20位好友本身的名人好友数目，计算每个名人所在的类别比例，形成了一个141维向量，我们称为名人成分。再分别计算该用户全部粉丝转发和评论该用户的微博数目占该样本总转发评论的比率,并进行了排序，提取累计达到50％，60％，70%的前数位粉丝的名人成分，以粉丝转发评论的比例为权重,以50%,40%，30％为样本本身名人成分的权重，将这些名人成分向量相加。最终将结果排序，得到类别标签的顺序,就认为该用户具有这些类别所代表方面的行为偏好。通过E—mail问卷“你对这些话题感兴趣吗?”，我们列出了标签比例在前80%的类别，让受访者自行甄别，我们发现取60%最能够发现用户的隐藏兴趣,而且不会过多地使结果与用户实际意愿偏离。最初由于新浪微博API预设函数的限制，我们只能计算评论以及评论并且转发的数目，但巧合的是2011年5月11日，新浪微博公布了一批新的API函数，我们得以提取转发但没有评论的数目。于是自2011年5月12日到2011年5月25日，我们正式将算法推广到329名潜在上,首先将普通用户全部的粉丝列表提取出来，再读取普通用户全部的微博消息ID，利用微博API函数读取每条微博全部的评论者,与该用户的粉丝列表进行比对，输出转发评论比率排序后累计达前60%的数位粉丝以及他们转发或者评论的比例，然后再提取该用户的好友列表与名人库内ID逐一比较，得到了用户本身的名人成分，再对较多评论和转发的粉丝本身的名人成分提取出来，计算了用户及其粉丝名人成分按照评论比例的加权向量和（具体的过程详见下文算法部分)。由于读取全部的微博ID,以及全部好友的列表需要大量的数据交换，而新浪微博API每小时返回的信息有1000次的限制，最终在收集数据的过程里，得到了以39组以普通用户为中心,转发评论比例累计达前Top60％的粉丝，以及为了验证算法而提取的随机4位粉丝的名人成分,按照用户ID计算的样本数目达到了433表2.1NameID1415161718Jove凡07157790.34117030。206896500。0402299Kiki在放空12885482250。04415580。14289840.107936500.0104308xu4717520188170。21767940.123549000。082846依玉xun213607623500000谢绿蓉的微01724140000关之琳Qx21197317820。11061980。17166920.02747170。00136050曼君—Shei21010230120。1250.20833330002.2余弦—距离算法本研究所创的余弦-距离算法，利用了新浪微博给名人分类“贴标签”的特色,事先提取并且构造了按标签分类的名人ID库，计算目标样本、评论转发样本微博累计达Top60%的粉丝在每个分类标签上名人好友的比例，按照转发评论比例为权重做向量加权和，得到141维的向量,再分别以Top60％的粉丝为中心，计算转发评论也达到Top60%粉丝的粉丝名人成分，同样做加权向量和，得到141维向量，计算两种向量之间夹角的余弦值，和向量顶点的距离,我们认为以余弦和距离组成的2维向量，可以作为目标样本和其粉丝之间行为偏好是否类似的度量，而这种行为偏好的相似性，也可以解释粉丝经常转发和评论该用户微博的佐证.我们认为经常转发和评论该用户的微博,证明了粉丝和用户之间的行为偏好比较类似，利用转发评论比例作为权重将向量做加权和，所得到的向量就是该用户行为偏好的估计。由于部分用户并没有刻意地采用新浪微博的名人推荐系统，而是偶尔在阅读到被转发的名人微博后，由于对名人的兴趣，而添加该名人为好友，以示“关注”.如果用户使用新浪微博的时间不长，使用微博的积极性不太大，那么直接计算该用户的名人成分，不足以作为该用户的行为偏好估计,反而将该用户经常联系的粉丝的名人成分按转发评论比例为权重实现累加，结果比较有说服力.我们在前期的20位实验样本里所作的调查，已经说明了结果的可靠性。我们假设目标样本为X0,对X0进行转发或评论行为的全部粉丝为X1，X2，X3，X4，X5，通过计算转发评论比例为a1我们以X0为中心,先计算X0本身的名人成分记做x01,x02,x03⋯x0141，同时对于X4，X1，X我们对Top60%粉丝X4，X1，所谓的余弦—距离算法就是分别计算Y0与Y4，Y1，Y2，Y5，Y如下表2。2展示了通过余弦-距离算法所得到的Top60%粉丝与目标样本之间名人成分向量夹角的余弦值与顶点距离,我们列出了以样本1到3为中心的组计算得到的二元向量,Cos表示余弦，Distance表示距离，Percen和Fraction表示转发评论比例:表2。2ID_OrigID_TopCosDistancePercentFraction1400。95416740。12708370。511/222410.51827650.33237760。169291343/2542420。49175610。23800450.157480340/2542430。55055230.21521010。122047231/2542440。71127050。20669310.102362226/2543450。63050770.28365930。074803219/2543460。4807490。28093250.14285722/143470。78730160。21183190。14285722/143480。2950380.53770740。14285722/14下表2。3是通过余弦-距离算法所得到的Random粉丝与目标样本之间名人成分向量夹角的余弦值与顶点距离。列名的意义与表2.2相同：表2。3ID_OrigID_TopCosDistance12510.16268530。375392612520.13761350.461263812530.14051380。502975122540.66860610。205834422550.35930070.4349694225601.02756622570。64896130.2042634325801。03983732590。62437030.2396779我们可以得到350个二元向量。将Top60％与Random4分位两组，分别利用轮廓图以及调和曲线图展示，以期得到两组之间不同的形态。轮廓图是指在横轴上去2个点代表2个变量,纵轴上的高度代表在横轴上2个变量的取值，将所取的两个点连线即形成轮廓,其差异性可以从直线的平行角度直观得到展示。而调和曲线图是由Andrews在1972年提出来的三角表示法，他将空间中的点对应于二维平面的曲线,将点的坐标作三角变换,若输出的曲线拧得越紧，就表明数据相似性越强。如下图2.2所示为作图结果:图图2.2通过上图,我们发现轮廓图显示出Top60％的二元向量比较相似,随机抽取的Random4的差异性比较大。调和曲线图表明了Top60％的曲线拧得相对比较紧，而Random4相对比较松.上述结果为使用统计方法定量验证余弦—距离算法提供了直观依据，由于两种图像都提示了聚类分析，后文会使用聚类分析的方法来讨论算法的有效性。统计检验与影响力建模3.1两总体均值向量的比较本研究中所采集的向量可以被视为来自于两个不同总体，Top60%的粉丝数据可以认为来自于目标样本用户转发评论比例累计达60%的粉丝总体，而Random4的粉丝可以认为用户全部粉丝集合中的补集（数据收集时剔除了Top60%才随机抽取了上述Random4)。为了比较余弦-随机算法能否作为用户与粉丝之间行为偏好相似性的度量，我们需要对余弦-距离算法所计算的二元向量进行均值比较,将Top60%与Random4混合后，看多元T2使用多元T2统计量前必须讨论数据的适用条件。根据多元统计理论，对大样本情形，仅需两组数据来自不同的总体,并且样本之间互相独立ISBN978-7-302-18343-3JohnsonR.A.所著，陆璇叶俊译，北京；清华大学出版社，2008.11；P217。ISBN978-7-302-18343-3JohnsonR.A.所著，陆璇叶俊译，北京；清华大学出版社，2008.11；P217我们假定两样本协方差矩阵相同,利用R2。13。0平台构造多元T2统计量下的95%置信区间，得到0.4195619，0.5096554然而由于我们假定了两总体的独立性，该结果的成立是有条件的。3。2Kruskal-Wallis秩和检验由于上述多元T2统计量在应用时可能受到样本的正态性和独立性的限制，所得的结果是有条件的，所以拟采用非参数的Kruskal-Wallis秩和检验来考察余弦-在原假设为Top60％与Random4的算法处理结果无差异性下，我们利用R2。13.0平台分别对余弦值和距离使用了该检验方法，得到下述2个结果:Kruskal—Wallisranksumtestdata：ry1bygKruskal—Wallischi—squared=65.0631,df=1,p—value=7。254e—16Kruskal—Wallisranksumtestdata：ry2bygKruskal-Wallischi-squared=26.6895，df=1，p—value=2。389e-07根据R的输出结果,我们有超过95％的把握，认为余弦—距离算法所得到的二元向量能够较好地将两总体区分开.然而由于两总体是按照不同的目标样本用户为中心,分别进行采集的,这里可以使用一些Block的方法来弱化不同个体对结果差异性的贡献，理当进一步采用Friedman秩和检验.但是由于前期数据收集时，没有有效固定每个Block的实验个数，导致数据结构不适用于Friedman秩和检验，较为遗憾。系统聚类与动态聚类分析前文使用了多元T2统计量的区间估计,以及Kruskal-Wallis秩和检验的结果,都显示了余弦-由于聚类分析的特点是需要事先不知道类别的个数与结构，我们事先必须要将两组数据进行混合，先通过系统聚类的方法确定混合数据可以分位几类，再根据类别使用动态聚类的方法验证准确性。因为混合数据本身是来自于两个总体，我们期望用不太大的类别k,将两个总体区分为k组，如果能够实现即表明算法的有效性。采用系统聚类法时，先对数据进行了标准化,然后分别采用了最短距离法，最长距离法，中间距离法，类平均法，Mcquitty相似法以及离差平方合法进行距离判别依据。利用R2.13。0平台我们得到了一张2×3的图像，由于350个样本同时聚类，会使得横轴的结果无法清晰地展示，因此我们仅将15个Top60％与14个Random4进行混合，展示这一结果如下图3。1：在考虑全部样本的前提下，我们也能得到类似的系统聚类结果，只是要复杂许多。如下图3。2所示：我们考虑采用Ward在1936年提出的离差平方和法，该方法认为同类样本之间的离差平方和应当较小，不同类别之间的离差平方和应当很大,该方法对异常值比较敏感，非常符合系统聚类的实际要求，而且输出结果也比较满意。采用系统聚类方法后,我们推荐k=7来进行动态聚类。图3.2图3.2如下R的输出结果所示，我们期望将2个总体收集到的样本基本归为7类。评判聚类效果的标准为，如果类A中含有a1个Top60％的样本，同时含有a2个Random4的样本，当a1<aK—meansclusteringwith7clustersofsizes92，45,53,42，6，88,24Clustermeans：jx1jx210.7570640-0.924421520。16389190.70734353-0.5826657—0。42661084—0。92193231.11717325—1.37192284.432197260。6531512-0.18100327—2。36118160。7600215Clusteringvector:［1］143362464462242242423662164246611613［37］111166161611111111161631116131316114[73]444166262666666111664661133666422242[109]313333131131333311626262663473364316［145]266111116621622661116156161362111116[181］163137266111616611166161161211177734［217］535342223443426726443773264242142442[253］663633323337547446266646334742221337[289］516347261311766377372756712414423663［325]66677134121166636176411177Withinclustersumofsquaresbycluster:［1］14。8942514。3582520。5219313。4116415。0814713.4470018.20524（between_SS/total_SS=84。3%)Availablecomponents:[1］"cluster""centers"”totss"”withinss”[5]"tot.withinss”"betweenss”"size”混合样本中前211例样本属于总体Top60%，后139例来自于Random4。经过同两样本的比较后我们发现在350例混合样本中，算法正确判断了246例，准确率达到了70。29%。通过系统聚类和动态聚类的方法，我们能够比较清晰地从微观层面比较该算法的准确率，使用余弦-距离算法基本能够比较用户与粉丝行为的相似性。但是由于Random4是从提出Top60%的补集中抽取，可能也会抽到与目标样本经常转发或者评论的粉丝，只是刚好没有进入到前Top60%而已，因此会对算法的判断结果产生干扰。相比起，同类计算行为偏好的算法，余弦—距离算法仅仅需要对于样本的标签进行识别，计算成本较小，因此是可以在分析用户影响力时，作为判断用户行为偏好的解释变量来采用。3。4微博用户影响力的Logistic回归建模正如前文文献综述所述，根据前人的研究结果微博用户的影响力往往与其好友的个数，用户发表微博的频率没有直接的关系。而评价用户影响力往往需要通过其所发表的微博能否激起粉丝的共鸣来衡量.如果能够通过Logistic回归来分析用户的影响力因素,将粉丝是否经常转发或者评论用户的微博信息作为考察用户影响力的指标，那么能定量化地找到最有影响力的用户来发布相关信息，无疑对信息的精准定位和即时发布产生重要的价值.本研究所创的余弦—距离算法就是致力于发现组成影响力的定量因素，该算法显然比起现在常用的LDA主题模型更有效率，因此通过算法所得到的用户行为偏好的相似度,如果可以作为Logistic回归的解释变量,无疑会增加该算法的使用价值。我们定义在Logistic回归的因变量为粉丝是否转发或者评论了特定用户的微博，trials的总数为特定用户发表的全部微博，解释变量就是算法所能得到的余弦值和向量顶点的距离。由于数据结构的问题，我们将所收集的数据转换为0—1变量较为麻烦,只能输出因变量取1的总数。SPSS16.0在处理这类数据时效果比较好，于是我们采用了这个工具对于Top60％含有转发或者评论比例的数据进行了Logistic回归。结果如下表3.1所示：表3.1TestsofModelEffectsSourceTypeIIIWaldChi—SquaredfSig.（Intercept)624.4031。000VAR0000373。0501。000VAR0000411.5781.001Events:VAR00007Trials:VAR00008Model:（Intercept），VAR00003,VAR00004表3。2ParameterEstimatesParameterBStd。Error95％WaldConfidenceIntervalHypothesisTestLowerUpperWaldChi—SquaredfSig。（Intercept)—3。536.1415—3。814-3。259624.4031。000VAR000031。230。1439.9481.51273。0501.000VAR00004。684.2009。2901。07711.5781。001(Scale)1Events:VAR00007Trials：VAR00008Model:（Intercept），VAR00003，VAR00004a.Fixedatthedisplayedvalue。依据SPSS16.0generalizelinearmodel模块输出的结果，若将事件Y=1定义为粉丝转发或者评论了样本用户的微博信息,我们可以得到如下Logistic回归方程：logit在上述方程中,Cosin表示用户与粉丝的名人好友成分向量的夹角，Dist表示向量顶点的距离。我们发现夹角的余弦值越大，也就是夹角越小，粉丝转发或者评论的概率就大，而顶点距离越大,其转发或者评论的概率越大.系数检验的显著性表明了利用余弦—距离算法得到的微博用户行为偏好的相似性，能够较好地解释Top60％转发或者评论用户微博的行为。因此使用余弦—距离算法对于微博用户的影响力建模有较大的意义。从微观角度，我们只需要比较用户与其特定粉丝的行为偏好差异，就可以预估粉丝转发或者评论用户微博的意愿。3。5主成分分析与余弦—距离算法降维效果比较本研究所采用的原创方法余弦-距离算法，是为了定量微博用户与粉丝行为的相似性，以之作为解释变量，对粉丝转发或评论指定用户的微博比例，拟合Logistic回归借此来说明微博用户的影响力。对于数据收集过程中得到的微博用户141维的名人成分向量，利用余弦-距离算法实现了降维，形成二元向量。那么很自然的想法就是，通过传统的多元主成分分析的数据降维效果,是否会比余弦—距离算法更好。研究者假定了用户与Top60%粉丝具有类似的行为偏好，于是考察了用户与其Top60％粉丝的类别向量,发现标签为“高尔夫”与“扶贫"的类别全部样本都为0,于是进行了剔除，将向量缩减到139维，将剩余的类别以微博平台的类别ID进行标识，利用R2。13。0平台求主成分的内置函数，用样本的协方差阵作主成分分析，以下为R部分的输出结果：Importanceofcomponents:Comp.1Comp.2Comp.3Comp。4Standarddeviation 247378851 6。928203e+00 1。108298e—01 8.024412e—02ProportionofVariance1 7。843612e—16 2.007187e—191。052207e—19CumulativeProportion0。99182900.9970239145 0。9999122321.000000e+00可见第一主成分的累计贡献率已经达到了99%，于是将剩余的主成分全部舍弃，利用R输出的载荷部分,以C14标识“影视明星”我们根据第一主成分的结果发现，类别228“情感心理”，类别14“影视明星”,类别15“歌星”对应系数都大于0.5，新浪微博推广的早期，就是大范围地邀请了星座大师，娱乐明星开通微博，借此吸引人，主成分对应系数较大，较为强烈地表现了经常发表微博的人，关注这类领域非常多。而类别16“音乐人",类别207“动漫”，类别38“篮球"，类别43“解说评论员”，类别45“电视主播”，类别62“互联网高管”,类别68“文化名家”，类别69“传统作家”，类别“70”新锐作家，对应的系数都为正数，表明了微博用户对于时尚体育IT等领域关注度较高。相反，类别457“公安"，类别201“相声小品”,类别jt为“交通局”的系数都为负数，这些领域都不属于年轻时尚的文化范畴，与传统的曲艺艺术，或者前一阶段网络热门的交通肇事及公安稽查事件有关。较为难以解释的是类别18为“网络红人”对应系数也为负，越关注网络红人的用户主成分值越小。该主成分基本符合现今微博用户的特点，可以将比较微博用户与其主成分的相似度,我们拟采用下述方法：若用户的主成分值为Z0*，其Top60%中某一位粉丝的主成分值为Z1*，那么将表3.3TestsofModelEffectsSourceTypeIIIWaldChi—SquaredfSig.(Intercept）13807.0001.000VAR00022104。5651.000Events：VAR00018Trials：VAR00019Model:(Intercept)，VAR00022表3。4ParameterEstimatesParameterBStd.Error95％WaldConfidenceIntervalHypothesisTestLowerUpperWaldChi-SquaredfSig。(Intercept)—2。428。0207—2.469—2。38813807。0001。000VAR00022-.233.0228-。277—。188104。5651。000（Scale）1Events:VAR00018Trials：VAR00019Model：(Intercept），VAR00022a。Fixedatthedisplayedvalue.我们发现按照主成分分系降维后的数据，与余弦-距离算法的结果都能作为Logistic回归的解释变量，于是比较两种降维方法的拟合优度。表3.5余弦—距离算法的拟合优度表GoodnessofFitbValuedfValue/dfDeviance2。522E320812。123ScaledDeviance2.522E3208PearsonChi—Square3.616E320817。384ScaledPearsonChi-Square3。616E3208LogLikelihooda-1.644E3Akaike’sInformationCriterion（AIC)3。293E3FiniteSampleCorrectedAIC(AICC）3。293E3BayesianInformationCriterion(BIC）3。319E3ConsistentAIC(CAIC)3。322E3Events：VAR00007Trials:VAR00008Model：(Intercept)，VAR00003,VAR00004a.Thefullloglikelihoodfunctionisdisplayedandusedincomputinginformationcriteria。b.Informationcriteriaareinsmall-is—betterform。表3。6主成分分析值的拟合优度表GoodnessofFitbValuedfValue/dfDeviance2.509E320912。006ScaledDeviance2。509E3209PearsonChi—Square3.762E320918。000ScaledPearsonChi-Square3.762E3209LogLikelihooda-1.638E3Akaike’sInformationCriterion(AIC)3.279E3FiniteSampleCorrectedAIC（AICC)3。279E3BayesianInformationCriterion（BIC）3。296E3ConsistentAIC(CAIC）3。298E3Events:VAR00018Trials：VAR00019Model：(Intercept）,VAR00022a。Thefullloglikelihoodfunctionisdisplayedandusedincomputinginformationcriteria。b.Informationcriteriaareinsmall-is—betterform。根据拟合优度表所示,我们发现AIC判别法则、PearsonChi—Square以及Deviance判别法的结果在余弦-距离算法,与主成分分析差值情况下都差不多.由于Deviance比上自由度的值，都远远超过了1。说明拟合优度的缺失，与无法收集到用户以及粉丝登录时间的数据，有很大的关系。想要用户产生转发或者评论，这类有高度偏好的行为，登录频率与微博发布的时间有很大的关联。无论如何，就目的是建立可以解释用户影响力的回归模型而言,余弦—距离降维同主成分分析的结果类似。但是余弦—距离算法有具体形象的意义，是在处理高维数据之间关系，并且定量建模时可以考虑的方法。总结IT行业有这样一句话,21世纪的信息传输，关键的不是你知道什么，而是你认识谁。Microblog，微博这一种属于21世纪的新媒体,正以一种社交关系类的媒体特性发展于互联网。利用互联网的速度，与现实世界人际关系的稳定性，在微博或者说是社交媒体平台来进行信息共享，信息阅读，信息消费已经成为了21世纪人类生活最大的变化。从美国的Twitter，到中国的新浪微博，越来越多的人在互联网上实现真实世界的人际关系与虚拟世界人际关系的交互,信息发布的速度与可靠性与日俱增。通过人际交互来研究微博这一新媒体，是统计学处理网络数据的热点。目前最火热的研究用户行为偏好的统计方法,是LDA主题模型,该模型的成立取决于狄利克雷分布的两个参数估计，与建立一个可靠的语义库.通过非主动机器识别来实现,其进入门槛较高，而且结果存在的误差性也不低。本研究从微博用户之间的关系和互动为切入点，试图解决微博用户影响力的定量解释，利用了新浪微博平台为了推广自己的网络服务，邀请并且认证了一大批名人用户的特点，根据新浪微博官方发布的名人类别标签，以目标样本用户为中心，讨论经常对中心用户实现转发评论行为的粉丝群体之间的名人好友成分，通过转发评论比例计算出了中心用户的名人成分向量估计。再使用处理高维数据时可以考虑的余弦—距离算法，将高维数据变成二维向量，同时向量的分量也代表着中心用户与粉丝用户的行为偏好相似性，从用户与粉丝行为偏好的相似性来解释用户的影响力,具有一定的创意.为了验证余弦—距离算法的正确性,研究者使用了新浪微博公布的API预设函数提取了433例数据,剔除了群体用户与不经常使用的用户,实际入样350例用户与粉丝的交互关系，将这些数据分为两个总体，其一是来自于目标样本用户转发评论比例累计达前60％的粉丝总体，称为Top60%.另一个是从前一个总体在用户全部粉丝集合中的补集中随机抽取4个粉丝，称为Random4.利用多元统计中经典的多元T2统计量，以及非参数统计中的Kruskal—Wallis检验但是无论是经典的多元T2统计量，或是非参数统计中的Kruskal-Wallis检验都有一定的使用条件,而且研究者为了实现讨论微博用户影响力的根本目的,对于所收集到的Top60%的样本转发评论比例进行了Logistic回归，结果表明用户与粉丝的名人成分比例向量夹角的余弦值与顶点的距离，能够作为Logistic回归的解释变量。从应用的角度说，该算法的结果具有比较强的意义。研究者从建立影响力回归模型的角度，比较了主成分分析降维与余弦-距离算法降维效果，发现从解释变量系数的显著性角度,两种方法的效果类似，但是余弦-距离算法具有方便易行，而且容易解释的特点，可在处理高维数据关系时采用.所谓的余弦-距离算法是将LDA主题模型的文档词汇频率,缩小为标签的频率，采用统一的标签库，同时利用目标用户一定的社交网络,计算得到目标用户实际的成分比例，再利用算法得到余弦值和顶点距离，以此来区分用户行为的相似性，该想法已经基本经过了经典统计的经验，也证明了其背后的意义，具有较大的推广范围。一个好的模型，不但需要能够从实际的案例出提取,附有可解释的意义，同时也可以进行推广.余弦—距离算法基本具备了上述特征.然后在数据处理时发现,采用Top60%的方法不能利用Block的想法进行检验，无法忽略个体用户的差异，是为遗憾。部分转发或者评论较少的粉丝的名人成分也计入了用户的算法结果，形成了混淆.而且粉丝转发或者评论的比例，同粉丝和用户上线的时间段是否重合，有很大的关系,由于新浪微博API并没有开设此类的函数，于是给本研究造成了遗憾。余弦—距离算法在处理用户行为的高维向量时，能够较全面地考虑到用户之间的关系,讨论行为偏好的相似性，为高维向量压缩的主成分分析与因子分析提供了参考，也大大简化了语义识别模型LDA主题模型的运算要求，具有一定的应用价值。本研究认为粉丝是否愿意评论并且转发微博用户的微博信息,很大程度上代表了微博用户的影响力.经过余弦—距离算法对于数据结果进行处理,较好地区分了微博用户的行为偏好，可以定量说明微博用户之间的关系与互动，算法结果作为解释变量较好拟合了粉丝评论或转发的比率，说明了微博用户与粉丝间行为偏好的相似度，决定了用户对其粉丝的影响力。然而本研究由于技术与成本的限制，存在一些瑕疵.比如在方法的开发方面没能做更严格的验证。例如，目前在计算距离的时候，对权重的设定未必是唯一的方法，但设立Java程序时已经默认输出了名人成分向量，无法修改。目前的研究结果中，采用Logistic回归来解释微博用户的影响力，没有讨论相关模型的优越性。是否可以根据数据结果建立一些更强的模型与之进行比较,对于统计的方法论略作贡献，是将来继续研究的重点。参考文献1. Vol337FangWu,BernardoA。HubermanLadaAdamicandJoshTyler。InformationFlowinSoci