最终中期-基于个人微博时序事件的研究

基于个人微博时序事件的研究,课题的结构和主要内容,一、课题背景介绍,课题解决的中心思想,一、课题背景介绍,课题的结构和主要内容,二、课题方案设计与实现,1、课题方案设计,（1）微博预处理,二、课题方案设计与实现,个人微博数据有很多的噪声和冗余信息，因此在对个人微博进行处理之前，要进行以下微博进行初步过滤：,二、课题方案设计与实现,（2） 改进的TF-IDF特征词提取,而且要求该特征词在该类别文本中必须符合均匀分布,用特征选择评估函数CHI衡量每个特征词对每个类别的重要程度,为防止权重失效，先对CHI值进行对数化处理,通过修正权重改进TF-IDF文本特征权重,二、课题方案设计与实现,其中P1表示含有特征词w的并且属于类别cj的微博数；P2表示不含有特征词w的并且属于类别cj的微博数；P3表示含有特征词w的并且不属于类别cj的微博数；P4表示不含有特征词w的并且不属于类别cj的微博数；N= P1+ P2+ P3+ P4表示总的微博数。,二、课题方案设计与实现,CHIw为该特征词的CHI值。,改进的TF-IDF文本特征权重算法为：,其中，CT(w)是特征词的修正权重，tf(w,x)表示词w在文本x中出现的频数；N表示总的文本数；n表示出现词w的文本数；1是为了避免lg值出现0值时而设定的一个常量。,二、课题方案设计与实现,（3）基于LDA模型的同类词模板构造,LDA隐含主题拓扑结构图,LDA图模型,LDA的算法的流程如下:,二、课题方案设计与实现,采用上述算法得到微博主题词，其中主题词权重的计算采用Gibbs方法，公式如下：,二、课题方案设计与实现,其中，P(wij)是主题词wij的权重值，、分别是文本中主题的概率分布和主题中词的概率分布，ni(j)是词wi被当做主题j的次数，公式中i(j) 的比率代表了在主题j中词wi的概率， i比率代表了在微博文本di中主题j的概率。,同类词构造结果如下：,二、课题方案设计与实现,二、课题方案设计与实现,Jaccard相似度算法,余弦相似度算法,综合相似度算法,计算个人微博相似度,（4）个人微博相似度计算,（5）基于K-Means聚类的时序事件归类,二、课题方案设计与实现,其中，tx、ty表示微博px、py发表的时间；表示时间因子，当的值 取的太大时，时间相关性的值两极分化太严重，太小又不能很好的区分时间特征。实验证明取0.3时的精确度最高。,微博用户发表的微博内容具有时序性，本文结合微博的相似度和时间特征进行聚类，得到相同话题微博的集合，其中时间相关性计算公式定义如下：,采用K-Means聚类算法，对微博数据进行K-Means聚类，将得到的类作为时序事件归类的结果，算法的流程如下：,二、课题方案设计与实现,课题的结构和主要内容,1.实验环境,三、试验测试与结果分析,本文采用新浪微博的数据进行实验。利用新浪微博的开放平台（），实验硬件环境为：CPU Inter(R)Core(TM)2 (2.93GHz)，RAM为2G，操作系统为32位的Windows XP，实验工具为MicrosoftVisualStudio2010，数据库为MYSQLServer5.1。,2.实验数据,三、试验测试与结果分析,本实验以“冯小刚”、“郎咸平”、“丁志杰”、“刘挺”、“廖晓义”5个人的5504条微博信息作为实验数据。利用开放平台获取微博信息后，采用JS综合相似度算法进行测试。其中，sim(px,py)公式里的、分别取3组值；simjac(px,py)公式里的1、2分别取三组值；simcos(px,py)公式中1、2分别取3组值。对9组参数取值所得到的结果取其平均值。,（1）=0.5，=0.3 （1）1=0.8，2=0.2 （1）1=0.8，2=0.2（2）=0.4，=0.4 （2）1=0.7，2=0.3 （2）1=0.7，2=0.3（3）=0.3，=0.5 （3）1=0.5，2=0.5 （3）1=0.6，2=0.4,3.实验结果分析,三、试验测试与结果分析,按照综合相似度公式计算微博间的相似度，取5个人微博相似度的平均值，随机选取100条进行传统相似度算法与综合相似度算法的对比，结果如下所示：,对这些微博的时序事件归类结果进行查准率的比较与分析。按照查准率公式：查准率=（检索出的相关信息量/检索出的信息总量）*100%，分别对传统相似度算法与综合相似度算法的时序事件归类结果进行查准率计算，对比结果如下图所示：,三、试验测试与结果分析,课题的结构和主要内容,四、工作总结,已完成的工作：获取个人微博；对获取微博的关键词进行分析，构造适合微博短文本的特征向量；对大量微博的观察，利用微博本身的内容构造出同类词模板；采用K-Means聚类算法对微博数据进行聚类，将得到的类作为时序事件归类的结果；已经对一定数量的微博进行了相