中期-个人微博中公共事件检测算法的研究

个人微博中公共事件检测算法的研究,目录,目录,课题介绍,个人微博典型的数据特点：1.内容的随机性；2.文本表现形式的多样性；3.时间跨度的不连续性；,如何从大量的、不规则的个人微博数据中精确地提炼出用户在某段时间内所关注的事件，是个人微博信息检测技术需首要解决的问题。,目录,课题方案设计与实现,方案实现的流程图：,课题方案设计与实现,课题重点内容：,提出了由微博转发、赞数和评论组成的流行度概念,课题方案与实现,流行度 流行度是用来评估文本吸引力的。在以往的相关工作中，并没有将流行度应用到个人微博的数据挖据中。公式如下：,通过多次实验，设定为0.5，为0.3，为0.2时，得出的特征值最能反应一条微博的受关注程度。,课题方案与实现,耦合相似度 运用Jaccard来计算不同微博信息之间的关键词重叠数量所占的比重，进而实现耦合相似度的衡量。公式如下 ：,其中分子表示两条微博的分词交集，即重叠数量，分母表示分词的并集。,课题方案与实现,时序相似度 将时序相似度的计算在耦合相似度的基础上进行，这样使得相似度结果更密集，聚类目标更清晰。公式如下：,其中ti和tj分别表示编号为idi和idj的微博发布时间。,课题方案与实现,流行相似度 采用欧拉距离公式计算流行相似度。公式如下：,其中pop(idi)和pop(idj)分别表示编号为idi和idj的微博的流行度，即值越小。,课题方案与实现,综合相似度 分析耦合、时序和流行度三者对综合相似度的影响力，并线性加权，得出两条微博的综合相似度。公式如下：,通过分析每个权重因子的含义及实验，设定、和的值分别为0.65、0.3和0.05，且+=1。,候选聚类词,课题方案与实现,聚类关键词,步骤1：从分词i词性考虑，具体的词性权重；,步骤3：设定提取聚类关键字的阈值,步骤2：聚类关键词受词性和出现次数的影响，故将二者进行乘积运算，再进行二次筛选，计算公式如下：,课题方案与实现,传统的TF-IDF公式,直接应用个人微博数据存在的问题：1.没有结合微博文本特征以及分词的自身特点。2.相同的关键字在不同的短文本中会出现特征值离散现象。3.会出现IDF值高，TF值低的分词被当作关键词提取。,课题方案与实现,改进的TF公式,改进的TF添加的影响因子,词性和词长,词平均流行度,平均词频,改进的IDF,课题方案与实现,词性因子：,词长因子：,Back,课题方案与实现,词平均流行度,其中show(wi,idi)为分词在所属短文本中的出现次数。,f2表示分词在整个分词序列中出现的次数之和。,Back,课题方案与实现,平均词频,f1(wi,idi)表示分词在所属微博中的出现次数，fw(idi)表示分词所属微博的所有分词出现次数之和，f2表示分词在整个分词序列中出现的次数之和，fmax表示整个分词序列表中所有分词的出现次数之和。,Back,课题方案与实现,改进的IDF,IDF=log(N/n)；其中N是语料库中的文本总数，n是包含分词t的文本数。,当N值固定，IDF值会随着n的增加而增大。改进后TF-IDF函数的思想：若分词t在文本d中的特征权值大，而在其他文本中特征值小，说明该分词具有文本鉴别力。,课题方案与实现,改进的TF-IDF,特征关键词,课题方案与实现,模版匹配,1.模板匹配的优点是能够根据关键词快速定位模版信息，也叫正向匹配；,2.模板匹配的缺点是根据关键词匹配出来的模版信息不一定是用户一定关注的事件，此时需进行反向匹配；,目录,实验测试,实验环境,系统配置：Win 7；Pentiun(R) Dual CPU，内存8G，硬盘1T。开发语言及工具：C#、Visual Studio 2010数据库：MySQL、数据库辅助工具： Navicat for MySQL实验数据：利用新浪微博的开放平台（），提取“梁宏达“从2012年11月6号到2013年10月31号的微博信息。,实验测试,改进前后的TF-IDF计算部分结果对比,改进TF-IDF部分结果,传统TF-IDF部分结果,实验测试,模版匹配,1.正向匹配结果,2.反向匹配结果,实验测试,实验结果对比,将算法自动提取的结果和人工标注的结果进行对比，情况如下：,查准率p=自动提取正确主题词的数目/自动提取关键字的数目查全率r=自动提取正确主题词的数目/人工标注主题词的数目,目录,中期工作总结,已完成的工作,公共事件提取