资讯热度统计数据模型

资讯热度统计数据模型方案一、资讯热度设某篇资讯热度值为R，评价指标i的分值为Ni，权重为Qi，对各评价指标以百分制评分，按加权评分法计算出资讯热度，即R=∑Ni*Qi；资讯的特点：1、来源于各网站，可能是一家或多家，各网站受众及影响度不同；2、同一篇核心资讯，不管来自哪家媒体或网站，所属分类大体相同，但不同资讯间所属分类是重要区分点；（即所属分类，与来源关联度不大）3、同一篇核心资讯，在不同的网站上，内容上可能有区别，如内容的原创性、内容完整性、内容披露的时间段等；4、同一篇核心资讯，在不同的网站上，被放置的栏目可能会不同，代表各网站对该资讯的重视度；5、同一篇核心资讯，在不同的网站上，被关注的程度不同，表现为跟帖量、推荐数、转载量等指标；（跟帖量、推荐数见网易新闻）综上，影响资讯热度的评价指标有，资讯来源（a1）、资讯分类/业务重要性（a2）、内容质量（a3）、来源关注度（a4）、市场关注度（a5）；后4项是对资讯本身评分，第一项实质是资讯来源评分。资讯热度的计算，最终是基于排重后的核心资讯来计算，每一篇核心资讯对应一篇或多篇原始资讯，每篇原始资讯有以上除a1外的其余4类评价指标，因此，设一篇核心资讯Z，对应的原始资讯有m篇，分别为Z1,Z2,...,Zm，对每篇原始资讯，按最上方的R值计算方法计算其热度，最后计算∑Ri*a1i即为该核心资讯的热度。需注意的地方：1、以上5个评价指标中，a1、a2较为固定可事先确定，a3、a4、a5各自可能涉及到不同的指标，可参考同样的方法得出最终分值。2、为保证不同核心资讯间分值的可对比性，需保持评价标准的一致，如同一计算公式中，指标分值制要一致，统一采取十分制或百分制；同一计算公式中，指标权重加总为100%。3、从应用的角度，一篇核心资讯的热度，有两个主要的评价主体，披露方和资讯阅读者，披露方的因素可细分为披露方本身评分、披露方细分栏目评分；资讯阅读者的因素可细分为评论数、装载量、跟帖量、推荐数等因素；其中，披露方本身评分是一篇核心资讯各原始资讯的权重划分指标，披露方细分栏目评分、资讯阅读者各项评分是该核心资讯各原始资讯的细分指标。4、以上提到的其他指标，可供参考实际意义有限，应分配较低的权重。二、概念热度基于TF/IDF算法来计算概念热度，TF/IDF算法记录的是单个词语与单个文件之间的关联度。一个概念可根据关键词、概念定义等因素，划分为多个相关分词，由这些相关分词的TF/IDF值结合计算出概念的TF/IDF值。（一）概念的特点一个概念的关键因素，包含相关别名及关键词（记为Ci）、概念相关事件描述（记为Si）、概念定义描述（记为Mi），三者的热度对概念的热度影响程度不同，可理解为权重不同，一般来说，Ci>Mi>Si；将一个概念的上述三个影响因素，拆分出对应的分词列表，基于各分词在全库热度，计算该概念的热度值；不同概念间，所拆分出的分词，必定存在重叠的情况，且重叠的分词其热度值也必定相同；概念、分词、资讯文件、资讯库之间的关系为，一个概念可拆分为多个权重不同的分词，一个分词存在于多个热度不同的资讯文件中，资讯库包含所有的资讯文件；概念的热度，以相关联的资讯热度体现出来，所以本算法的核心思想是，基于某概念相关联的资讯热度及该概念与资讯之间的相关度，计算出概念的热度。2.2概念热度的计算设概念热度为G，三类分词在资讯库的热度分别为C、S、M，三类分词的权重分别为Qc、Qs、Qm；概念热度计算公式为，G=∑Ci*Qci+∑Si*Qsi+∑Mi*Qmi。各分词在资讯库中的热度（C、S、M）算法相同，先计算某分词在各资讯中的TF/IDF值，记为Ti，Ti=(该词在该资讯中出现的次数a/该资讯中最大的词语出现次数b)*log(出现该词的文件数m/资讯库中总文件数n)，该分词在整个文件库中的热度如Ci=∑Ti*Ri/∑Ri（Ri为该资讯的热度）。需要注意的地方，不同的概念拆分出相同的分词，该分词基于全资讯库的热度值相等，与所属概念关系不大，所以分两步进行，所有概念拆分出的分词，形成分词列表，记录概念分词关系及权重，再针对分词计算分词热度，可避免重复计算分词热度。三、个股概念相关度个股概念相关度的计算思路，类似于概念资讯相关度的计算思路，见上文，不同之处在于，个股与概念之间的关联因素，不仅包括定性因素，还包括一些定量因素，需要将两者结合起来。（一）可能影响个股投资行情的信息有：1、公司所处行业、地域，见“公司基本信息表”。2、公司主营业务及其地域、行业分布，见“公司研究库”，原材料、供应商、客户、产品及服务、业务分产品、业务分行业、业务分产品统计；3、公司董监事会、股东、实际控制人、公司子公司等，见“公司股东股本、公司董监事会”，股东、实际控制人、母子公司；董监事会任职及持股变动情况等；4、公司投资要点描述，见“个股投资要点表”，投资要点，投资要点说明；5、其他，见“公司重大事项”，股权转让、违规处罚、证券投资、项目投资等。以上所有信息发生异动，都会对个股产生影响，信息异动体现为各类新闻资讯，形成不同的概念；以此，可以建立个股与概念之间的关联关系，并计算出个股概念相关度，个股与概念相关度=个股资讯相关度*资讯概念相关度。（二）计算个股资讯相关度1、若资讯为针对特定个股资讯，则相关度为100%；2、若资讯为针对特定行业资讯，则相关度为该个股所属行业业务占比；3、若资讯为针对多个行业资讯，则相关度为该个股所属行业业务