论共词分析及相应工具软件的设计与开发论文

1、论共词分析及相应工具软件的设计与开发论文论共词分析及相应工具软件的设计与开发论文1概述共词分析是法国文献计量学家于20世纪70年代提出来的一种文献内容分析方法，1986年法国国家科学研究中心的GallonM和LawJ等人出版了第一部关于共词分析法的学术专著，经过几十年的发展，已经被广泛应用到许多领域，产生了大量的研究成果。其思想来源于文献计量学的引文祸合与共被引概念，当两篇文献同时被其他文献引用时，表明它们所研究的主题在理论或方法上是相关的。两篇文献共被引的次数越多，它们的关系就越密切。同理，当有两个专业术语在某学科领域的同一篇文献中同时出现，表明这两个词之间存在一定的关系，同时出现的次数越多

2、，表明它们的关系越密切。共词分析法主要是对一组主题词或关键词两两统计其在每一篇文献中出现的次数，以此为基础构造共词矩阵，通过对共词矩阵变换为相似矩阵与相异矩阵，然后进行多元统计分析，把众多分析对象之间错综复杂的关系以数值、图形直观地表示出来，揭示出这些词之间的亲疏关系，进而分析它们所代表的学科和主题的变化与趋势。2共词分析的过程与步骤运用共词分析法进行研究大致可分为几个步骤进行，在具体的操作中可根据实际研究主题选择合适的分析方法。2.1 确定研究主题与文献选取利用共词分析法基本原理可以概述研究领域的研究热点，横向和纵向分析领域学科的发展过程与趋势，以及领域学科之间的关系等等。确定好研究主题之后

3、即可在数据库中检索相应的文献，去除重复文献、非相关文献后筛选合适的文献作为处理对象。2.2 高频词的选取在分析文献的相关性时，统计分析的过程中如果使用两个完全不相关的词汇进行处理，对统计分析的结果将产生很大干扰，因此，被分析的词汇最好是受控词、被统一标引的主题词，只有这样，利用文献中词语对的共现频次来反映研究主题内在联系的方法才能成立121，因此在研究中通常使用检索的主题词或文献的关键词作为分析对象。将所有主题词或关键词按出现频率的高低顺序排列，选取其中出现频率较高的词汇作为分析对象。确定高频词的方法有两种:一种是结合研究者的经验在选词个数和词频高度上予以平衡;另一种是结合齐普夫第二定律关于低

4、频词分布规律理论来判定高频词的界限。2.3 构造共词矩阵为反映高频词之间的关系，需要将其两两组对，统计每对高频词在同一篇文献中出现的次数，如果两个主题词（关键词）在众多的文献中出现频率高，则说明它们之间的关系密切。如果选取了N个高频词，则它们之间的关系，可以通过构造一个N*N的矩阵计算共现频次来反应。共词矩阵的计算是共词分析中的重要一步，由于统计词对出现的频次值是绝对值，难以反映词与词之间真正的相互关系，因此需要对词频进行包容化处理以反映出两者间的紧密联系的程度。目前各种共词分析文献中应用得比较多的一种方法是采用Chiai系数将相关矩阵转化为相似矩阵和相异矩阵。2.4 采用多元统计方法分析在计

5、算共词矩阵的基础上，采用不同的统计学分析方法，揭示共词中的信息，常用的分析方法有:因子分析、聚类分析法、关联规则分析、多维尺度分析等方法。目前已有学者将新近出现的突发词监测法引入共词分析中开展文献学评价研究。2.5 阐述共词分析的结果共词分析过程是使用统计学以及数据挖掘等方法反映研究主题间的关系，要深入揭示隐含在文献中的知识，必须结合相关学科的知识对统计的结果进行科学分析与合理阐述。3共词分析工具软件的设计开发构造共词矩阵并计算共词频次是共词分析的重要环节，在处理的文献数量很大时，通过手工统计众多主题词或关键词，计算共词矩阵是不现实的。通常可以采用软件进行构建作者和关键词矩阵以分析文献数据，但

6、这些软件比较难以理解和掌握。也有学者通过Microsoft公司的办公软件Excel来进行共词分析，但前期的题录导入、关键词切分与统计等工作还需手工完成，工作量巨大。相比较而n,自主地设计开发一款自动完成文献题录导入、关键词切分与统计、构建共词矩阵、计算共词频次等功能的软件，在实际的科研工作中，可以起到事半功倍的、效果。1.1 系统功能模块软件的主要功能包括文本的预处理、文献题录导入、关键词切分与统计、构建共词矩阵、计算共词频次等，还可以扩展添加数据挖掘的聚类分析等采用多元统计分析方法。文本预处理:将下载的文献规范化处理，去除文本中不必要的空行、特殊字符等，为导入题录做好数据准备。文献题录导入:

7、从文献库中检索下载题录信息之后再导入数据库，由于CNK1维普、万方、中国生物医学数据库等不同的文献库的题录格式不同，处理时需根据实际需要再做变更。关键词切分:文献篇名、作者、关键词等题录信息导入之后，可以分别处理。在做共词分析时，主要是对关键词做统计分析，而关键词在文献中大都用中英文的逗号或分号间隔开来，统计之前需做切分处理。共词矩阵构建与计算:选定高频关键词之后，需要进行共词矩阵的构建与频次计算。其实现方法的讨论在下节中再详细讨论。多元统计方法分析:可以根据需要添加因子分析、聚类分析、关联规则分析等功能，此功能模块属于扩展功能。1.2 利用SQLM合函数计算SQL®高的函数返同的是

8、数据表中匹配指定条件的行数，将题录中的关键词切分存储到数据库的表中，然后以两两组合的关键词作为匹配条件，根据文献编号分组，使用SQL®句进行count计算,如果返同值等于2即表示这两个词在同一篇文献中出现，查询数据集的记录总数即为共现的文献篇数，亦即共词频次。这种算法过程简洁明了，只用两重循环即可计算得出共词频次，省时省力。计算结果存储为一个二维数组，数组的值即为共词矩阵，在实际应用中，第二种算法更为切实可行4 应用举例5 结束语共词分析作为文献计量分析的新的工具，由于具有众多的优越性，使用得越来越广泛。迄今为止，基于关键词的共词分析在学科前沿热点、学科发展、学科研究范式等问题上的研究上已经形成了较为固定的研究方法和套路。但已有