数字环境下的情报研究

数字环境下的情报研究

相关方法、技术、工具管窥陆伟武汉大学信息资源研究中心背景信息爆炸性增长2006-2010中国网页规模变化（CNNIC）2006-2010中国网民规模变化(CNNIC)2006-2010中国网站规模变化(CNNIC)信息存在的状态格式差异巨大

--Multimedia,differentfileformat,differentdatastructures--Freetext,Semi-structured,Structured分布各异--differentserver,differentos,differentdb粒度不同

--Collection,Document,Section,Para,Sentence,Phrase,Word.介绍视角信息获取与组织情报分析与挖掘情报可视化其它信息获取与组织传统信息获取方法社会调查（问卷调查）访谈头脑风暴追溯法...网络信息获取方法网络爬虫技术（广度/深度优先遍历）元搜索技术（多搜索引擎结果整合）动态网页获取技术（asp/jsp/php）用户登录、验证码识别技术Ajax数据异步传输解析技术文件格式转换（PDF\WORD\EXCEL2TXT）多语种信息获取多语种信息获取与组织跨语言搜索技术多语种信息组织与整合方式跨语言信息检索将查询条件翻译成与查询文档集相同的语言将查询文档集翻译成与查询条件相同的语言同时将两者映射到与具体语言无关的语义空间Google\Googletranslator多媒体信息获取与组织图像信息音频信息（演讲、音乐）视频信息混合媒体（图、文、声、动画等的两种以上）多媒体获取方法基于概念:采用文本

--ordinarybodytext,metadata,closecaptions基于概念化:--Convertsomethingelsetotext,eg,--viaOCRrecognitionofwordsintheimages;--speechrecognitiononspokenmaterial基于内容:consideringmediafeatures概念与内容的归并多媒体档案管理,指纹密码,视觉跟踪,舆情监控,暴力色情识别等数据清理细粒度信息抽取抽取商品的规格、价格等元数据抽取实体信息文本主题识别关键词抽取技术文本主题发现技术网页正文提取正文提取技术定义：抽取网页中的正文内容，清理HTML标签和广告、导航等信息。方法：基于模板的方法基于DOM树结构的方法基于标记框的方法投票算法信息采集工具Heritrix：基于java的开源网络爬虫网络信息采集大师HTMLParser：网页清理工具网络新闻收割机NEWSREPER,WHU-REAPERWHU-REAPER核心功能网站自动采集网页自动抓取对象智能识别正文自动抽取关键词提取自动分类聚类多粒度检索情报组织新方法传统信息组织方法目录、主题、人工分类等新的组织方法语义网（本体、元数据、资源描述框架RDF）知识地图主题图XML语义网语义网标准和技术语义网三要素*元数据（metadata）*资源描述框架(RDF)*本体(ontology)语义本体构建工具本体构建工具对比知识地图知识地图：知识地图的概念主要是指人类的客观知识，人类的知识结构可以绘制成各个单元概念为节点的学科认识图，知识地图是一种知识（既包括显性的、可编码的知识，也包括隐性知识）导航系统，并显示不同的知识存储之间重要的动态联系。

知识地图构建步骤学科知识地图

专家关系与知识分布情况学科知识地图主题图主题图是一种用于描述信息资源的知识结构的数据格式，它可以定位某一知识概念所在的资源位置，也可以表示知识概念间的相互联系。主题图的基本结构主题图的三要素：主题：主题是主题地图中的基本构成单元，通过主题表述的概念被形式化之后就是话题(subject)，比如“人名”、“书”、“计算机”等

关联：又称联系，关联是描述两个或多个主题间相互关系的联接元素。例如，“Puccini”与“Tosca”两个主题问的关联就是“PucciniistheauthorofTosca”，“Puccini”与“Lucca”间的关联则是“PucciniisborninLucca”。资源:又称资源出处、关系实例、资源指引，是指将主题连接到相关资讯资源的所在之处情报分析与挖掘从分析内容上划分：竞争情报分析方法科技情报分析方法从研究视角上划分：从内容上分析从结构上分析从用户行为角度分析竞争情报分析方法科技情报分析方法重要分析方法分类与聚类意见挖掘模拟仿真（数据拟合）网络分析（社会网络、链接、共引、合著…）共词分析自然语言处理机器学习分类与聚类分类(classification):

给定分类类目，将文本集中的每个文本分到某个或者某几个类别中。聚类(clustering):

根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的类簇012345678910012345678910分类问题举例MultimediaGUIGarb.Coll.SemanticsMLPlanningplanningtemporalreasoningplanlanguage...programmingsemanticslanguageproof...learningintelligencealgorithmreinforcementnetwork...garbagecollectionmemoryoptimizationregion...“planninglanguageproofintelligence”训练数据测试数据类别(AI)(Programming)(HCI)......分类系统结构标注工具机器学习工具模型数据标注的样本分类工具类别预处理预处理训练数据文本新数据文本分类算法K近邻分类方法支持向量机（SVM）分类方法最大熵分类方法决策树分类方法聚类方法将无标记的样本划分到聚类的各个子集中层次聚类法划分聚类................层次聚类凝聚的方法，也称自底向上分裂的方法，也称自顶向下还有许多变形（改进）方法，如BIRCH,CURE划分聚类01234567891001234567891001234567891001234678910K=2ArbitrarilychooseKobjectasinitialclustercenterAssigneachobjectstomostsimilarcenterUpdatetheclustermeansUpdatetheclustermeansreassignreassign自组织映射(SOM)SOM的基础:尽管大脑具有大量的细胞，但生物学研究表明作用并不同。在空间中处于不同位置的脑细胞控制着人体不同部位的运动。2008年传统医药领域

高频词SOM分析结果自动分类和聚类的应用新闻等网页自动分类

类别{政治,体育,军事,…}垃圾邮件过滤

类别{spam,not-spam}文献分类人名消歧多个同名作者中文作者的英文名学科领域热点探测

分类聚类常用工具Weka：集成各种分类、聚类通用算法Lingpipe：提供基于java的扩展平台SPSS：丰富、强大的统计分析工具Matlab：自带强大的模糊聚类包LibSvm:强大的SVM分类工具SOMTOOLBOX基于SOM的聚类工具意见挖掘(情感分析)意见挖掘的产生背景文本信息可分为客观性信息和主观性信息主观性信息的需求普遍互联网产生了海量的主观性信息人工查找和利用的成本高通用搜索引擎无能为力例：网上关于洗衣机的评价？网上关于武汉大学的报道倾向性？武汉市民关于收过桥费的反应？意见挖掘研究内容：利用自然语言处理、信息抽取和数据挖掘等技术识别和分析主观性信息。应用广泛：口碑评价、舆情分析、网络营销、竞争情报等。例：意见挖掘模型抽象模型：<意见持有者,对象,意见>五元模型：<意见持有者,对象,特征,情感极性,时间>扩展模型：<意见持有者,对象,特征,情感极性,情感极性强度,时间>对象与特征的关系特征与情感词的关系武大意见挖掘框架系统OMING情感词表的构建主观信息抽取情感信息分类情感信息的归纳整合意见挖掘通用框架的结构评价细节-OMING系统分析结果展示OMING系统面临的难题否定句的处理比较句的处理垃圾意见的识别情感极性强度的计算指代消解更加有效的摘要合成方式社会网络分析整体网络分析（WholeNetworkAnalysis）产生于社会学领域对一组良好定义社会团队结构进行定量化的分析关注与网络全局结构的识别和分析占SNA研究的大多数

个体中心网络分析（EgoNetworkAnalysis）产生于人类学和心理学对特定个人与其邻居之间互动关系和联系结构进行定量的分析，关注个体行为如何受到其人际网络的影响。将对个体的研究进行一般化难于获取数据

社会网络的应用领域组织管理领域绘制组织内的非正式网络，识别、可视化及其影响评价。组织稳定，信息传播效率，社会资本评价等。市场营销与竞争情报网络构建市场营销网络用于发现潜在客户、合作者和竞争对手识别不同客户的价值犯罪网络用于识别犯罪网络中的关键人物预测可能的犯罪组织911网络Twitter互联网全局图Google人立方搜索人名消歧区分不同的重名人物社会网络分析工具社会网络分析工具分类链接分析定义链接分析法，或称网络连接分析或超链接分析，是以链接解析工具，统计分析软件等为工具，用统计学，拓扑学，情报学的方法对连接数量，类型，链接集中与离散规律，共链现象等的分析，用于Web网络中的信息挖掘及质量评价的一种方法。引文分析对连接分析影响被引次数到入链次数从其开影响因子到网络影响因子从共被引分析/耦合分析到共链分析两种重要算法PageRank算法Hits算法PageRank算法思想：每个网页被量化的价值通过一种递归的方式来定义，由所有链向它的网页的价值程度所决定Hits算法对每个网页都要计算两个值:权威值(authority)与中心值(hub)算法思想：中心页和权威页图示中心值和权威值的计算链接分析对引文分析的影响PaperRank

AuthorRank

共引分析定义共引(Cocitation)又称同被引,即两篇文献同时被后来的一篇或多篇文献所引用,同时把共同引用这两篇文献的文献数称为共引强度,共引强度越大这两篇文献关系越密切。按照其分析单元分类文献共引分析作者共引分析期刊共引分析共引分析步骤1确定分析领域

选择拟研究的学科领域，选择学科范围2确定分析单元期刊、论文或作者3选择分析对象在拟研究的学科领域从大量的数据中选择有代表性的目标文献（论文、作者或期刊）作为分析对象4搜集引文数据并生成共引矩阵共引分析5：将原始矩阵转化为相关矩阵

6数据的综合处理与分析常用的统计分析处理技术主要有聚类分析（clustering）、因子分析（factoranalysis）、多维尺度(multidimensionalscaling)引文分析工具国外的引文分析工具1：WebofScience：SCIE、SSCI、A&HCI(提供CitatationIndex,SourceIndex,CoporateIndex,PermutermIndex四种索引)2：JCR：提供JournalRankings,SourceDataListing,JournalHalf-lifeListin