武汉大学专家检索系统设计与实现课件

武汉大学专家检索系统

的设计与实现武汉大学专家检索系统

的设计与实现1基本结构1.引言2.现有系统介绍3.WHU-ES的设计与实现4.总结及不足基本结构1.引言21.引言—需求与挑战越来越多的组织意识到对自身知识，尤其是员工头脑中的隐性知识和员工的专长知识进行有效管理的必要性。然而识别这些知识并加以直接利用却非易事专家的技能和知识存在着分布性、难以量化、难以分级、不断变化1.引言—需求与挑战越来越多的组织意识到对自身知识，尤其是员31.引言—组织专家检索组织专家检索，是指利用组织内外能够表征专家专长的各种文档和资源，识别专家在某给定查询主题（领域）的专长（相关性）程度，并按程度高低排序显示专家结果列表的过程。1.引言—组织专家检索组织专家检索，是指利用组织内外能够表征42.研究现状—已有系统专家专长描述数据库MITREExpertFinder

CSIRO在P@NOPTICExpert基础上构建的

PeopleFinder系统IBMSmallBlue系统2.研究现状—已有系统专家专长描述数据库5武汉大学专家检索系统设计与实现课件6武汉大学专家检索系统设计与实现课件7武汉大学专家检索系统设计与实现课件8武汉大学专家检索系统设计与实现课件93.系统设计与实现系统功能体系结构模块划分模块的实现初步评价3.系统设计与实现系统功能103.系统设计与实现—系统功能采用何种数据挖掘专家专长如何获取这些数据集合如何解决专家专长动态变化特点呈现什么给用户如何呈现3.系统设计与实现—系统功能采用何种数据挖掘专家专长113.系统设计与实现—系统功能通过对已有系统分析研究,对专家专长动态变化特点的考虑,以及对上述的问题解答,我们认为WHU-ES的主要功能:定义表征专家专长数据集类型动态构建及更新专家数据集专家专长（领域）的动态识别检索针对特定查询主题的相关专家专家共现和聚类关系的可视化呈现专家档案自动生成(学院、性别、简介、照片等)3.系统设计与实现—系统功能通过对已有系统分析研究123.系统设计与实现—模块划分Spider模块Assistant模块Indexer模块Searcher模块3.系统设计与实现—模块划分Spider模块133.系统设计与实现—体系结构蜘蛛程序Spider模块网站网页搜索引擎学术数据库其它资源Searcher模块展现专家排序可视化接口检索模型专家-文档候选专家列表文件专家专长资源列表文件专家列表文件专家文档映射文件主题词文件Assistant模块Indexer模块索引网页库SE库学术库其它库索引程序用户3.系统设计与实现—体系结构蜘蛛程序Spider模块网站网页143.系统设计与实现—模块实现Assistant模块资源列表文件--组织内部网页--搜索引擎中关于专家的信息--学术数据库中关于专家的信息专家列表文件主题词列表文件3.系统设计与实现—模块实现Assistant模块153.系统设计与实现—模块实现Spider模块采集组织内部网页信息(子域名,23万网页)采集搜索引擎中关于专家信息(专家名and机构名,21万记录)采集万方数据库中关于专家的论文信息(作者机构:武汉大学,5万记录)3.系统设计与实现—模块实现Spider模块163.系统设计与实现—模块实现Indexer模块规整为网页格式(数据格式不尽相同)解析网页(利用HTMLParser)建立索引(利用Lucene)3.系统设计与实现—模块实现Indexer模块17中文标题:外资利用与新农村建设作者：李志平作者单位：武汉大学,经济发展研究中心,湖北,武汉,430072刊名：北方经贸英文刊名：NORTHERNECONOMYANDTRADE年/卷/期：2007//5栏目名称：货币与资本分类号：F832.48关键词：外资问题；新农村建设；出口带动摘要：利用外资,提高国内农业、农民和农村生产资源的组织基金项目：数据库名：数字化期刊数据库Title:欢迎光临武汉大学电子信息学院Url:/yjsw/%D1%D0%BE%BF%C9%FA%B9%A4%D7%F7%CD%F8/%CD%F8%D2%B3/%D7%DB%BA%CF%D0%C5%CF%A2/zonghe4.htmlContent:欢迎光临武汉大学电子信息学院武汉大学电子信息学院我院10名青年教师获2005年度院青年基金项目资助2006-3-315:31:00党政办刘红2006年3...经过院学术委员会成员的投票,最终确定对以下十位老师给予资助:杨?、杨剑锋、饶云华、邹炼、陈小莉、卜方玲、中文标题:外资利用与新农村建设Title:欢迎光临武汉大学电183.系统设计与实现—模块实现Searcher模块WebUI获取用户查询式;返回排序的专家列表(如何排序?);生成专家共现关系图(利用NetDraw);聚类关系分析;专家档案自动生成;3.系统设计与实现—模块实现Searcher模块19查询式构建Lucene检索接口StandardAnalyzerANDORNOT支持bool查询

查询式构建Lucene检索接口20L

u

c

e

n

e接口专家2=0专家1=0专家3=0…0.99…0.950.890.83…专家1

专家3专家2专家3专家1

专家2RelevantDocsDocsScore√√√√√√0.99+0.830.99+0.890.95+0.83查

询

主

题专家排序模型L

u

c

e

n

e专家2=0专家1=0专家3=0…0.921武汉大学专家检索系统设计与实现课件22聚类关联分析SNA(社会网络分析)按学院(系)聚类聚类关系提取

聚类关联分析SNA(社会网络分析)23武汉大学专家检索系统设计与实现课件24专家档案生成基于和候选关键词共现抽取检索结果

学院、系；(学院和系列表)

性别；(男、女)

职称；(教授、副教授等)基于特定规则抽取搜索引擎返回结果

研究方向；(…研究方向…)

个人简介；(…专家名…男…武汉大学…)基于图片检索(ExpertPicExtractor)

专家照片提取

(图片采集+文本分析+人脸识别)专家档案生成基于和候选关键词共现抽取检索结果

学院、系；(学25ExpertPicExtractorExpertNameGoogleImageImageWebPageImagesImageWebPageFaceDetectorContentAnalyzerExpertPicMergeExpertPicExtractorExpertNam26武汉大学专家检索系统设计与实现课件273.系统设计与实现—效果评价Note:笔者设计了武汉大学社会科学部、理学部等六大学部共50个查询主题（Topic），并将检索返回的专家列表（利用从搜索引擎上采集的专家数据集）连同查询主题做成调查问卷，送给相关专业人员进行评价，获得各查询主题的P@5和P@10得分，取平均值，得到的评测结果如表所示。

表4.1WHU-ES专家识别效果测评值所属学部查询主题P@5P@10社会科学部140.87140.7786人文科学部90.71110.4889理学部90.71110.5222信息科学部70.74290.5714工学部60.83330.6333医学部50.60000.5000总计500.76400.60603.系统设计与实现—效果评价Note:笔者设计了武汉大28表4.2WHU-ES专家档案信息提取效果测评值所属学部专家数专家肖像专家学院专家性别专家职称专家简介社会科学部140.50000.92860.85710.92860.6429人文科学部90.22220.88890.88890.88890.5556理学部100.20001.00001.00000.90000.5000信息科学部60.50001.00001.00001.00000.6667工学部60.50001.00000.66671.00000.5000医学部50.60001.00001.00001.00000.6000总计500.42040.96960.90210.95300.5775表4.2WHU-ES专家档案信息提取效果测评值所属学部专家294.总结实现了从不同数据集层面挖掘和评价专家专长实现数据集的动态采集和更新实现专家共现聚类关系的呈现4.总结实现了从不同数据集层面挖掘和评价专家专长304.总结系统的功能进一步予以完善，不仅要考虑专家与文档级的映射关系，还要考虑其与具体的章节甚至段落等片断信息的映射，以提高专