基于文献的知识发现.ppt

基于文献的知识发现 什么是知识发现 1985年 美国芝加哥大学信息科学荣誉教授Swanson提出了 知识发现 的概念 从公开发表的非相关文献中发现某些知识片段间的隐含联系 并在此基础上提出科学假设或猜想 引导科研人员进行攻关或实验 从而发现新知识 6 1基于相关文献的知识发现 什么知识发现 本书将知识发现定义为 从公开发表的文献之间的关系中 发现某些知识片段之间的隐含联系 这种联系可以是相似或同一学科之间的联系 也可以是看似不相关文献之间的联系 可以是横向的联系 也可以是纵向的联系 通过这些联系 可以发现科学发展的脉络或者引导人们提出科学假设或猜想 引导科研人员进行攻关或实验 从而发现新的知识 6 1基于相关文献的知识发现 什么相关文献 相关文献间存在着下列一种或几种关系 引用与被引用 同被同一篇或几篇文献所引用 共同引用了其它文献 研究内容上明显属于同一领域的研究 6 1基于相关文献的知识发现 基于相关文献的知识发现从相关文献的关系中发现科学发展的脉络 或者引导人们提出科学假设或猜想 引导科研人员进行攻关或实验 从而发现新的知识 6 1 1文献计量法 文献计量学是借助文献的各种特征的数量 采用数学与统计学方法来描述 评价和预测科学技术的现状与发展趋势的图书情报学分支学科 目前常用的文献计量学方法是引文分析和H指数方法 6 1 1文献计量法 引文分析法的概念 利用各种数学及统计方法和比较 归纳 抽象 概括等逻辑方法 对科学期刊 论文 著者 研究机构等各种分析对象的引用和被引用现象进行分析 以揭示其数量特征和内在规律的一种文献分析研究方法 6 1 1文献计量法 引文分析法的作用 利用不同角度的引文分析可以达到不同的目的 如 用以评价学者 机构的科研水平 分析科学的发展脉络 研究学科文献分布 确定核心期刊 研究文献用户的需求特点等等 这些工作建立在对大量文献之间关系的研究之上 这就是知识发现与普通文献检索之间的根本不同 也就是前者研究文献之间的关系 而后者只关注文献本身 6 1 1文献计量法 H指数法 2005年由美国加利福尼亚大学圣地亚哥分校的物理学家乔治 希尔施 JorgeHirsch 提出 H指数法同时考虑某研究者的论文数量及其论文被引用的次数 用于评估研究人员的学术产出数量与学术产出水平 例 普林斯顿高等研究院 研究弦理论的粒子物理学家EdwardWitten的H指数是110 这表明他发表的论文中有110篇论文至少被他人引用过110次 6 1内容分析法 内容分析法对各种信息载体上的内容进行客观地 系统地描述和分析 将文字表示的资料转换为数量表示的资料的形式化方法 通过对同一研究领域大量文献的对比分析 寻找他们之间的联系和共同之处 从而得出一个综合的全面客观的结论 完成知识发现过程 6 1 2内容分析法 内容分析有三个基本环节 1 抽取文献样本2 确定分析单位3 文献内容数量化 6 1 2内容分析法 例 60年代对美国来说是一个骚乱的年代 方克豪瑟通过对期刊内容分析 来研究这一时期美国社会所面临的重大问题 他从美国1960年至1970年的期刊中 选出三种最著名的周刊 把这三种期刊在十年出版的全部论文作为他分析的样本 根据论文研究内容对社会问题的重要性排序 结果与盖洛普民意调查的结果有较大的一致性 6 1 3聚类分析法 聚类分析法又称群 集分析 以大量对象的测量或计量为基础 把具有相似性的一些数据组合为同一类的研究方法称为聚类分析法 是定量研究样品或指标分类问题的一种多元统计方法 6 1 3聚类分析法 聚类分析法除聚类分析方法外 分类标引也是一种根据论文内容进行分类的分析方法 但两者存在不同点 聚类分析的类别是未知的 通过一定的统计分析 如词频统计等 确定类别 而分类标引是先有确定的类别 然后再归类 聚类分析的目的在于挖掘隐含的内容类别 而分类标引的目的在于将论文归入给定的某个分类 6 1 4专利技术分析 专利技术分析的作用提高科研效率规避侵权风险了解某一领域的技术分布情况和发展趋势 专利技术分析做为一种知识发现方法 更关注的是专利文献之间的横向和纵向的关系 从而发现专利文献之间隐含的知识 专利地图 专利地图在专利技术分析中具有非常重要的地位 专利地图就是由各种与专利相关的资料信息或者专利公开出版物 以统计分析方法 加以缜密及精细剖析整理制成各种可分析解读的图表讯息 使其具有类似地图指向功能 已经有不少企业通过制作行业的专利地图作为指引自己研发和竞争方向的依据和研究对手的工具 6 1 4专利技术分析 6 1 4专利技术分析 煤气化专利技术的学科分布图 C10石油 煤气及炼焦工业 含一氧化碳的工业气体 F23燃烧设备 燃烧方法F24供热 炉灶 通风C01无机化学C21铁的冶金E21土层或岩石的钻进 采矿B01一般的物理或化学的方法或装置F22蒸汽的发生C02水 废水 污水或污泥的处理C07有机化学 6 1 4专利技术分析 6 1 4专利技术分析 华东理工大学煤气化研究所的一段介绍 煤气化技术最初都是由国外引进 但是存在着成本高 技术依赖性强的弊端 因此我国开始自主开发有关的煤气化技术 而2006年开始逐渐收到成效并开始产业化 华东理工大学的煤气化技术最早2005年就开始产业化了 之后几年的科研成果越来越多 技术日臻全面和成熟 2008年7月31日 华东理工大学与美国Valero能源公司签订实施许可合同 将多喷嘴对置式气化技术应用于Valero公司石油焦气化制氢项目 实施费超过亿元人民币 美国Valero能源公司是美国最大的炼油企业 所建设的石油焦气化制氢项目投资高达30亿美元 该项目采用了众多国际先进能源转化技术 而核心的气化技术选择了中国技术 这是中国首次向美国出口成套大型化工技术 6 1 4专利技术分析 专利申请人的分布图 6 1 4专利技术分析 乙肝疫苗设计专利分析 6 1 4专利技术分析 乙肝疫苗设计专利分析 年代分析 6 1 4专利技术分析 一条新闻 产学研合作基地成为高新技术产业化强力 孵化器 发布日期 2005 01 18已进入临床 期试验阶段的 治疗性乙肝疫苗 今年6月将完成全部临床试验 预计2007年就能投入市场 作为去年7月启动的本市首批科教兴市重大产业化攻关项目之一 治疗性乙肝疫苗 如此快速的产业化进展 归功于企业和高校建立的联合实验室 实际上 一批这样的产学研合作基地已经成为高新技术转化和产业化的强力孵化器 自主创新的成果不断地从联合实验室中走出 6 1 4专利技术分析 一条新闻 研发基地直通产业市场研发乙肝疫苗的联合实验室由复旦大学和江苏悦达集团联手组建 核心技术是拥有自主知识产权的治疗性乙肝疫苗 复旦的科研 人才优势和江苏悦达的资金 管理优势紧密结合 联合实验室则扮演着企业研发基地和高校产学研基地的双重角色 从联系试验医院到行政手续审批 从确定临床试验方案到产品前景分析 科研人员无暇顾及的事情都交由企业来完成 留出了更多研发时间给科学家 在产品投产之前 每年的投入并未给企业带来实际利润 但是组建联合实验室 企业得到了优先受让科研专利的权益 一旦投产 作为一类新药的乙肝疫苗 其产值预计将过亿 6 1 4专利技术分析 6 1 4专利技术分析 6 1 4专利技术分析 6 1 4专利技术分析 6 1 4专利技术分析 6 1 4专利技术分析 专利分析机构和专利分析工具 Thomson集团旗下一个重要产品Aureka Aureka提供了一整套高级分析工具 专利分析报告 专利地图 专利引证树和文本聚类分析 这些工具帮助用户关注于需要及时重要专利 迅速得到分析结果 提供决策支持所需要的信息 此外 图形化分析结果能够帮助您更加有效的与决策层沟通 上海汉光知识产权数据科技公司 华东理工大学图书馆 http 202 120 96 42 6 1 4专利技术分析 相关文献间的关系是非常明显的 尤其是有了专门的引文检索数据库之后 无论是引用与被引用关系 还是共引关系都是很容易发现的 只需要顺着引文这条线或使用内容分析等基于相关文献的知识发现方法总能找到这些关系中所隐含的知识 但是对于非相关文献之间 由于文献在表面上没有反映出有任何联系 所以通过知识发现方法首先是找到它们之间隐含的关系 然后再发现隐含的知识 因此基于非相关文献的知识发现就更加困难一些 华东理工大学图书馆 http 202 120 96 42 6 2基于非相关文献的知识发现 逻辑理论A B A引起B B C B引起C 则A C A引起C 检索理论 非相关文献知识发现可看作是相关性文献检索的扩展和补充 相关性检索是其前提 检索理论是其理论基础 文献计量学理论 共现理论是非相关文献知识发现的理论基础 华东理工大学图书馆 http 202 120 96 42 6 2 1非相关文献知识发现理论的理论基础 1986年 Swanson发现 雷诺氏病是一种病因和治疗方法均未知的血液循环紊乱疾病 有的文献记载了部分雷诺氏病患者血液中有些异常 如血液黏度偏高 又有一些文献记载了食用鱼油能纠正这些异常 如它可降低血液黏度 Swanson将34篇论述血液变化可导致雷诺氏病的生物医学文献分为一组 A 而将25篇论述食用鱼油可引起血液某种变化的生物医学文献分为另一组 C 通过雷诺氏病主题词 B 将两组文献联系在一起 在此基础上 Swanson提出科学假设 食用鱼油会对雷诺氏病患者有益 当时 这一假设并未以任何形式公开发表过 学术界尚未发现食用鱼油与雷诺氏病之间的联系 两年后 这个科学假设被临床实验所证实 华东理工大学图书馆 http 202 120 96 42 6 2 1非相关文献知识发现理论的理论基础 领域知识库关于某领域的一些相关知识 包括专业领域的基本概念 概念之间的相互关系以及概念的约束条件 研究内容 研究分支 研究趋势 甚至领先的研究机构分布 该领域研究的著名专家学者等 领域知识既包括显性知识也包括隐性知识 需要通过各种途径来获取 包括文献检索 实地考察和专家访问等 在知识挖掘的过程中 利用领域知识将取得更好的效果 华东理工大学图书馆 http 202 120 96 42 6 2 2基于非相关文献的知识挖掘 知识挖掘的概念数据挖掘是从数据集中识别出有效的 新颖的 潜在有用的 以及最终可理解的模式的非平凡过程 可以看出数据挖掘所具有的功能非常适合知识发现过程 因此当数据挖掘用于知识发现时就称为 知识挖掘 华东理工大学图书馆 http 202 120 96 42 6 2 2基于非相关文献的知识挖掘 学位论文综述的分析与运用对相关领域内的国内外研究概况进行了全面的总结和分析 提出基本的研究趋势和研究空白 从而阐述自己的研究内容 研究方法和研究目的 在完成学位论文综述的过程中 会应用到多种知识发现的方法 诸如引文分析 聚类分析和内容分析等 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 学位论文综述的分析与运用对同一领域或相关领域的研究人员来说 充分利用前人在文献检索和知识发现方面的工作成果 虽然不能全面替代自己的检索过程 但可以让自己在最短的时间内对该研究领域的研究现状和发展趋势有一个全面的横向和纵向的了解 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 学位论文综述的分析与运用学位论文至少提供给我们两方面的帮助 一方面帮助我们对于该研究领域的国内外现状有个充分地了解 另一方面文末的参考文献为我们提供了文献阅读和文献检索的方向 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 学位论文综述的分析与运用例 分析3篇学位论文 1郭佳 多功能有机 无机聚合物复合微球的制备 表征及其生物应用 复旦大学博士论文 20072张宏 无机纳米粒子 聚合物复合材料的制备与性能研究 兰州大学博士论文 20073陈敏 聚合物 SiO2有机 无机纳米复合微球的制备与表征 复旦大学博士论文 2006 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 学位论文综述的分析与运用分析以上3篇学位论文 得出结论 1 相同研究领域的学位论文 在综述部分有多处内容交叉的部分 2 参考文献都是外文文献居多 所在的年代相似 3 三篇学位论文的参考文献数量有差别 4 参考文献的文献类型以期刊为主 5 了解有机 无机复合二氧化硅微球的国内外常用制备方法的特点及微球的应用领域 这对于后面工作的开展是非常重要的 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 利用内容分析方法完成科研课题例 利用内容分析方法完成学位论文题名 关于国内轿车厂商竞争行为特性的实证研究 结构化内容分析方法在轿车市场竞争行为分析中的应用作者 翁方进专业 企业管理 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 利用内容分析方法完成科研课题的步骤 1 数据来源 2 样本的采集与加工 3 建立分析类目 4 选择结构化内容分析方法 5 分析过程 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 利用内容分析方法完成科研课题的步骤依据这个案例 关于结果内容分析方法的使用 我们可以借鉴这样的流程 提出问题 收集文献并初步阅读 筛选 确定分析类目 提出假说 利用文献制作图表用于横向或纵向的对比分析 验证假说 并得出结论 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 基于非相关文献的知识发现实践 Arrowsmith系统的运用Arrowsmith系统是目前比较著名的知识发现系统 是Swanson教授根据其思想于1991年设计开发的 目前Arrowsmith系统已经推出了多个版本 由过去的数据库记录的标题检索模式过渡到主题词和文摘检索模式 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 基于非相关文献的知识发现实践 Arrowsmith系统的运用案例 Arrowsmith系统用于药物副作用研究 华东理工大学图书馆 http 202 120 96 42 6 3知识发现实践 Arrowsmith系统的主界面 http arrowsmith phy uic e