吉大信息检索研究生ppt.ppt

,Internet信息检索技术,吉林大学软件学院,一、本课程的内容,开放信息（搜索引擎）泛搜索,非开放信息（专有数据库）专门网站、权限管理,二、本课程的意义,提高利用Internet的学习能力扩大知识视野浸润信息思维枯燥无用感增强知识面+方法论思考微观+宏观,三、关于考核,课件为主结束后1次作业独立查询、思考完成关于纪律,四、现代信息与知识,4.1信息的概念,春来秋去相思在，秋去春来信息稀唐朝鱼玄机闺怨梦断美人沉信息，目穿长路倚楼台南唐李中暮春怀古人欲传春信息，不怕雪埋藏南宋诗人陈亮梅花香农定义用来消除随机不确定性的东西哲学本质、特征和运动规律的反应,四、现代信息与知识,4.2现代信息,微电子技术计算机技术通信技术软件技术计算机技术和通信技术的融合数字通信越来越像计算机系统计算机网络已是彻底的数据通信我校信息学部（计算机软件通信电子）学院特征数字技术微处理技术,四、现代信息与知识,4.3信息定律,摩尔定律微处理器处理能力18月翻番生物系统、量子芯片、蛋白芯片贝尔定律处理能力不变前提下，芯片体积和价格18月减半吉尔德定律带宽6个月翻番；上网将免费迈特卡尔定律（3COM；ARPANET）网络价值和网络节点数量平方正比,四、现代信息与知识,4.4信息内容阶段,数据信息知识价格数据西北地区钢板价格下降幅度小经济发达地区受金融危机影响大,四、现代信息与知识,4.5知识的概念,信息的条理化和系统化产生了知识，人类对于客观世界的认识和归纳哲学分类感性知识未经逻辑加工理性知识国际分类知是飞碟知因潮汐知如写软件知谁人才,四、现代信息与知识,4.6信息社会,3C（通讯化、计算机、自动控制化）社会4A社会（工厂、办公室、家庭、农业自动化）1962年日本科学家提出多媒体技术和信息高速公路技术的飞速发展成了可能成了特征信息应用渗透到各个领域军事和农业社会&工业社会的区别就是知识改变了经济领域波音飞机和袜子,四、现代信息与知识,劳动力的结构发生了改变国民经济中，信息化产值已经占到优势印度奇迹、华为公司的崛起知识成为社会、发展的主要资源微软“经济建立在知识的生产、分配和使用上“是主要特点,4.7知识经济,四、现代信息与知识,4.8知识经济误区,知识经济时代设备、系统、人才企业制度企业文化信息化流程再造组织再造,四、现代信息与知识,4.9信息革命,工业一次革命蒸汽机畜力机械工业二次革命电的使用能量传送工业三次革命信息革命改变人类自然能力最后区域，即思维（1）经济韩国三星（2）行业服务行业的发达金融业的变化（3）企业CADCAMCRM（4）管理集中和分布（5）文化组织形态松散、上下扁平化、知识结构的黑盒内外（6）政治虚拟社会网络力量国家（7）军事武器士兵对抗（杀人毁工业毁信息）,四、现代信息与知识,4.10信息革命,发展国家的机会一次英国崛起二次美国独大苏联解体遏制优先原则我国的机会工业化未完成同学们的责任和机会灾难：社会变化远远落后于技术的变化管理机制落后不是理由：印度的电影和软件爱沙尼亚虎跃计划美国独大宽容失败挑战勇气学习意识欧洲惯性太大过分依赖政府否定市场德国落后日本风险投入太小美国依赖intel和微机险胜日本人类的想象是唯一的限制规范化是我国的瓶颈但是信息化不是社会发展的全部,四、现代信息与知识,4.11信息领域问题,内容：农业信息化电子商务电子政务信息化企业各自为战管理不规范、恶意竞争企业：自己做买-外包小农经济大鱼吃小鱼个体的惯性意识、传统文化影响的消除几代信息从业者前赴后继的努力向民航学习,四、现代信息与知识,过去10年成功项目25失败项目25超出预算不能运行运行故障关键成熟技术经验最高决策的意志企业再造三分技术七分管理,4.12信息化项目关键,四、现代信息与知识,经济治理降低网络接入门槛；降低知识产权保护度政治治理如何保护个人信息空间；网络犯罪文化治理网络文化；不良信息社会治理网络实名制国家治理国界？数据流向越境？,4.13数字世界治理,四、现代信息与知识,信息资源优化生产力（三分钟）信息资源投入促进其它资源的增值信息产品、信息服务本身直接创造财富高科技竞争人才竞争（专业技能信息素质）信息对社会的影响（秦始皇）（亚洲的汉语）,4.14信息财富？,四、现代信息与知识,信息意识信息敏感性和自觉性（牛顿苹果，我的QQ）信息能力快速敏捷的掌握能力（唐骏说专业不重要）交流能力（别人知道你行的途径）个人知识个人拥有的基本知识方法论,4.15信息素质,四、现代信息与知识,经济结构和就业结构发生了重大的变化服务业需求高于物质生产部门；脑力劳动者数量激增；15年来8000工种消失产生5000工种跨行业发展的思想准备不断学习是生存的本领与手段,4.16数字化生存,四、现代信息与知识,共享性相对载体独立；不要太保守非有限、稀缺性取之不尽驾驭性可以决定物质能量（网络攻击）对象的选择性（金戒指VS笔记本）财富（农业货币货币信息资源）,4.17信息资源的特点,四、现代信息与知识,信息总量剧增与个人学习能力有限的矛盾2003.7数据：97万mail/分钟；Web数据53天翻一番；信息时空的空间时间化、时间精神化；信息量的剧增与信息质量无保证的矛盾学会如何学习（利用Internet）,4.18信息资源与学习的矛盾,四、现代信息与知识,4.19互联网使用情况,五、信息查询基础,就是根据特定的需求、运用某种检索工具、按照一定的方法查找所需信息的过程。对应的过程是信息存储,5.1信息检索的含义,五、信息查询基础,按照检索对象划分（1）文献检索找资料（学习C+）（2）数据检索确定某事情的数据（面试题）（3）事实检索确定某件事情（中国的省份）按照检索方式划分（1）手工检索（2）计算机检索（单机检索-网络检索-智能检索）,5.2信息检索的类型,五、信息查询基础,就是根据特定的需求、运用某种检索工具、按照一定的方法查找所需信息的过程。信息整理排序查询关键词匹配结果检索工具负责传递关键词和进行匹配,5.3信息检索原理,五、信息查询基础,狭义上是指书刊资料；广义上指信息载体四个要素：内容、物质载体、符号系统、记录方式文献内容：具有物质性、时效性、转换性、共享性、传递性、可识别性、可伸缩性、模糊性等；载体：兽骨竹简纸-磁介质-半导体光介质符号系统：图画、文字、编码、多媒体记录方式：写画、雕刻、印刷、摄制、录音（可转换）非文献信息源不作为讨论对象,5.4信息源文献,五、信息查询基础,纸质文献微缩文献（数字水印）磁盘和光盘,5.5文献信息源类型（按照载体分类）,五、信息查询基础,印刷型（空间大）声像型（直观，专用设备）电子型（数字和模拟）网络型（CERNET）,5.6文献信息源类型（按照记录方式分类）,五、信息查询基础,零次文献（未公开于社会）一次文献（原创、首次发表）二次文献（检索性文献源）三次文献（系统综合概括）如百科全书、年鉴、进展报告,5.7文献信息源类型（按照加工深度）,五、信息查询基础,图书（50页以上的印刷品）ISBN(InternationalStandardBookNumber)国家出版者序列号校验码期刊（连续出版物、新颖）ISSN(SeriesStandard)核心期刊（1:a:a2。）,5.8文献信息源类型（按照出版形式）,五、信息查询基础,报纸（周期最短的连续出版物、不系统）网络新闻所替代专利文献（法律、技术）发明专利、实用新型专利、外观设计专利标准文献（ISO、IEEE）世界、国家、行业、地方、企业多级标准,5.8文献信息源类型（按照出版形式）,五、信息查询基础,学位论文（学士、硕士、博士）本单位收藏外国家还指定单位收藏科技报告（尖端学科的最新进展）绝密、机密、秘密、非密、解密报告档案文献（国家机构、社会组织）文书、人事、会计、科技、产品等产品样本（产品目录、产品样本）,5.9文献信息源类型（按照出版形式）,五、信息查询基础,白色文献公开或者内部出版的，正常渠道流通灰色文献非正式渠道，如学位论文黑色文献基本不能得到，如日记、信件,5.10文献信息源类型（按照公开程度和获取的难易程度）,五、信息查询基础,实物信息源任何商品都是口头信息源不具有记载性，信息质量不一，如电话,5.11非文献信息源,五、信息查询基础,内容特征主题途径和分类途径形式特征作者、机构、号码、引文,5.12信息检索途径（本质）,五、信息查询基础,分类途径中国图书馆图书分类法（中图法）国家推荐，A-Z共26种分类（T代表工业技术）中国科学院图书馆图书分类方法（科图法）人大法杜威十进制分类法、国际十进分类法、美国国会图书馆图书分类法（26类）,5.13信息的检索途径（文本）,五、信息查询基础,主题词途径规范化的词汇，专业性强专指性强，但查全率低关键词途径自然语词、专业性弱同义、近义、多义词容易造成误差，但可以通过限制其它特征解决摘要全文（分词技术）,5.12信息检索途径（盲搜索）,五、信息查询基础,记录信息划分印刷型+数字型信息完备性全文+二次信息边界专门数据库+搜索引擎,5.13检索工具分类,五、信息查询基础,多媒体检索依赖外部特征仍然是文本检索内部特征包括颜色、纹理、对象基于内容的多媒体检索目前仍然是难题,5.14信息检索面临的难题,六、信息检索技术,布尔逻辑检索技术截词检索技术位置检索技术全文检索技术自然语言检索技术多媒体检索技术,6.1组成,六、信息检索技术,逻辑与AND*逻辑或OR逻辑非NOTAB（含A但不含B）,6.2布尔逻辑检索技术,六、信息检索技术,有限截词？无限截词*后截词（前方一致）aa?前截词（后方一致）中截词前后截词一般是作为选项出现,6.3截词检索技术（部分一致检索技术）,六、信息检索技术,（F）同字段邻接（P）同自然段邻接（S）同句邻接（nN）有间断无序邻接（n个词间隔）（nW）有间断有序邻接（n个词间隔）,6.4位置检索技术,六、信息检索技术,“INCHINA”整个句子匹配“-”表示大小写不敏感实际上是无间断有序邻接,6.5字符串检索技术,六、信息检索技术,文字、图像等基于内容基于统计分割统计算法不同检索结果可能不同相对“词“检索技术而言搜索引擎一般采用这种技术,6.6全文检索技术,六、信息检索技术,提问式语义检索中国有多少重点大学？简单直接但是不容易实现（模糊）,6.7自然语言检索技术,六、信息检索技术,基于内容目前还是基于视觉或者听觉特征的编码、压缩技术颜色、纹理、形状、空间等特征3D技术、浏览和摘要Google；考驾驶证、大桥变形,6.8多媒体检索技术,六、信息检索技术,布尔模型（结果直接但是不精确）向量空间模型（查询和结果向量化）潜在语义索引（挖掘和推导）概率模型统计模型（语言处理）结构化模型,6.9信息检索模型,六、信息检索技术,面向系统的相关性面向用户的相关性相关性评价用户相关性反馈,6.10相关性研究,六、信息检索技术,需要并行性能的问题分布互操作性问题,6.11并行与分布式检索,六、信息检索技术,人工智能学习能力、主动智能代理相当于服务员机器学习、知识发现、自然语言理解,6.12智能检索,六、信息检索技术,光盘存储的意义便宜、实效长、安全光盘塔容量小联机检索信息组织格式兼容、病毒人们短时间内不会放弃光盘检索（EI光盘检索的意义）,6.13光盘与联机检索技术,六、信息检索技术,匹配机制如忽悠消歧统计消歧、手工消歧专有名词与音译研究中间语言基于理解的翻译评价模型和测试集支持汉语的不多,6.14跨语言检索技术,六、信息检索技术,知识检索超越文献检索信息的度量与组织以语义代替语法专有名词与音译研究语义网计算机与人交互尽可能驱动计算机的过程知识链、知识推理、神经网络网格计算,6.15知识元检索技术,六、信息检索技术,抽取信息并存储文本理解、文本挖掘。Net生成报告功能word生成摘要功能英语较好汉语台湾大学和新加坡基于规则、基于概率、基于策略以XML表示的趋势,6.16信息抽取,2019/12/13,57,可编辑,六、信息检索技术,新闻管制、娱乐、电子邮件、流出保密关键词、兴趣评价协作、经济模型,6.17信息过滤,六、信息检索技术,网格驱动力主要来自科研需求高性能计算和资源共享处理规模超大T和千T&G资源种类包括计算能力沙漏体系结构代替传统的分层结构,6.18网格知识管理技术,六、信息检索技术,Web服务资源层、Web服务层、服务层和应用层服务定义、发布、发现、调用SOAP服务的组合,6.18网格知识管理技术（架构）,六、信息检索技术,机器人（蜘蛛）聚类存储网页抓取策略（优先、重复、重访）抓取速度和搜索速度,6.19搜索引擎,七、信息检索方法,基于时间顺序的顺查和逆查抽查,7.1常规法,7.2工具法,有序化、系统化的产物系统、高效,七、信息检索方法,利用参考文献顺藤摸瓜追溯检索法迭代使用引文法引文索引法基于参考文献利用工具，如科学引文索引,7.3引文法,七、信息检索方法,逐步缩小范围结果中查找一般可以无限使用,7.4二次检索法（进阶法）,八、信息检索工具,存储过程查找过程一次文献为蓝本解释文献特征提供多种检索手段,8.1检索工具的含义,八、信息检索工具,字顺法按字的顺序部首、音序等五笔分类法按性质中图法经史子集主题法按主题百科全书时序法按时间年表、大事记地序法按地理或者行政区划地方志、地图,8.2检索工具的排检方法,八、信息检索工具,手工计算机数据库参考、全文、事实数据库参考数据库存储二次文献；全文数据库对应一次文献；事实数据库主要是公式黄页等网络检索参考文摘全文交互四个类型网址簿、索引目录、引擎、BBS,8.3检索工具的类型（按信息存储手段）,八、信息检索工具,检索事实的工具字典、百科全书检索专题的工具图书期刊等中国期刊网二次检索工具几大检索网络,8.4检索工具的类型（按信息特征）,八、信息检索工具,国家书目、专题书目、推荐书目外表特征检索各类描述等内容特征检索分类检索和主题检索,8.5书目,八、信息检索工具,外表特征提取排序常见形式：期刊索引、报纸索引、会议索引非常见：引文索引（SCI）描述引用关系文集索引（鲁讯评论、内台港澳外）书评索引（关于经济的书）,8.6索引,八、信息检索工具,题录单个文献外表特征的描述文摘比题录更深入，一般有内容摘要文摘工具的结构编撰说明、文献分类表和主题词表、文摘部分、索引部分、资料来源与全文检索结合使用,8.7文摘,八、信息检索工具,分析并确定要求检索的重点、关键词确定检索方式&检索工具检索途径与方法（逐步求精、高级检索）优化检索策略检索结果的整理鉴别比较、归类整理、分析获取原文密切有关信息：出版物、文献信息途径：图书情报、馆际协作、全文数据库、联系出版商,8.8信息检索的步骤,八、信息检索工具,查全率检索量/相关总量查准率检索量/检索相关量影响因素：检索策略、逻辑关系等检索工具好坏：相关度、功能延展、运行速度内容&链接高级检索并行计算,8.9检索效果评估,九、事实数据工具,包含大量事实数据的数据库包括字典、辞典、手册、百科全书等,9.1什么是？,九、事实数据工具,9.2字典、词典,纸质与光盘现代汉语词典牛津英汉词典万方光盘金山词霸457854条汉英词汇其它剑桥在线www.cup.cam.ac.uk/esl/dictionary元在线词典432个网上词典联立搜索多语言词典/rbeard/diction.html130种语言的400多部词典英俄双向public.elvis.ru/denis/dict.cgi,九、事实数据工具,9.3百科全书,Encyclopedia，希腊语，循环的周期的教育明代永乐大典最早的百科全书国内的现有百科全书是20世纪初期西方引进“百科“指众多学科，“全“指系统完整之意美国百科全书、新不列颠百科全书（1768年）、科利尔百科全书中国大百科全书（74卷）简明版12卷均有光盘,九、事实数据工具,9.3百科全书网络资源,不列颠百科全书的电子版本收费可免费14天美国百科全书computer-,九、事实数据工具,9.4名录,人名录国际名人录、今日科技界名人录机构名录中国电子企业名录中国旅游行业名录美国企业在华名录企业市场宣传的手段之一,九、事实数据工具,9.5年鉴,按年度出版的资料性工具书，又称年报、年刊百科全书的重要补充中华人民共和国年鉴宪法、地理、国家机构、祖国统一等中国人物年鉴世界年鉴和资询年鉴相似均为纽约出版历史、政治人文中国年鉴网中国年鉴数据库:7777/seayk.htm搜索,九、事实数据工具,9.6手册,围绕某课题而展开指南、大全、总览、要览都是世界政治手册、中国分省概况旅游手册中国农业指南/cia/publications/factbook/index.html世界大全美国中情局出版美国指南中文搜索引擎指南中国认证网址大全中国保健大全,九、事实数据工具,9.6手册,出国手册中华涉外网数码摄影完全手册PDA开发手册,九、事实数据工具,9.7图录,图像汇集并配又文字说明图册、图谱、图集、图鉴都是中国动物图谱、花卉资源原色图谱地图公园中国、世界地图及知识城市通地图服务网本草图谱赏析www.gy-,九、事实数据工具,9.8表谱,包括年表、历表以及专门性表谱等中国历史纪年表、中国历史大事年表戚继光年谱古国网四库全书各朝代年表,九、事实数据工具,9.9部分典型事实数据库,中国资讯行总部在香港涉及政治、经济、军事万方数据库国内最大信息库新华社多媒体数据库中文&外文工具书参考咨询系统:7777/tool/tool.htmDialog商情数据库全贵难联机化学数据库包括基因数据,十、图书检索工具,10.1电子书,Adobe公司的PDF格式版权问题超星数字图书馆863示范工程项目4亿页、30000GB个人买卡或者集体镜像书生之家7000种书在线阅读中国数字图书馆www.d-国家图书馆方正中文电子书网有免费下载世纪顶新外文图书馆,十、图书检索工具,10.1电子书,OCLCNetLibrary电子图书复旦大学引进IP认证SpringerLink德国link.springer-期刊、图书文摘电子书的特点是各自为政还有很长的路需要走,十、图书检索工具,10.2实物图书馆&销售书目&即将出版,联机检索书目如清华大学先查到书目，再去索书中华读书网,十一、期刊查询工具,11.1概述,1980年我国期刊不到3000种，1.5亿册2001年9000种30多亿册美国14700种阅读期刊优先于电视占到科技信息源的65%-70%最早诞生于1665年1月5日学者杂志法国期刊信息内容引文直接电子出版和纸质出版后上网最重要的检索工具,十一、期刊查询工具,11.2网络期刊全文数据库维普中文科技期刊数据库,重庆维普资讯公司,十一、期刊查询工具,11.3网络期刊全文数据库中国学术期刊全文数据库,CNKI中国知识基础设施工程项目主办题录文摘全文于一身分类检索（导航）&初级检索（）&高级检索CAJViewer全文浏览器吉林大学图书馆镜像,十一、期刊查询工具,11.4网络期刊全文数据库Elsevier,荷兰精品渠道：清华大学图书馆&上海交大图书馆PDF格式Adobe公司产品快速检索（）&简单检索（限定排序等）&高级检索,十一、期刊查询工具,11.5网络期刊全文数据库SpringLink,德国IP地址控制渠道：清华大学图书馆&中国科学院PDF格式Adobe公司产品浏览&快速检索（基于关键字）&基本检索（基于内容）&高级检索,十一、期刊查询工具,11.6网络期刊全文数据库IEEE/IEEElectronicLibrary,美国电气电子工程师学会和英国电气工程师学会所有出版物的全文数据库每周更新一次等于世界业内论文的三分之一PDF格式Adobe公司产品CALIS全国工程文献中心组织30所大学购买使用权不需要登录IP地址限定浏览&基本检索（基于内容）&高级检索,十一、期刊查询工具,11.7网络期刊全文数据库ACM全文数据库,美国计算机学会（1947年创建）29种期刊170种会议文献150万参考文献清华大学渠道PDF格式,十一、期刊查询工具,11.8期刊二次查询工具,马斌读报新华文摘、全国报刊索引、中文核心期刊要目总揽全国期刊联合目录0/catalog/default.htm中国科学文献数据库:81/cgrs,十一、期刊查询工具,11.9电子期刊网站,科学在线自然基金委、科技部中国报刊网站万方&中国期刊网HighWireP斯坦福大学主办免费643119篇全文,十二、报纸信息查询工具,11.1一次工具,维普报讯科技部中国重要报纸全文数据库清华大学中国期刊网主办,十二、报纸信息查询工具,11.2二次工具,报纸杂志地址报纸观察报纸评论、推荐等报刊信息咨询网421种报刊图书进出口公司主办中国报刊网www.china-7000种人民网人民日报网络版发展而来新华网新华社成立于1931年泰晤士报www.timesonline.co.uk华尔街日报收费,十三、专利信息查询工具,IPC（国际专利分类表）部、分部、大类、小类、主组、分组等划分层次专利内容：专利号、正文、权利要求、日期等中国专利文摘库,十四、标准信息查询工具,标准就是游戏规则中国标准服务网国家主办，提供国外链接中国标准咨询网收费服务ISO（国际标准化组织）www.iso.chIEEE标准美国国家标准项目监理,十五、会议信息查询工具,学术会议是最及时的工具国际会议、地区会议、全国会议中国会议全文数据库1/zyjs/zyjs05.htm万方数据库会议论文、会议预告IEEE会议全文数据库/xpl/conferences.jsp中国会议网,十六、学位论文查询工具,中国优秀博硕士学位论文数据库包库方式UMI公司国内镜像1861年来万方数据每年更新CALIS高校学位论文库30全国文献中心50所高校国家图书馆学位论文中心教育部指定中科院学位论文数据库,十七、科技报告查询工具,公开、国内、内部、秘密、机密、绝密；国家&省部总结性质、前瞻指导性质国防科技报告(文摘)中国航空(文摘)国务院发展研究中心美国国防部、能源部,十八、集成文献外文查询工具,收录多种文献类型，方便用户类型不明或跨类型的需求OCLC（OnlineComputerLibraryCenter）/FSIP8亿馆藏地点、900万论文、7500种期刊支持中文简、繁体基本检索（域固定）、高级检索（域不固定）、专家检索（编辑表达式）结果形式：一览表、详细内容、检索历史,十八、集成文献外文查询工具,SCI（ScienceCitationIndex）科学引文索引美国科学情报所主办SSCI和A&HCI是其姊妹篇文献的引用关系揭示了文献及所属学科之间的内在联系引文索引提供了一个文献被索引论文的全部的查找途径原文、引文、文献耦合、同被引、自引对引文及规律的分析是人们选择期刊、评估领域的途径SCI、EI、ISTP、ISR并称四大检索源,十八、集成文献外文查询工具,期刊3500种、80种文字支持光盘出版、联机数据库出版、Web形式被