信息检索技术讲义

1、专题二： 信息检索技术本专题内容第一节布尔逻辑检索第二节截词检索第三节位置检索第四节限定检索第五节全文检索第六节引文检索第一节布尔逻辑检索一.布尔逻辑运算符二.布尔逻辑运算符的运算次序三.布尔表达式编制注意事项四.布尔检索表达式的特点（优缺点）检索单元单元词检索？Scomputer 1 3000 computer多元词检索？Sinformation retrieval 2 1300 information retrieval一.布尔逻辑运算符布尔逻辑检索的布尔逻辑表达式是采用布尔逻辑运算符（逻辑与“and”、逻辑或“or”、逻辑非“not”）来连接运算分量（检索词），以及表示运算优先级的括号组

2、成的一种表达检索要求的一种算式，简称提问逻辑式。逻辑与“and”逻辑或“or”逻辑非“not”逻辑或“or”A or B ； A+B信息源中含有检索词A或B的所有信息均为命中对象。逻辑或可以实现扩检，增强检全率ABAB AB布尔或关系文氏图逻辑与“and”A and B； A*B同时含A、B两个检索词的信息为命中信息。逻辑与运算，可以增强查找的专指性，提高检准率。布尔与关系文氏图AB ABAB逻辑非“not”A not B ；AB；B*A逻辑非运算是一种排除性运算，逻辑非运算必须与逻辑与运算同时使用。在实际检索中，常常在一个检索中间结果中使用“非”运算，用来排除指定的其中某类文献，以提高检索的

3、查准率。ABAB AB布尔非关系文氏图二.布尔逻辑运算符的运算次序对于一个布尔检索逻辑表达式，计算机的处理总是从左向右进行的，遵循四则运算；对于运算符or,and,not,它们的运算优先次序在不同的系统中有着不同的规定：DIALOG： notandor对同一个布尔逻辑提问式来说，不同的运算次序将会产生不同的检索结果。练习练习1有关上海市内的河流污染的文献。 A上海市内 B河流 C污染练习2 对日本与美国的军队信息化建设方面进行比较的文献。 A日本 B美国 C军队信息化建设 练习3 有关日本或者美国的军队信息化建设方面的文献。 A日本 B美国 C军队信息化建设练习4 有关除了大米以外的谷物进口的

4、文献 A谷物 B大米 C进口 三.布尔表达式编制中的注意事项（1）概念整体与部分的关系（2）慎用“not”（3）布尔逻辑算符的使用技巧（1）概念整体与部分的关系例如“检索关于欧洲能源问题的文献”欧洲（Europe）； 能源（Energy）Europe*Engergy*概念检索（同义扩展、相关概念的联想） (Europe+Britain+France+Italy+Spain+) *(Energy+coal+petroleum+natural gas+)练习查找“有关上海市内的河流污染的文献。” A上海市内； B河流； C污染 (上海市 + 黄埔区 + 卢湾区+) * (河流+黄埔江+苏州河+暗沟

5、) * 污染(2)慎用“not”避免将非运算和或运算一起使用，否则将会再现滥检现象。检索逻辑not慎用，否则会检索失败。例如：NOT 计算机 OR 软件military aircraft NOT aircraft（computer+software） NOT harware（3）布尔逻辑算符的使用技巧当采用逻辑与“*”连接检索词时，尽可能将出现频率低的词放在“*”之前，其目的是为了使否定的答案尽早排除。（要求较高的查准率）采用逻辑或“+”连接检索词时，将出现频率高的词放在“+”之前，确保命中答案尽早出现。（保证较高的查全率）四.布尔检索表达式的特点优点：与思维习惯一致查找出有关某一主题的文献同

6、时包含主题A和主题B的文献主题A和主题B只要有一种即可获得主题A的文献，但排除其中含有主题B的文献表达方式直观清晰方便扩检与缩检增加逻辑或(扩检)增加逻辑与(缩检)缺点检索输出量难以控制；检索结果不能根据用户的检索需求按重要程度顺序排序输出；对于文献描述与布尔查询中的词汇无重要层次之分；过分依赖于检索用词，检索效果不甚理想。布尔逻辑检索小结布尔检索技术一直是信息检索系统采用的主要检索技术之一。布尔逻辑检索反映了检索词之间的逻辑关系，属于一种定性的信息检索技术，这种定性检索难以分辨出检索结果之间的重要程度。严格的二值逻辑判断，使单纯布尔逻辑检索的结果缺乏“量”的比较。第二节截词检索（模糊检索）截

7、词检索利用检索词的词干或不完整的词形进行检索。在检索标识中保留相同部分，用相应的截词符（ ? # : $ ）代替可变化部分进行的检索。截词检索类型（一）按截断字符数量分：有限截断；无限截断（二）按截词位置分：左截断；右截断；中间截断词干后至多跟与截字符相同的字符数DIALOG child? child+children+childish+childlikeORBIT child#BRSchild$4（一）按截断字符数量分（1）有限截断（Limited Truncation）有限截断一个字符DIALOG technique? ? technique+techniquesORBIT techniq

8、ue#BRStechnique$1?S au=pauling,l?pauling,l+pauling,linus+pauling,linus c+pauling,linus carling?S py=199?检出文档中所有20世纪90年代出版的文献S pollut?pollutant+pollutants+pollute+polluting+pollution(2)无限截断(unlimited truncation)，也称“开放式截断”DIALOG中，词干后跟一个“？”ORBIT pollut:BRS pollut$(二)按截断位置分（1）右截断（right truncation）右截断主要用

9、于：词的单复数 book? Child?同根词color?作者 au=chamberlain, a?出版年py=199?注意：右截断截得过短易造成大量误检。ORBIT 、BRS 有限和无限左截断；DIALOG无此功能。#hydroxy (羟基)dehydroxy+dihydroxy+ hydroxy$2.hydroxydehydroxy+dihydroxy+ hydroxy(2)左截断（left truncation）举例magneticelectro-magneticelectromagneticparamagneticthermo-magneticthermomagneticORBIT :

10、magnetic BRS $.magnetic(3)中截断（internal truncation）中截断,也称嵌入式截词organi?ationorganization+organisationwom?n?woman+womanly+women中截断主要用于第一，单复数在词中元音上变化的情况man men ; goose geese第二，动词与名词拼写的不同advice advise第三，同一单词英美拼写的差异defense defenceORBIT前后截词CHEMICALCHEMISTRYCHEMISORPRIONCHEMISTELECTROCHEMICALELECTROCHEMISTRY

11、PHYSICOCHEMICALPHYSICOCHEMISTRYTHERMOCHEMICALTHERMOCHEMISTRY:CHEMI:主要联机系统拥有的截词功能联机系统右截断左截断左右同时截断中截断DIALOG有无无有ORBIT有有有有BRS有有无无截词检索的作用扩大查找范围，提高检全率；减少检索词的输入量，简化检索步骤，节省费用第三节位置检索(邻近检索)一.概念及作用二.常用的位置逻辑算符三.位置算符的综合运算四.位置非算符在美国商业与工业管理索引 ABI/INFORM查找有关“利用计算机犯罪”的文献ABI/INFORM(Copr. Data Courier Inc.)?s computer

12、 crime 1 0 COMPUTER CRIME ? ss computer? and crime? 2 23428 COMPUTER? 3 1178 CRIME? 4 300 2 AND 3?t 4/4/1 4/4/1Scotland Yard to Battle Escalating Crime with Computerized Command and Control SystemAnonymousComputerworld v16n37 pp: 18-19 Sep 13,1982The Metropolitan Police Force at Scotland Yard has in

13、stalled a computerized command and control system. The system will place Londons bobbies at the vanguard of modern computing and communications technology. When the system is fully operational, the police department will have direct connections with the Police National Computer for immediate access

14、to such information as fingerprint records.一.概念及作用位置逻辑检索(Proximity Searching)通过位置逻辑算符规定词间位置关系所进行的检索。位置逻辑算符即邻接算符，是表示词间位置关系的符号作用表达复杂概念；解决词表规范词数量不足和词表不全的困难；提高查找深度二.常用的位置逻辑算符(以DIALOG为例)位置检索大致包括下列四种级别的检索：(一)词位置检索(二)子字段或自然句级检索(三)字段级检索(四)记录级检索(一)词位置检索（1）(W)或( )词位置顺序紧连With表示(w)连接的两词相邻，词序不变。两词之间可有单个空格、标点符号（连

15、字符）。 ?s solar (w) energy/?s solar()energy可检得含有固定词组“solar energy” 的结果?s on (w) line可检出on line或on-line?s x(w)ray可检出x-ray比较检全率?s solar (w) energy ?s solar energy?s solar and energy（2）(nW) 位置顺序隔词(nWord)（nW），表示（nW）所联接的两词之间可含有0n个词，两词次序不能颠倒。?s law (2W) sea可以检出LAW OF THE SEA?s computer (1W) communication可检出

16、：computer communication;computer and communication;computer for communication?ss computer?(w)crime? S5 154 COMPUTER?(W)CRIME?82027316 Time Bandits Miksanek,Chris Interface: Data Processing Mgmt v7n3 pp:8 Autumn 1982 The cost of computer crime to US businesses will exceed $200 million in 1982. Althou

17、gh theft of computer time occurs in most data processing (DP)centers, very few DP managers are aware of92003058Stop, Thief!/Trends to Eye in 92 Johnson, Bob Computerworld v16n1 pp:72-76 Dec 28,1991/Jan 4,1992 Because the data processed by computers is intangible, unlimited possibilities exist for th

18、e computer criminal to obtain, misuse, or destroy information and, conceivably, ruin and organization. Recent reports have estimated US corporate losses of nearly $100 million because of computer-related crime; the average loss is estimated at more than $600,000.?ss computer?(1w)crime? S6 170 COMPUT

19、ER?(1W)CRIME? (3)(N)词位置紧连(Near)（N）表示算符（N）两侧的检索词必须紧密相连，但两词次序可以颠倒。?s Chemistry (N) Physics可检索到词组Chemistry Physics和Physics Chemistry?s A（N）B（N）CABC；CAB；BAC；CBA(4)(nN)隔词运算(nNear)（nN）表示（nN）两侧的检索词之间可拥有0n个单词，且检索词的次序任意。?s econom? ? (2N) recovery可检出economic recovery;recovery of the economy;recovery from econ

20、omic troubles(二)同子字段位置检索（1）(S)子字段内词运算(subfield；sentence)(S)表示运算符要求参加运算的检索词必须出现在同一子字段中，两词序不受限制，词间可含有任意个词。子字段由数据库确定，可以是句子也可以是段落。?s data (S) process* 只要process，processing或processor和data存在于同一子字段中，即为命中。(2)(L)叙词字段检索（link）(L)要求两检索词同在叙词字段（DE）中出现，并且两词具有词表所规定的等级关系（从属关系）。aircraft 主标题词 agricultural applications

21、 cabins design engines副标题词?s aircraft (L) cabins例子?s rubber (L) natural S11 23 RUBBER (L) NATURAL ?t 11/5/1 97093713 CA: 97(12)93713a JOURNALDESCRIPTOR: Rubber, natural, properties (三)同字段位置算符(F)同字段检索（Field）要求（F）两侧的检索词必须出现在数据库的同一字段中，词序可变，字段类型可用后缀符限定。?s environment? (F) impact/TITHE IMPACT ON THE ENVI

22、RONMENT THE ENVIRONMENT IMPACT ON THE INDUSTRIAL(四)同记录级位置检索（C）记录级“与”运算（Citation）要求各检索词出现在同一文献记录中，与布尔算符“AND”作用相仿。?s remote (C) sensor? 某记录标题中：REMOTE MANIPULATOR文摘中： HEAT SENSORS三.位置算符的综合运算纯位置算符的运算顺序位置算符应按限制的强弱从左至右排列 (W) (N) (S) (L) (F) (C) 位置算符和布尔算符混合使用DIALOG、BRS和 ESA：先做位置检索，再做布尔检索； ORBIT：先布尔检索，后位置检索

23、。DIALOG检索执行的优先级排序括号(W) (N) (S)或( L) (F) NOTANDOR说明运算次序?s redwood (w) deck? (f) patio ?s （redwood or pine） (w) （deck? or floor） ?s (librar? or information) () center? (f) ( productivity or profitability)四.位置非算符NOT反位置运算，作用正好与位置算符相反（NOT W）（NOT nW） （NOT N）（NOT nN） （NOT F）（NOT S）（NOT L）?s cs=harvard ( no

24、t s ) cs=business “Bottom-Line” Management for Public AgenciesLynn, Laurence E.Jr. Harvard Univ. Kennedy School of Government; Seidl, John M.-Stanford Univ. Graduate School of BusinessHARVARD BUSINESS REVIEW, J/Feb 1977, p.144DOCUMENT TYPE: HBR ARTICLE ?s soybean industry ( NOT L ) (Japan OR United

25、States ) 题名：Grain legumes production in Asia DE:Bean industry-Asia-Congresses; Legume industry- Asia-Congresses; Soybean industry-Asia-Congresses; Peanut industry-Asia-Congresses; Grain trade-Asia-Congresses ?s pig? ( NOT N ) Guinea Internal parasitism of feeder pigs in southern Illinois.Pig rearing

26、 and the domestication process in New Guinea and Torres Strait region第四节限定检索一、字段限定检索字段限定把检索词限定在特定字段中，以缩小文献查找的范围。?s television ?s television/tiDIALOG数据库所有查找选项(一)基本索引的后缀限定 /TI /AB /DE /DE*/ID /ID* /TX 用法：A.对检索词加单个或多个后缀s tension/ti,de B. 对用位置算符连接起来的检索字符串加单个或多个后缀s pop (w) top (f) can? ?/ti,abC.对用布尔算符连接的

27、一组检索式加单个或多个后缀s (urban planning * transport)/ti,ab s contaminant? or pollutant?/ti,des budget?/tiD.对集合号加单个或多个后缀?s leukemia(白血病) S1 15544 LEUKEMIA?s s1 (f) (cat or feline)/ti/ti对整个检索式的限定 7588 S1/TI 5240 CAT/TI 572 FELINE/TI S2 93 S1 (F) ( CAT OR FELINE)/TI后缀字段代码与集合号连用的两种情况：还没有被后缀代码限制过的集合号?s fiber + fi

28、bre S1 2301 FIBER +FIBRE?s s1/ti,de S2 1552 S1/TI,DE?s fiber + fibre S1 2301 FIBER +FIBRE?s s1/ti,de S2 1552 S1/TI,DE?s s2/ti（不能用/ab限定） S3 592 S2/TI前面已被一组字段代码所限制的集合号，可用其中某一字段进一步加以限制E.对扩展号进行后缀限定？Expand television/de,idTelevisionCircuit television; color television；satellite television; television cam

29、eras；television display systems； television systemsTelevision disease；television play； television news ；television weeklyAUauthorCScorporate source DTdocument typeJN journal nameLA languagePY publication yearUD updateCC classification code RN= registry number of a chemical substance(二)辅助索引字段的前缀代码限定用

30、法 ：1.简单用法 A.和全字符串连用?s auJohnson, Robert R.B.和一个单词连用?s laGermanC.和截词符连用?s py=198?D.和位置逻辑算符连用?s cs=milan?(f) cs=ital?E.和布尔算符连用?s jn=scientific Amer? and comput?/ti2.复杂用法 ?s cs=general (w) cs=electric (f) cs=portlandWoodburn solar water heating systemInvestigators: Portland General Electric Company ?s

31、cs=(general (w) electric (f) portland) ?s cs=(general (w) electric and portland) 二.其他限定检索 (一)用限定指令进行限定 limit （或L）和 limitall（或 lall)用来对已经检索出的结果记录，在输出打印之前根据用户的需求进一步加以某些限定，以缩小查找文献的范围。限定项目：文献记录存取号、语种、文献类型等。limit指令格式： L 集合号或检索项/限定项目？S laser velocimeters S1 646 LASER VELOCIMETERSL S1/Eng 把第一步检索出的文献限制在原文为英

32、文的范围内 S2 545 S1/ENG?S laser velocimeters/eng (1)对词（单元词和多元词）的限定(2)对整个检索式的限定?S urban planning and transport? S1 1034 URBAN PLANNING AND TRANSPORT?L s1/maj *将检索结果限定在叙词字段的主要叙词中,相当于/DE* S2 760 S1/MAJ?S (urban planning and transport?)/maj 记录1LIGHT RAIL TRANSIT DEVELOPMENT IN THE UNITED STATES.Descriptors:

33、*URBAN PLANNING;*TRANSPORTATION; RAILROAD TRANSPOTTAION-EFFICIENCY; COST ACCOUNTING- ANALYSIS limitall或 lall的用法 将limitall后面所有的检索步骤都限定在指定的基本索引字段中进行。?limitall/de,tiLIMITALL started ?s mozart and requiem S1 16 MZART AND REQUIEM ?t 1/8/1Some unclarified questions concerning the history of the completion of mozart s requiem DIALOG系统limitall检索实例(二)限定出版年代 (1)用“：”或“to”来表示年代范围 ?s py=1992:py=1994?s py=1992: 1994?s py=1992 to py=1994?s py=1992 to 1994 ?s management by objectives and py=1992:py=1994 （2）年代的后缀限定 ?s s1/1998 ?s televis