信息检索 第03章 文本处理技术专业课课件

信息检索

第03章文本处理软件学院教研室陈鄞信息检索系统的体系结构文本数据库数据库管理建索引索引查询处理搜索排序排序后的文档用户反馈文本处理用户界面检出的文档用户需求文本提问逻辑视图倒排文档引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列汉语：自动分词英语：根据空格将字符串进行拆分并去掉标点符号?撇号Mr.O’Neillthinksthattheboys’storiesaboutChile’scapitalaren’tamusing.引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列汉语：自动分词英语：根据空格将字符串进行拆分并去掉标点符号?撇号句点TheexperimentsledbyDr.Alanachievedaprecisionof90.7%.Wash.引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列汉语：自动分词英语：根据空格将字符串进行拆分并去掉标点符号?撇号句点连字符e-mail,so-called,co-operate,co-education,non-lawyer,non-linearatext-basedmediuma26-years-oldwomanthe90-cent-an-hourraiseafinal“take-it-or-leave-it”offer引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列词条归一化(TokenNormalization)将看起来不完全一致的多个词条归纳成一个等价类，以便在它们之间进行匹配的过程连字符。例：anti-discriminatory和antidiscriminatory首字母省略用法。例：U.S.A.和USA大小写转换.。例：The,the存在的问题：RichardBrown,brownpaint引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列词条归一化(TokenNormalization)将看起来不完全一致的多个词条归纳成一个等价类，以便在它们之间进行匹配的过程连字符。例：anti-discriminatory和antidiscriminatory首字母省略用法。例：U.S.A.和USA大小写转换.。例：The,the词形变化：如organize、organizes、organized、organizing英语形态还原(Lemmatizing)：去除屈折型语言的词尾形态变化，将其还原为词的原形，即词元(lemma)引言文本处理的主要任务：将文档表示成词的序列词条化(Tokenizing)：将字符序列拆分成词条序列词条归一化(TokenNormalization)将看起来不完全一致的多个词条归纳成一个等价类，以便在它们之间进行匹配的过程连字符。例：anti-discriminatory和antidiscriminatory首字母省略用法。例：U.S.A.和USA大小写转换.。例：The,the词形变化：如organize、organizes、organized、organizing同源词：如democracy、democratic和democratization词干提取(stemming)通常指的是一个很粗略地去除单词两端词缀的启发式过程，这个过程也常常包括去除派生词缀本章内容6.1缩写的识别6.2英文形态还原6.3英文词干提取6.1缩写的识别TheexperimentsledbyDr.Alanachievedaprecisionof90.7%.构造分类器手工编写规则正则表达式机器学习手工编写规则借助词表（通用词表、缩写词表）缩写词表收录常用的缩写词，如：头衔：Mr.、Mrs.、Dr.、Prof.等月份：Jan.、Feb.、Mar.等地名：U.S.、Calif.、Wash.等其他：etc.、fig.、no.、abbr.等手工编写规则借助词表（通用词表、缩写词表）将待判定的字符串记为S，字符串及后面的句点记为S’S’后是小写字母、数字、逗号、分号、叹号或问号，则S’是缩写S’后的单词首字母大写，则S’不是缩写S’在缩写词表中存在，则S’是缩写S在通用词表中存在，则S’不是缩写当S及S’在词表中均不存在时，或以上几条规则有冲突时，利用篇章信息S在篇章中其他地方出现过，而S’未出现，则S’不是缩写S’在篇章中其他地方出现过，而S未出现，则S’是缩写正则表达式单个字母后接一个句点，如RonaldW.Reagan连续的“字母-句点”序列，如M.H.ThatcherU.S.i.e.一个大写字母后接若干辅音小写字母及句点，如Mr.St.Assn.对Brown语料的句子切分准确率由93.20%提高到97.66%[A-Za-z]\.[A-Za-z]\.([A-Za-z]\.)+[A-Z][bcdfghj-np-tvxz]+\.机器学习DecisionTrees、Logisticregression、SVM、NeuralNets、…属性的设置Caseofwordwith“.”：Upper,Lower,Cap,NumberCaseofwordafter“.”：Upper,Lower,Cap,NumberNumericfeaturesLengthofwordwith“.”Probability(wordwith“.”occursatend-of-s)Probability(wordafter“.”occursatbeginning-of-s)本章内容6.1缩写的识别6.2英文形态还原6.3英文词干提取6.2英文形态还原英语具有丰富的词形变化（如works,worked,working），如果把这些词形变化的单词也放在词典中，会造成词典规模过大英语的形态变化大多数都是有规律的，可以通过形态还原技术来解决这个问题英语形态还原(lemmatization)：去除屈折型语言的词尾形态变化，将其还原为词的原形，即词元(lemma)基于规则的形态还原方法动词-ed*ed→* (worked→work)*ed→*e (believed→believe)*ied→*y (studied→study)-ing*ing→* (developing→develop)*ing→*e (saving→save)*ying→*ie

(dying→die)-s*s→* (works→work)*es→* (discusses→discuss)*ies→*y (studies→study)基于规则的形态还原方法动词名词-s*s→* (pens→pen)*es→* (boxes→box)*ies→*y (bodies→body)*ves→*f (knives→knife)基于规则的形态还原方法动词名词形容词-er*er→* (colder→cold)*ier→*y (easier→easy)-est*est→* (coldest→cold)*iest→*y (easiest→easy)-ly*ly→* (hardly→hard)对于不规则的形态变化，建立不规则词表本章内容6.1缩写的识别6.2英文形态还原6.3英文词干提取6.3英文词干提取(stemming)英语词汇的组成词干（stem）是单词中不可缺少的部分，有些词干可以独立成词词缀（affix）分为前缀（prefix）和后缀（suffix）CONNECTCONNECTEDCONNECTINGCONNECTIONCONNECTIONS词干stem词缀suffixCOMPUTESCOMPUTEDCOMPUTING词干stem词缀suffix词干可能是词元，也可能不是词元形态还原vs.词干提取形态还原通常指利用词表和词形分析来去除屈折词缀，从而返回词的原形(lemma)的过程词干提取通常指的是一个很粗略地去除单词两端词缀的启发式过程，这个过程也常常包括去除派生词缀后缀原词派生出的词-ationcomputerize(V)computerization(N)-eeappoint(V)appointee(N)-erkill(V)killer(N)-nessfuzzy(A)fuzziness(N)-alcomputation(N)computational(A)-lessclue(N)clueless(A)-ableembrace(V)embraceable(A)具有共同词干的词条通常具有相近的含义，因此，词干提取可以用于完成信息检索(IR)这样的任务词干的精确形式本身并不重要，重要的是能够得到等价类词干提取的主要方法基于规则的方法——Porter算法M.F.Porter.Analgorithmforsuffixstripping.1980基于统计的方法——后继变化数法Porter算法——

ThemostcommonEnglishstemmerSomedifinitionsc→辅音字母（consonant

）v→元音字母（vowel）C→alistccc...oflengthgreaterthan0V→alistvvv...oflengthgreaterthan0(VC)m→VCrepeatedmtimesAnywordcanbewrittenform:[C](VC)m[V]examples:m=0TREE,BYm=1TROUBLE,OATS,TREES,IVYm=2TROUBLES,PRIVATE,OATEN,ORRERYRules(condition)S1→S2ifawordendswiththesuffixS1,andthestembeforeS1satisfiesthegivencondition,S1isreplacedbyS2.exampleStep1aSSES→SSIES→ISS→SSS→caressesponiestiescaresscats→caress→poni→ti→caress→catInasetofruleswrittenbeneatheachother,onlyoneisobeyed,andthiswillbetheonewiththelongestmatchingS1forthegivenword.Step1b (m>0)EED->EE

(*v*)ED->

(*v*)ING->agreed->agreefeed->feedplastered->plasterbled->bledmotoring->motorsing->singIfthesecondorthirdoftherulesinStep1bissuccessfulAT->ATEBL->BLEIZ->IZE(*dandnot(*Lor*Sor*Z))->singleletter

(m=1and*o)->Econflat(ed)->conflatetroubl(ed)->troublesiz(ed)->sizehopp(ing)->hoptann(ed)->tanfall(ing)->fallhiss(ing)->hissfizz(ed)->fizz*d→thestemendswithadoubleconsonant(e.g.-TT,-SS).Step1b (m>0)EED->EE

(*v*)ED->

(*v*)ING->agreed->agreefeed->feedplastered->plasterbled->bledmotoring->motorsing->singIfthesecondorthirdoftherulesinStep1bissuccessfulAT->ATEBL->BLEIZ->IZE(*dandnot(*Lor*Sor*Z))->singleletter

(m=1and*o)->Econflat(ed)->conflatetroubl(ed)->troublesiz(ed)->sizehopp(ing)->hoptann(ed)->tanfall(ing)->fallhiss(ing)->hissfizz(ed)->fizzfil(ing)->filefail(ing)->fail*o→thestemendscvc,wherethesecondcisnotW,XorY(e.g.-WIL,-HOP).Step1c(*v*)Y->Ihappy->happisky->skyStep2(m>0)ATIONAL->ATErelational->relate

(m>0)TIONAL->TIONconditional->conditionrational->rational(m>0)ENCI->ENCEvalenci->valence(m>0)ANCI->ANCEhesitanci->hesitance(m>0)IZER->IZEdigitizer->digitize

(m>0)ABLI->ABLEconformabli->conformable(m>0)ALLI->ALradicalli->radical(m>0)ENTLI->ENTdifferentli->different(m>0)ELI->Evileli->vile

(m>0)OUSLI->OUSanalogousli->analogous(m>0)IZATION->IZEvietnamization->vietnamize(m>0)ATION->ATEpredication->predicate(m>0)ATOR->ATEoperator->operate(m>0)ALISM->ALfeudalism->feudal(m>0)IVENESS->IVEdecisiveness->decisive(m>0)FULNESS->FULhopefulness->hopeful(m>0)OUSNESS->OUScallousness->callous(m>0)ALITI->ALformaliti->formal

(m>0)IVITI->IVEsensitiviti->sensitive(m>0)BILITI->BLEsensibiliti->sensibleStep3(m>0)ICATE->ICtriplicate->triplic(m>0)ATIVE->formative->form(m>0)ALIZE->ALformalize->formal(m>0)ICITI->ICelectriciti->electric(m>0)ICAL->ICelectrical->electric(m>0)FUL->hopeful->hope(m>0)NESS->goodness->goodStep4(m>1)AL->revival->reviv(m>1)ANCE->allowance->allow(m>1)ENCE->inference->infer(m>1)ER->airliner->airlin(m>1)IC->gyroscopic->gyroscop(m>1)ABLE->adjustable->adjust(m>1)IBLE->defensible->defens(m>1)ANT->irritant->irrit(m>1)EMENT->replacement->replac(m>1)MENT->adjustment->adjust(m>1)ENT->dependent->depend(m>1and(*Sor*T))ION->adoption->a