使用开发搜索引擎源代码课件

C#搜索引擎开发实践

第十二讲基于关键词匹配的文本分类主讲人：罗刚

概述文本分类关键词调用分类接口维护分类规则需要把抓取过来的商品分类商品虽然在被抓取的网站已经有类别，但是需要有统一的分类分类依据：一些关键词是否在商品标题或者内容列出现过关键词Word1Weight1类别1Weight3类别2类别3Word2关键词类别贡献度是一个可以修改的配置文本文件，由很多行组成，每行格式：类别名称关键词贡献度例如：类别名称是book关键词是page贡献度是10，则可以用下面一行表示：bookpage10bookreader5词和类别之间的关联度publicclassWordRelation{privateStringword;

//关键词privateStringcategory;

//关联分类privateintdegree;

//关联度privateintindex;

//索引publicWordRelation(Stringword,Stringcategory,intdegree,intindex){this.word=word;this.category=category;this.degree=degree;this.index=index;}}加权算隶属度用一个数组int[catNum]存储一个商品属于某一个类别的隶属度商品归类到隶属度最大的类别类别名称数组String[]CateNames=newString[catNum]类别1隶属度类别2隶属度类别3隶属度类别n隶属度…分类的主体过程publicStringGetCategoryName(paramsString[]contents){int[]degrees=Categories.createDegress();foreach(Stringcontentincontents){//根据content是否包含某些关键词分类trie.analysisAll(content,degrees);}intindex=0;intdegree=degrees[0];for(inti=1;i<degrees.Length;i++){if(degree<degrees[i]){degree=degrees[i];index=i;}}if(degree<=0){return"";}returnCategories.catNames[index];}TrieNodeClassTrieNode{intcatId//类别id，根据类别id找到类名的方法是：CateNames[catId]intfreq//关联度}执行分类Classifierc=Classifier.getInstance();//得到分类器Stringtitle="SamsungUN55D700055"3DLEDTV";Stringcontent="ThefutureofTVconnectivityiscalling,andthe46-inchSamsungUN46D7000LEDTVistheanswerwiththepowerofWiFiandSkypebuiltrightintotheset.";Stringcategory=c.GetCategoryName(