（控制理论与控制工程专业论文）基于web的化工专业信息检索技术的研究与应用.pdf

，。 x iillifi 学位论文数据集 中图分类号 t p ! 学科分类号 0 8 0 6 论文编号 密级 学位授予单位代码 10 0 10 学位授予单位名称北京化工大学 作者姓名山岚学号 2 0 0 2 0 8 0 0 0 6 获学位专业名称控制理论与控制工程获学位专业代码 0 8 1 1o l 课题来源2 1 1 工程项目研究方向网络信息检索 论文题目基于w e b 的化工专业信息检索技术的研究与应用 关键词化工，搜索引擎、中文分词、索引、检索 论文答辩日期 2 0 0 7 - 5 - 3 0搴论文类型 开发研究 学位论文评阅及答辩委员会情况 姓名职称 工作单位学科专长 指导教师汪文川教授北京化工大学分子模拟与计算 评阅人1 戴亚平教授 北京理工大学 控制理论 评阅人2 。周涵教授高工石油科学研究院 计算机应用 评阅人3闵应华 教授 华南理工大学 计算机科学与技术 评阅人4屈一新 教授 北京化工大学化工计算 评阅人5 王建林教授 北京化工大学 测控技术与计算机应用 答辩委员会主席戴亚平 教授 北京理工大学控制理论 答辩委员1 周涵 教授高工 石油科学研究院 计算机应用 答辩委员2朱群雄教授北京化工大学计算机应用技术 答辩委员3 屈一新教授北京化工大学 化工计算 答辩委员4 王建林教授 北京化工大学 测控技术与计算机应用 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询。 三学科分类号在中华人民共和国国家标准( c b t1 3 7 4 5 - 9 ) ( 学科分类与代码中 查询 四论文编号由单位代码和年份及学号的后四位组成。 847， omm眦i81y 6 _ 【 k 摘要 基于w e b 的化工专业信息检索技术的研究与应用 摘要 随着i n t e r n e t 技术和应用的不断发展，w e b 页面的数目飞速增长。 搜索引擎所面对的数据也呈指数上升。现有的通用搜索引擎都是面向 综合信息的，对于化工专业领域的人员来说，查询化工学科的网络信 息如果没有优秀的专业检索工具，没有体现化工学科独特的词汇和用 语以及相应的标引和检索语言，检索结果就不可能理想。而现有的化 工专业检索工具无论是数量和还是质量都无法满足众多专业用户的 需要。因此，研究化工专业信息检索方法和技术，建立高效的化工专 业信息检索系统，为化工专业人员提供方便快捷的检索服务具有十分 重要的理论意义和应用价值。 本文针对网络上的化工专业信息资源特点进行分析，研究面向化 工学科的信息检索方法和技术，设计并开发具有化工专业特点的信息 检索系统。 搜索引擎是一项融入了多项技术的网络信息检索系统，它涉及到 专业网络信息的获取技术、多种信息格式的转换技术、海量信息的索 引技术、信息检索技术、文献摘要自动生成技术、网页排序技术、中 文分词等多项信息处理技术。本文在对上述核心技术进行深入研究、 分析的基础上，设计了一整套适用于化工专业搜索引擎的技术方案， l 北京化工人学博l ：学位论文 并在系统开发中得以实施。 最丰富的化工专业网络信息资源是网页。自动获取化工专业网页 是化工专业搜索引擎核心的技术。本文提出了通过统计化工专业词汇 的密度进行网站相关性评价，从而确定化工专业站点的s i t e r a n k ， 并结合站点内部的链接分析，保证了化工专业网页的定向获取。 另一种化工专业网络信息资源是专业数据库。通常网络数据库信 息以动态网页形式出现，属于网络中的深层信息，必须通过提交查询 才能获得。通过分析h t m l 结构标记并建立t a gt r e e ，本文提出了将 网页结构对比分析和页面内容对比过滤相结合的数据提取方案，并对 化工物性数据库进行了测试，成功地进行了数据提取，为下一步尝试 建立化工数据库搜索引擎奠定了基础。 中文分词算法是中文信息处理的基础，是人们长期研究的热点问 题。针对化工专业词汇的特点，本文改进了最短路径分词算法，通过 选取最佳路径，消除了部分歧义。改进后的分词算法复杂度并未增加， 分词的准确性有了一定提高。 对于大量化工专业网页的索引，系统利用了开放源代码的l u c e n e 索引系统。在对l u c e n e 系统代码深入剖析的基础上，详细研究了 l u c e n e 的结构框架、文件结构和类型及索引过程，设计了利用l u c e n e 索引系统建立化工专业网页索引的实施方案，通过对原代码的改进和 补充，实现了化工专业网页的批量索引和增量索引。 在化工专业信息检索方面，针对化工专业术语的特点提出了同义 词的检索方案，设计了适合同义词检索的词典，实现了化工专业搜索 l l 摘要 引擎的扩展检索。此外设计了基于关键词词频和位置的网页排序算法 及自动摘要生成算法。本文提出的算法形式简单、运算速度快，突出 了化工专业性，在化工专业搜索引擎中得到了很好的应用。 最后，本文对化工专业搜索引擎系统的总体结构进行了详细介 绍。该系统共有数据采集系统、数据分析系统、网页索引系统和检索 系统四部分组成。本文对每个系统内部及系统之间的联系进行了详细 设计，并进行了多次系统整体运行测试。测试结果表明，化工专业搜 索引擎实现了化工专业网页的自动获取、自动索引，能够实现化工专 业网络信息检索功能 关键词：化工信息，搜索引擎、中文分词、索引、检索 i i i 北京化t 大学博i - 学位论文 t h er e s e a r c ha n da p p l i c a t i o no f i n f o r m a t i o nr e t r i e v a l t e c h n i q u ef o r c h e m i c a le n g i n e e r i n gb a s e do nw e b 摘要 t h ep a p e rw i l la n a l y z et h ec h e m i c a li n f o r m a t i o nr e s o u r c e so nw e b ， s t u d yo nc h e m i c a le n g i n e e r i n gi n f o r m a t i o n r e t r i e v a la n d i m p l e m e n t i n f o r m a t i o nr e t r i e v a ls y s t e mf o rc h e m i c a le n g i n e e r i n g 心 s e a r c he n g i n ei sa ni n t e r n e ti n f o r m a t i o nr e t r i e v a ls y s t e mw i t hm a n y t e c h n o l o g i e s i ti n v o l v e st h ew e bi n f o r m a t i o ns e a r c h i n g ，t h ec o n v e r s i o n o ff i l ef o r m a t ，t h ei n d e xf o rag r e a td e a lo ft e x t ，i n f o r m a t i o nr e t r i e v a l ，t h e s u m m a r yc r e a t e da u t o m a t i c a l l y , t h er a n ko fw e bp a g e s ，c h i n e s ew o r d s e g m e n t a t i o na n d s oo n o nt h eb a s i so ft h ea n a l y s i sa n dr e s e a r c ho ft h e s e t e c h n o l o g i e s ，w ep r o p o s eap r o j e c to fi n f o r m a t i o nr e t r i e v a lf o rc h e m i c a l e n g i n e e r i n ga n dp u ti ti np r a c t i c e t h em o s ta b u n d a n tc h e m i c a li n f o r m a t i o nr e s o u r c e so nt h ei n t e m e t a r ew e bp a g e s o b t a i n i n gt h e ma u t o m a t i c a l l yi st h ec o r et e c h n o l o g yo f t h es e a r c he n g i n ef o rc h e m i c a le n g i n e e r i n g w ep r o p o s eo n em e t h o dt o e s t a b l i s hr e l a t i v i t ye v a l u a t i o nf u n c t i o n ( s i t e r a n k ) t ow e b s i t eb ys t a t i s t i c s o fp r o f e s s i o n a lp h r a s eo fc h e m i c a le n g i n e e r i n ga n da n a l y s i so ft h el i n k s o fw e b s i t et oe n s u r et h a tt h en e t w o r ks p i d e ra l w a y sc r a w l sa r o u n dt h e m o s tc o r r e l a t i v ew e b s i t e s s ot h es y s t e mc a nc a p t u r em o r ec h e m i c a l e n g i n e e r i n gw e bp a g e s o t h e rc h e m i c a li n f c i r m a t i o n r e s o u r c e so nt h ei n t e m e ta r e p r o f e s s i o n a ld a t a b a s e s u s u a l l yt h en e t w o r k d a t a b a s ei n f o r m a t i o na p p e a r s i nf o r m so ft h ed y n a m i cw e bp a g e sa n dt h e yb e l o n gt ot h ed e e p i n f o r m a t i o no nt h ei n t e m e t t h e yc a nb ea c q u i r e db ys u b m i r i n gt h eq u e r y v 北京化下大学博：f ：学位论文 t ot h ed a t a b a s e w ea n a l y z eh t m lf r a m et oe s t a b l i s ht a gt r e e ，a n d p r o p o s et h ep r o je c tt h a ti tc o m b i n e sa n a l y z i n ga n dc o n t r a s t i n gt h ew e b p a g es t r u c t u r et oc o n t r a s t i n ga n df i l t r a t i n gt h ep a g ec o n t e n t st oe x t r a c tt h e d a t af r o mt h ec h e m i c a lw e bp a g e s w eh a v et e s t e dt h es y s t e m b yt h e t h e r m o - p r o p e r t y d a t a b a s e sf o r c h e m i s t r y a n de x t r a c t e dt h ed a t a s u c c e s s f u l l y , w h i c hp r o v i d eag o o db a s i st oe s t a b l i s hac h e m i c a ld a t a b a s e s e a r c he n g i n ei nf u t u r e c h i n e s ew o r ds e g m e n t a t i o n ，t h ef o u n d a t i o no fc h i n e s ei n f o r m a t i o n p r o c e s s i n g ，i sak e yp r o b l e mf o rp e o p l et or e s e a r c ho v e ral o n gp e r i o do f t i m e f o c u s i n g o nt h ec h a r a c t e r i s t i c so ft h e p r o f e s s i o n a lp h r a s eo f 摘要 p r o p o s e t h e s y n o n y m y r e t r i e v a la n dd e s i g n e dt h es t r u c t u r eo ft h e s y n o n y m yd i c t i o n a r yb ya n a l y z i n g t h ec h a r a c t e r i s t i c so fc h e m i c a l a e n g i n e e r i n gt e m s b e s i d e st h a tw ed e s i g nt h ea r i t h m e t i c 。f w e bp a g e s r a n k i n ga c c o r d i n gt ot h ef r e q u e n c ya n d t h ep o s i t i o no f k e y w o r d sa n dt h e a u t o m a t i c p r o d u c t i o ns u m m a r y t h e y w o r ki n h i g hs p e e d ，f e a t u r e c h e m i c a le n g i n e e r i n gp r o f e s s i o n ，a n dh a v eag o o da p p l i c a t i o ni nt h e c h e m i c a le n g i n e e r i n gs e a r c he n g i n e a tl a s t ，t h ep a p e ri n t r o d u c e st h et o t a ls t r u c t u r eo ft h es e a r c he n g i n e s y s t e mi nd e t a i l s t h es y s t e mi n c l u d e st h ed a t ac o l l e c t i o ns y s t e m ，t h ed a t a a n a l y s i ss y s t e m ，t h ew e bp a g e si n d e xs y s t e ma n dt h er e t r i e v a ls y s t e m w e d e s i g ne a c hs y s t e mi n n e rp a r ta n de s t a b l i s ht h er e l a t i o nb e t w e e nt h e m t h ew h o l es y s t e mo p e r a t i o n sh a v eb e e nt e s t e df o rs e v e r a lt i m e s t h et e s t r e s u l t si n d i c a t et h a tt h ec h e m i c a le n g i n e e r i n gs e a r c he n g i n en o to n l yc a n o b t a i nt h e p r o f e s s i o n a l w e bp a g e sa u t o m a t i c a l l y , b u ta l s o s u p p o r t a u t o m a t i ci n d e x n o wt h i ss e a r c he n g i n eh a sb e c o m er e a lr e t r i e v a lt o o l f o rc h e m i c a le n g i n e e r i n go nt h ew e b k e yw o r d s ：c h e m i c a le n g i n e e r i n gi n f o r m a t i o n ，s e a r c h e n g i n e ， c h i n e s ew o r ds e g m e n t a t i o n ，i n d e x ，r e t r i e v a l v i l 北京化下大学博士学位论文 v i i i 目录 目录 第一章绪论1 1 1 弓i 言l 1 2 网络信息检索技术研究及其发展l 1 3 搜索引擎的主要技术3 1 3 1 网页结构的特点4 1 3 2 网络信息获取技术一5 1 3 3 海量网页的索引技术6 1 3 4 网页排序技术6 1 3 5 中文分词技术0 0 b 7 1 4 搜索引擎的发展方向j 0 00 8 1 4 1 搜索引擎存在的问题8 1 4 2 搜索引擎的发展方向9 1 5 本课题的研究意义及主要研究内容1 0 第二章网络化工专业信息资源分类及特点”1 3 2 1 引言1 3 2 2 网络化工信息资源1 3 2 2 1 化工新闻类1 3 2 2 2 化工产品资讯类1 4 2 2 3 化工专业数据库1 4 2 3 化工信息检索系统1 6 2 3 1 化工信息导航网站1 6 2 3 2 化工专业搜索引擎1 6 2 4 化工专业信息资源的特点分析1 7 第三章化工专业网页定向获取方法的研究1 9 3 1 引言1 9 北京化工大学博上学位论文 3 2 基于网页内容相关性算法的研究2 0 3 3 基于网页链接结构的搜索算法的研究2 l 3 4 基于综合分析的搜索策略的研究2 3 3 5 化工专业网页搜索策略2 4 3 6 小结2 5 第四章化工专业网络数据库数据提取方法的研究“2 7 4 1 引。言2 7 4 2w e b 页面的特点分析2 8 4 3 页面分析技术的研究与应用3 0 4 4 化工专业数据库数据提取方法3 2 4 4 1 结构对比分析3 3 4 4 2 内容对比过滤3 3 4 5 数据提取过程分析3 4 4 5 1 网页下载3 4 4 5 2 页面解析3 4 4 5 3 数据提取3 7 4 6 j 、结4 0 第五章中文分词技术及其改进4 1 5 1 引言4 1 5 2 中文分词技术4 2 5 2 1 中文分词算法的分类4 2 5 2 2 目前广泛使用的中文分词系统4 4 5 2 3 中文分词算法的难点和存在的问题4 5 5 3 一种改进的中文分词算法4 6 5 3 1 词典及其结构4 6 5 3 2 改进的最短路径分词算法4 8 5 3 3 求解方法5 0 5 3 4 改进的分词算法评价5 l 5 4 小结5 2 x 目录 第六章基于l u c e n e 全文索引技术的研究与应用5 3 6 1 引。言5 3 6 2 索引文件的组织5 3 6 3 索引的研究及其在搜索引擎中的应用5 5 6 4l u c e n c e 索引研究5 6 6 4 1l u c e n e 系统的结构组织5 7 6 4 2l u c e n e 索引的文件结构5 8 6 4 3 索引文件的格式描述6 0 6 4 4l u c e n e 的索引过程6 2 6 4 5l u c e n e 的基本索引操作6 3 6 5 化工专业信息索引系统设计6 4 6 5 1 网页批量索引6 5 6 5 2 网页增量索引6 5 6 5 3 索引性能的调整6 6 6 5 4 索引系统测试结果6 8 6 6 小结6 8 第七章检索及检索结果处理技术的研究7 1 7 1 引言7 1 7 2 信息检索模型7 1 7 3 同义词扩充检索7 4 7 4 摘要自动生成方法研究7 5 7 5 网页排序7 7 7 6 小结8 0 第八章化工专业搜索引擎系统总体设计8 1 8 1 引言8 l 8 2 化工专业搜索引擎的设计与开发8 1 8 2 1 信息采集系统8 1 8 2 2 数据分析系统8 7 8 2 3 索引系统9 0 北京化t 大学博，i ：学位论文 二二_ _ = 二二二_ 一一 8 2 4 检索系统9 1 8 3 化工专业搜索引擎系统的运行环境及测试结果分析9 9 目录 co n t e n t s c h a p t e r 1i n t r o d u c t i o n 1 1 1f o r e w o r d 。1 1 2h i s t o r ya b o u ts e a r c he n g i n e 1 1 3k e y t e c h n i q u eo f s e a r c h e n g i n e 。3 1 3 1 c h a r a c t e r i s t i co f w e bp a g e s 4 1 3 2t e c h n i q u eo f s p i d e r 。+ 。5 1 3 3t e c h n i q u eo f w e bp a g e si n d e x 。6 1 3 4t e c h n i q u eo f p a g e sr a n k i n g 。6 1 3 5c h i n e s ew o r d s e g m e n t a t i o n - 7 1 4d e v e l o p m e n to f s e a r c he n g i n e 。+ 。8 1 4 1p r o b l e mo f s e a r c he n g i n e 。8 1 4 2i m p r o v e m e n to f s e a r c he n g i n e 。9 1 5t h em a i nr e s e a r c hw o r k 1 0 c h a p t e r 2c h a r a c t e r i s t i ca n d c l a s s i f i c a t i o no fc h e m i c a le n g i n e e r i n g i n f o l r m a t i o no nw e b 1 3 2 1f o r e w o r d 1 3 2 2r e s o u r c eo fc h e m i c a le n g i n e e r i n gi n f o r m a t i o no nw e b 1 3 2 2 1c h e m i c a le n g i n e e r i n gn e w s 1 3 2 2 2i n f o r m a t i o no f c h e m i c a le n g i n e e r i n gp r o d u c t i o n 。1 4 2 2 3c h e m i c a le n g i n e e r i n gd a t a b a s e s 1 4 2 3r e t r i e v a ls y s t e mo f c h e m i c a le n g i n e e r i n gi n f o r m a t i o n 。1 6 2 3 1 n a v i g a t i o n w e bs i t e s o f c h e m i c a le n g i n e e r i n g i n f o r m a t i o n 。1 6 2 3 2c h e m i c a le n g i n e e r i n gs e a r c he n g i n e - 1 6 2 4 a n a l y s i so f c h e m i c a le n g i n e e r i n gi n f o r m a t i o n r e s o u r c e 。1 7 x i i i 北京化t 大学博i j 学位论文 c h a p t e r 3r e s e a r c ho fc h e m i c a le n g i n e e r i n gp a g e s s e a r c h 1 9 3 1f o r e w o r d 1 9 1 3 2r e l a t i v i t y a l g o r i t h mo fw e bp a g e sc o n t e n t 2 0 3 3s e a r c h a l g o r i t h mo f w e bp a g e sl i n k s 2 1 3 4a l g o r i t h mo f s y n t h e t i c a la n a l y s i s 2 3 3 5a l g o r i t h mo f c h e m i c a le n g i n e e r i n gw e b p a g e s - 2 4 3 6 s u m m a r y 2 5 c h a p t e r 4r e s e a r c ho fc h e m i c a le n g i n e e r i n g d a t ae x t r a c t i o nf r o m d a t a b a s eo nw e b ”oo o “2 7 4 1f o r e w o r d 2 7 4 2 a n a l y s i so fw e bp a g e s 2 8 4 3r e s e a r c ha n da p p l i c a t i o na b o u ta n a l y s i st e c h n i q u eo f w e bp a g e s 。3 0 4 4t e c h n i q u eo fc h e m i c a le n g i n e e r i n gd a t ae x t r a c t i o n 3 2 4 4 1c o m p a r i s o na n d a n a l y s i so f s t r u c t u r e 3 3 4 4 2c o m p a r i s o na n df i l t r a t i o no fc o n t e n t s 3 3 4 5p r o c e s s a n a l y s i s o f w e b d a t a e x t r a c t i o n 3 4 4 5 1w e b p a g e sd o w n l o a d i n g 3 4 4 5 2w e b p a g e s a n a l y s i s 。- - 3 4 4 5 3d a t ae x t r a c t i o n 3 7 4 6s u m m a r y 4 0 c h a p t e r 5t e c h n i q u eo fc h i n e s ew o r ds e g m e n t a t i o na n di t s i m p r o v e m e n t 4 1 5 1f o r e w o r d 。4 l 5 2t e c h n i q u eo f c h i n e s ew t ) r ds e g m e n t a t i o n 4 2 5 2 1c l a s s i f i c a t i o no f c h i n e s ew o r ds e g m e n t a t i o n 4 2 5 2 2w i d e l yu s e dc h i n e s ew i r ds e g m e n t a t i o n4 4 5 2 3p r o b l e mo f c h i n e s e1 p 1 7 i r ds e g m e n t a t i o n 4 5 5 3i m p r o v e m e n to fc h i n e s ew o r ds e g m e n t a t i o na l g o r i t h m 4 6 x 目录 5 3 1 d i c t i o n a r ya n di t ss t r u c t u r e 4 6 5 3 2 t h ei m p r o v e d a l g o r i t h mo f s h o r t e s t - p a t hm e t h o d 。4 8 5 3 3s o l v em e t h o d 5 0 5 3 4e s t i m a t i o no f t h ei m p r o v e da l g o r i t h m 5 1 5 4s u m m a r y 5 2 c h a p t e r 6r e s e a r c ha n da p p l i c a t i o no ff u l lt e x ti n d e xt e c h n i q u e b a s e do nl u c e n e o oooo qooooo0 5 3 6 1f o r e w o r d 5 3 6 2o r g a n i z a t i o no f f i l ei n d e x 5 3 6 3r e s e a r c ho f l n d e xa n di t sa p p l i c a t i o ni ns e a r c he n g i n e 。5 5 6 4l u