（计算机应用技术专业论文）基于中考平台的答疑系统的研究与设计.pdf

ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g yf o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n gs c i e n c e r e s e a r c ha n dd e s i g no fq u e s t i o na n s w e r i n g s y s t e mb a s e do nh i g hs c h o o la d m i s s i o np i a t f o r m m a s t e rc a n d i d a t e ：l o n gg u i h e s u p e r v i s o r ：p r o f l iz h e n k u n m a y2 0 10 f a c u l t yo fc o m p u t e r g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ，5 10 0 9 0 24川6 川54m 7iiiiy 摘要 摘要 随着信息技术的迅速发展和i n t e r n e t 的普及，人们对网络的依赖性越 来越大，网络已经融入了人们生活和工作的方方面面。面对越来越复杂的 信息系统，人们往往会有很多疑问，但总得不到快速的解答。这就对自动 答疑系统产生了需求。 中考平台为广东省教育考试院组织开发的平台，实现高中阶段招生的 一系列业务，包括初中毕业生基本信息采集，考试志愿填报，普通高中、 中等职业学校网上申报招生计划，教务管理等。由于考生众多，报名时往 往遇到各种各样的问题，而报名时间又比较紧，招办人员往往来不及一一 回答，从而导致报名工作延误，甚至造成没能报名成功。但由于报名业务 的特性，考生遇到的问题总是重复性的问题。于是，基于此需求，本文设 计了一个基于中考平台上的答疑系统，实现对问题库已有问题的自动回答， 以提高效率。 本文首先研究了过去答疑系统的情况，总结优点和缺点，并据此改进。 分析了原中考平台中的功能结构和网络结构，得出答疑系统与中考平台的 结合点。 在此之上，分析答疑系统的相关技术全文检索技术，倒排索引，中文 分词，研究全文检索系统的内部结构，研究向量空间模型以计算文档的相 关度。然后再研究开源全文检索工具包l u c e n e ，了解它的索引结构和组织 结构，分词器。设计了基于全文检索工具包l u c e n e 的检索系统，作为答疑 系统的核心，设计索引结构d o c u m e n t ，使用内存索引与磁盘索引相结合的 方式建立索引，以提高建立索引效率。对数据库表和附件相关文件，如w o r d 文件，p d f 文件，h t m l 文件这样的非结构化文件进行索引，以提高检索 准确率。答疑系统结合人工答疑与自动答疑。增加专业词典，以提高分词 准确率。另外，设计双索引库，除了索引问题，还索引原平台中对问题有 帮助的数据，以使检索时提高查全率。 用户提出问题时，系统先对语句进行分析与分词，得出关键词序列， 广东工业大学硕士学位论文 然后快速对问题库利用倒排索引快速定位相关的答案，并以阿i d f 策略 另加人工调节权重的方式，用向量空间模型计算相关度，得到相关且重要 的答案，最后把结果返回给用户，从而实现自动答疑。如果找不到答案， 则人工答疑，管理员把问题加入索引库中，以备下次能自动回答相同的问 题。为了答疑系统更好地与基于w e b l o g i c 集群中的中考平台相结合，使用 了作业调度框架q u a r t z 实现可调节地定时更新索引，用w e bs e r v i c e 同步 在集群中的各个索引库。最后对系统进行性能分析，时间和空间上的比较， 进一步确认了全文检索的高效，此系统设计的有效性。 关键词：答疑系统；全文检索；中考平台；分词；l u c e n e a b s t r a e t a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n dp o p u l a r i z a t i o no f i n t e r n e t ，p e o p l ea r ei n c r e a s i n g l yd e p e n d e n to nn e t w o r k s n e t w o r kh a sb e e n i n t e g r a t e di n t om a n ya s p e c t so fp e o p l e sl i f ea n dw o r k p e o p l ea r eo f t e na ta l o s st o w a r d sav a r i e t yo fi n c r e a s i n g l yc o m p l e xi n f o r m a t i o ns y s t e m s t h e y m a y b eh a v es o m ep r o b l e m sa n dt h e yw a n tt o f i n dam a nf o r q u e s t i o n i n g u r g e n t l y t h e r e f o r e ，t h er e q u i r e m e n t 一一a u t o m a t i cq u e s t i o na n s w e r i n g s y s t e mi sg e n e r a t e d h i g hs c h o o la d m i s s i o np l a t f o r m ，w h i c hi sap l a t f o r mo r g a n i z e db y g u a n g d o n ge d u c a t i o n a le x a mi n s t i t u t e ，i m p l e m e n t sas e r i e so fb u s i n e s so f h i g hs c h o o le n r o l l m e n t ，i n c l u d i n gb a s i ci n f o r m a t i o ng a t h e r i n g ，a p p l i c a t i o nf o r h i g hs c h o o le n t r a n c ee x a m i n a t i o n ，a d m i s s i o ns c h e m er e p o r t i n gf o rg e n e r a l h i g hs c h o o l sa n ds e c o n d a r yv o c a t i o n a ls c h o o l s ，a c a d e m i cm a n a g e m e n t ，a n ds o o n l a r g en u m b e ro fs t u d e n t sm e e tm a n yp r o b l e m sw h e nt h e yu s et h ep l a t f o r m b u tt h e yo f t e nc a nn o tg e tt h ep r o p e ra n s w e r t os o l v et h i sp r o b l e m ，t h i sp a p e r d e s i g n saq u e s t i o na n s w e r i n gs y s t e mb a s e d o nh i g hs c h o o la d m i s s i o n p l a t f o r m ，w h i c hi m p l e m e n t sa u t o m a t i ca n s w e r i n gt h eq u e s t i o n st h a ta r es t o r e d i nt h eq u e s t i o nw a r e h o u s ea n di m p r o v e se f f i c i e n c y t h i sp a p e rf i r s t l ys t u d i e st h es i t u a t i o no ft h ep a s tq u e s t i o na n s w e r i n g s y s t e ma n ds u m m a r i z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e sf o ri m p r o v e m e n t f u n c t i o ns t r u c t u r ea n da r c h i t e c t u r eo fo r i g i n a l h i g hs c h o o la d m i s s i o n p l a t f o r ma r ea n a l y z e da n dt h ej u n c t u r eo ft h eq u e s t i o na n s w e r i n gs y s t e ma n d h i g hs c h o o la d m i s s i o np l a t f o r mi sp u tf o r w a r d b a s e do nt h a ta b o v e ，t h i sp a p e rs t u d yk e yt e c h n o l o g i e so fq u e s t i o n a n s w e r i n gs y s t e m ，i n c l u d i n gf u l l - t e x tr e t r i e v a l ，i n v e r t e di n d e x ，c h i n e s ew o r d t o k e n i z a t i o n t h ea u t h o rs t u d yt h ei n t e r n a ls t r u c t u r eo ff u l l - t e x tr e t r i e v a l s y s t e ma n ds t u d yv e c t o rs p a c em o d e lt oc a l c u l a t er e l a t i v i t yo fd o c u m e n t s 广东工业大学硕士学位论文 t h e n ，t h ea u t h o rs t u d yt h eo p e n - s o u r c ef u l l t e x ts e a r c ht o o l k i tl u c e n e ，p r o b e i n t oi t si n d e xs t r u c t u r ea n do r g a n i z a t i o ns t r u c t u r e ，w o r dt o k e n i z e r ar e t r i e v a l s y s t e mb a s e do nl u c e n ei sd e s i g n e d ，a sc o r eo fq u e s t i o na n s w e r i n gs y s t e m t h ea u t h o rd e s i g n si n d e xs t r u c t u r ed o c u m e n t ，e s t a b l i s h e si n d e xu s i n gm e m o r y i n d e xa n dd i s ki n d e xt oi m p r o v ee f f i c i e n c y t h i ss y s t e mi n d e x e st h ed a t a b a s e t a b l ea n dr e l e v a n tn o n s t r u c t u r a la t t a c h m e n tf i l e s ，s u c ha sw o r df i l e s ，p d f f i l e s ，w h i c hi m p r o v e sa c c u r a c y r a t e ：t h i sq u e s t i o n a n s w e r i n g s y s t e m c o m b i n e sa r t i f i c i a la n s w e r i n ga n da u t o m a t i ca n s w e r i n g t h i ss y s t e ma d d sa p r o f e s s i o n a ld i c t i o n a r y t o i m p r o v ea c c u r a c y r a t eo fw o r dt o k e n i z a t i o n f u r t h e r m o r e ，t h i ss y s t e md e s i g n sd o u b l ei n d e x b e s i d e st h e r ei saq u e s t i o n i n d e xw a r e h o u s e ，t h i ss y s t e ma d d sai n d e xw a r e h o u s ef o rt h ed a t ar e l e v a n ti n o r i g i n a lp l a t f o r m ，w h i c hi m p r o v e sc o v e r a g er a t e w h e nau s e rr a i s e saq u e s t i o n ，t h i ss y s t e mf i r s t l ya n a l y z e sa n dt o k e n i z e t h es e n t e n c e ，o u t p u t sk e y w o r d ss e r i e s t h e ni tq u i c k l yl o c a t e st h ea n s w e ri n t h eq u e s t i o ni n d e xt h r o u g hi n v e r t e di n d e xa n dc a l c u l a t e st h er e l a t i v i t yu s i n g t f i d fa n da r t i f i c i a l w e i g h ta d j u s t m e n tb a s e do nv e c t o rs p a c em o d e l t h e r e l e v a n ta n d i m p o r t a n ta n s w e r s w i l lb er e t u r n e dt ou s e r s a b o v e ，i ti sa p r o c e s so fa u t o m a t i cq u e s t i o na n s w e r i n g i ft h i ss y s t e mc a nn o tf i n daa n s w e r ， a d m i n i s t r a t o r sa n s w e rt h a t a r t i f i c i a l l y a n da d di tt ot h eq u e s t i o ni n d e x w a r e h o u s e ，s ot h a tt h i ss y s t e mc a na n s w e rt h es a m eq u e s t i o na u t o m a t i c a l l y n e x tt i m e t oc o m b i n et h eq u e s t i o na n s w e r i n gs y s t e ma n dt h eh i g hs c h o o l a d m i s s i o np l a t f o r mb a s e do nw e b l o g i cc l u s t e r ，t h i ss y s t e mu p d a t e si n d e x w a r e h o u s e r e g u l a r l yt h r o u g ht h ej o bs c h e d u l i n g f r a m e w o r kq u a r t z ，a n d s y n c h r o n i z ei n d e xw a r e h o u s e s i nc l u s t e rt h r o u g hw e bs e r v i c e t h ea u t h o r a n a l y z e st h ep e r f o r m a n c eo ft h i ss y s t e mi na s p e c t so ft i m ea n ds p a c e t h a t c o n f i r m st h ee f f i c i e n c yo ff u l l t e x tr e t r i e v a la n dt h ee f f e c t i v e n e s so ft h e d e s i g no ft h i ss y s t e m k e y w o r d s ：q u e s t i o na n s w e r i n gs y s t e m ；f u l l - t e x tr e t r i e v a l ；h i g h s c h o o l a d m i s s i o ns y s t e m ；w o r dt o k e n i z a t i o n ；l u c e n e i v 目录 目录 摘要i a b s t r a c t i i i 目录1 v 7 c o n t e n t s v i i i 第一章绪论1 1 1 课题来源与研究意义1 1 2 国内外研究现状3 1 3 研究的内容和目标3 1 4 论文的特色4 1 5 论文的组织4 第二章中考平台6 2 1 平台介绍6 2 2 平台功能模块6 2 3 平台体系结构l o 2 4 平台碰到的问题及解决方案12 第三章系统主要技术1 4 3 1 检索技术比较1 4 3 2 全文检索系统l5 3 2 1 全文检索介绍l5 3 2 2 索引器16 3 2 3 查询器18 3 3 倒排索引18 3 4 中文自动分词2 1 3 4 1 分词方法2l 3 4 2 对分不出来的词的处理2 3 3 4 3 停止词2 4 v 广东工业大学硕士学位论文 3 5 检索结果排序2 4 3 5 1 文本检索模型2 4 3 5 2 向量空间模型2 5 3 5 3 权值计算公式2 6 3 5 4 向量空间模型与布尔模型相结合2 6 第四章答疑系统的分析设计2 8 4 1 答疑系统需求分析2 8 4 1 1 概述2 8 4 1 2 业务流程分析3 0 4 1 3 数据流分析3 0 4 1 4 功能需求分析3 2 4 2 答疑系统的设计3 2 4 2 1 全文检索模块的引入3 2 4 2 2 引入答疑系统后的中考平台体系结构3 4 4 2 3 答疑系统的功能模块设计3 5 4 2 4 答疑系统的数据库设计3 8 第五章关键模块的详细设计4 2 5 1l u c e n e 相关技术4 2 5 1 1l u c e n e 原理4 2 5 1 2l u c e n e 的索引结构4 3 5 1 3l u c e n e 的组织结构4 4 5 1 4 分析器与中文分词器4 6 5 1 5 非结构化文本分析4 8 5 2 全文检索模块的构建5 0 5 2 1 全文检索模块基本结构设计5 0 5 2 2 设计问题库d o c u m e n t 结构5 l 5 2 3 建立双索引库5 3 5 2 4 索引建立流程5 4 5 3 检索问题模块的设计5 7 5 3 1 检索索引5 7 v i 目录 5 3 2 结果排序5 8 5 3 3 检索问题5 9 5 4 索引管理模块的设计6 l 5 4 1 动态专业词典管理6 2 5 4 2 用q u a r t z 定时更新索引库6 4 5 4 3 用w e bs e r v i c e 同步索引库6 7 5 5 全文检索模块性能分析7 3 5 5 1 不同格式文件的索引时间比较7 3 5 5 2 索引占用资源分析7 5 5 5 3 检索时间比较7 7 5 5 4 结论7 7 结j 乏语7 8 参考文献8 0 攻读学位期间发表的论文8 3 独创性声明8 4 t 致谢i ! ； v h 广东工业大学硕士学位论文 c o nt e n t s c h i n e s ea b s t r a e t i e n g l i s ha b s t r a c t i i i c h i n e s ec o n t e n t s v e n g l i s hc o n t e n t s v i i i c h a p t e r1i n t r o d u c t i o n 。1 1 1s o u r c ea n ds i g n i f i c a n c eo fr e s e a r c h 1 1 2s i t u a t i o no fd o m e s t i ca n da b r o a dr e s e a r e h ：i 1 3c o n t e n ta n d0 b j e c t i v ef or e s e a r c h 3 1 4f e a t u r e so ft h i sp a p e r l 1 5s t r u c t u r eo ft h i sp a p e r l c h a p t e r2h i g hs c h o o la d m i s s i o np l a t f o r m 6 2 1i n t r o d u c t i o nt oh i g hs c h o o la d m i s s i o np l a t f o r m 6 2 2f u n c t i o nm o d u l eo fh i g hs c h o o la d m i s s i o np l a t f o r m 6 2 3a r c h i t e c t u r eo fh i g hs c h o o la d m i s s i o np l a t f o r m 1 0 2 4p r o b l e me n c o u n t e r e da n ds o l u t i o n o fh i g hs c h o o la d m i s s i o n p l a t f o r m 1 ：! c h a p t e r3m a i nt e c h n o l o g i e so ft h i ss y s t e m 1 4 3 1c o m p a r i s o no fr e t r i e v a lt e c h n o l o g i e s 1 4 3 2f u l l t e x tr e t r i e v a ls y s t e m 15 3 2 1i n t r o d u c t i o nt of u l l t e x tr e t r i e v a l 1 5 ：；：! 2i n d e x e r 1 6 3 2 3s e a r c h e r 1 8 3 3r e v e r t e di n d e x 18 3 4c h i n e s ea u t o m a t i c 、r dt o k e n i z a t i o n 2 1 3 4 1m e t h o do fw o r dt o k e n i z a t i o n 2 l 3 4 2d i s p o s i t i o nt ow o r d st h a tc a nn o tb et o k e n i z e d 2 3 c o n t e n t s 3 4 3s t o pw o r d s 2 4 ：i 5 s o r t i n gt h er e t r i e v a lr e s u l t s 2 4 3 5 1t e x tr e t r i e v a lm o d e l 2 4 3 5 2v e c t o rs p a c em o d e l 2 5 3 ! ；3w e i g h tc a l c u l a t i o nf o r m u l a 2 6 3 5 4c o m b i n i n gv e c t o rs p a c em o d e la n db o o l e a nm o d e l 2 6 c h a p t e r 4a n a l y s i sa n dd e s i g no fq u e s t i o na n s w e r i n gs y s t e m 2 8 4 1r e q u i r e m e n t sa n a l y s i so fq u e s t i o na n s w e r i n gs y s t e m 2 8 4 1 1 s u m m a r y 2 8 4 1 2a n a l y s i so fb u s i n e s sp r o c e s s 3 0 4 1 3a n a l y s i so fd a t af l o w 3 0 4 1 4f u n c t i o n a lr e q u i r e m e n t sa n a l y s i s 3 2 4 2d e s i g no fq u e s t i o na n s w e r i n gs y s t e m 3 2 4 2 1i m p o r to ff u l l - t e x tr e t r i e v a lm o d u l e 3 2 4 2 2a r c h i t e c t u r eo fh i g hs c h o o la d m i s s i o np l a t f o r mw i t hq u e s t i o n a n s w e r i n gs y s t e m 3 4 4 2 3f u n c t i o n a lm o d u l e sd e s i g no fq u e s t i o na n s w e r i n gs y s t e m 3 5 4 2 4d a t a b a s ed e s i g no fq u e s t i o na n s w e r i n gs y s t e m 3 8 c h a p t e r5d e t a i l e dd e s i g no fk e ym o d u l e s 4 2 5 1l u c e n er e l e v a n tt e c h n o l o g i e s 4 2 5 1 1p r i n c i p l eo fl u c e n e 4 2 1 ；1 2i n d e xs t r u c t u r eo fl u c e n e 4 3 5 1 3o r g a n i z a t i o ns t r u c t u r eo fl u c e n e 4 4 5 1 4a n a l y z e ra n dc h i n e s et o k e n i z e r 4 6 5 1 5n o n s t r u c t u r a lt e x ta n a l y s i s 4 8 5 2e s t a b l i s h m e n to ff u l l t e x tr e t r i e v a lm o d u l e 5 0 5 2 1f u n d a m e n t a ls t r u c t u r ed e s i g no ff u l l - t e x tr e t r i e v a lm o d u l e 5 0 5 2 2d e s i g nd o c u m e n ts t r u c t u r eo fq u e s t i o ni n d e xw a r e h o u s e s 5l 5 2 3e s t a b l i s h i n gd o u b l ei n d e xw a r e h o u s e s 5 3 i x 广东工业大学硕士学位论文 5 2 4f l o wo fi n d e xe s t a b l i s h i n g 5 4 5 3d e s i g no fr e t r i e v i n gq u e s t i o nm o d u l e 5 7 5 3 1 r e t r i e v i n gi n d e x 5 7 5 3 2s o r t i n gt h er e s u l t s 5 8 5 3 3r e t r i e v i n gq u e s t i o n 5 9 5 4d e s i g no fi n d e xm a n a g e m e n tm o d u l e 6 1 5 4 1d y n a m i cp r o f e s s i o n a ld i c t i o n a r ym a n a g e m e n t 6 2 5 4 2u p d a t ei n d e xw a r e h o u s er e g u l a r l yt h r o u g hq u a r t z 6 4 5 4 3s y n c h r o n i z ei n d e xw a r e h o u s et h r o u g hw e bs e r v i c e 。6 7 5 5p e r f o r m a n c ea n a l y s i so ff u l l - t e x tr e t r i e v a lm o d u l e 7 3 5 5 1t i m ei n d e x i n gs p e n tc o m p a r i s o no fd i f f e r e n tf o r m a tf i l e s 7 3 5 5 2a n a l y s i so fi n d e x i n gr e s o u r c eu t i l i z a t i o n 7 5 5 5 3t i m es p e n tc o m p a r i s o no fr e t r i e v a l 7 7 5 5 4s u m m a r y 7 7 c o n c l u s i o n 7 8 r e