中英文翻译搜索引擎.doc

中英文翻译搜索引擎项目报告一、 项目背景：随着Internet的迅速发展，搜索引擎在网络中扮演着越来越重要的角色，天网、百渡和google 的使用者达到数百万。搜索引擎预先从网络上抓取网页，在本地建立副本或者索引，对用户的查询作出快速响应。就目前的搜索引擎而言，存在的问题还有很多，比如：如何提高搜索的精确度和结果的有效性，如何提高搜索引擎的效率和性能，如何构建具有智能代理的信息过滤和个性化服务，如何适应交叉语言在搜索中的使用等等。因此，搜索引擎已经成为了一个新的研究、开发领域，由于对它的研究需要涉及到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以极具综合性和挑战性。通过研究搜索引擎的发展趋势，我们把注意力集中在开发具有翻译功能的搜索引擎上（具体项目计划可以参看多语言翻译搜索引擎商业计划）。由于时间和技术限制，本次课程实习只实现了中英文翻译的搜索引擎原型。二、 目的和意义使用搜索引擎，我们只需要输入少量的关键字，就可以在数秒时间内得到所需的信息结果集，从而大大提高我们的工作效率。中英文搜索引擎中，用户只需要中文关键词，就可以自动翻译成英文关键词进行查询。可以同时返回中文查询结果和英文查询结果，当然，该搜索引擎也支持通常的单语言的查询。三、 中英文搜索引擎的实现方法A. 基本实现方法中英文搜索引擎的执行流程如下： 1 输入中文关键词2 中文关键词到英文关键词的翻译考虑到语料库实现的复杂性，该翻译功能由金山词霸在线翻译系统完成。根据金山词霸返回的结果页面，提取较为合理的单词，作为英文关键词。根据输入的中文短语，金山词霸的返回可能为单个英文单词或者英文短句，在提取英文关键字的时候，必须对两种情况分别处理。通过分析返回页面，找出统一标志域，然后提取该标志域对应的文本信息。提取出可能作为关键词的英文单词或者英文语句。比如金山词霸返回的翻译结果页面为result.htm，单词和短语的处理规则如下： 单词结果页面result.htm中单词选取时，由于没有语义信息，主要是根据每个词的权值进行选择，权值的大小和词在翻译结果网页中位置，以及其在翻译结果网页中的词频有关。我们认为词频越大，正确地概率越大。 短语对于短语的查询，返回的是包含短语的句子。通过对句子求最大公共子句，找出翻译的结果短语。同样，对于不同的翻译结果，我们也根据频率选择作为查询关键字。3 网页的抓取根据中英文关键词，搜索相关页面。4 查询结果的返回返回最为匹配的前10条结果。B. 完整的中英文搜索引擎流程中文关键词到英文关键词的转化是该搜索引擎的关键部分，为了提高搜索引擎的速率和准确性，建立转化词表，用户输入某个查询词时，先在词表中找是否已经有对应的词条，如果没有，则到金山词霸实现在线翻译，并将翻译的结果加入词表中。这样，完整的中英文搜索引擎流程可以用下图表示： 四、 性能评测中英文翻译搜索引擎的开发已经基本完成，我们选取了部分查询词进行测试，测试集包括计算机，医学，经济，人名，地名等常用词汇。测试结果：类别测试词数正确结果数准确率计算机181583医学262180人名201050地名574070经济211571其他252392测试中可以发现，受金山词霸的影响，人名、地名等翻译支持的不是很好，我们在查询中维护查询记录，可以在词典中增加常用查询词的翻译。我们的中英文翻译搜索引擎在金山词霸可以正确翻译的情况下，基本上可以正确的获取查询结果。可以通过更强大的翻译支持，或者本地词典，增加搜索引擎的性能。五、 项目总结 从该搜索引擎项目的提出到开发完成，历时一个月左右，小组内成员分工如下：调研阶段：施澍 网络连接与网页抓取 刘姝 网页中单词和短语的提取 黄嘉露 网页查询返回结果的选取 赵雅 测试集或者词典的选取开发阶段：施澍、刘姝 基本平台的构建，网页中单词短语的提取测试阶段：赵雅 计算机和人名 黄嘉露 地名和其他常用词汇 刘姝 经济和医学 施澍 根据测试中发现的不足修改程序文档： 黄嘉露、刘姝 商业计划 刘姝 项目开发报告 施澍 PPT及报告 六、 附录测试原始数据关键字翻译结果中文有效页面英文有效页面异常情况爱滋病AIDS10很好非典SARS癌症cancer10很好霍乱cholera7(另外3个相关)酵母yeast7（另外3个相关）干燥病xerosis82冠心病 Coronary heart disease10很好冠周炎pericoronits91肝炎Hepatitis10很好白血病leucocythemia6百日咳Whooping cough10很好哮喘Asthma and dyspnea6结核病tuberculosis10痛风gout10炭疽病anthracnose无糖尿病Diabetes mellitus10很好红斑性肢痛病erythromelalgia10很好肝硬化hepatocirrhosis10很好支气管炎bronchitis10很好类风湿性关节炎0无骨质疏松症osteoporosis10很好精神分类症schizophrenia10很好血吸虫病schistosomiasis10很好咽炎pharyngitis10很好寄生虫病Parasitic disease73资本主义经济Capitalist economy10很好混合经济Mixed economy10很好固定资产Fixed assets10很好浮动汇率Floating rate10很好证券公司stockjobber9证券交易所Stock exchange7利息interest7短期贷款无估税标准无税制Tax system7国际商会无万国邮政联盟Universal postal union10联合国贸易与发展理事会United nations trade and development board3欧洲自由贸易区无中国银行Bank of china23世界银行World bank9大通银行The chase bank8国际开发协会IDA7国际结算银行BIS91控股公司Holding company46尔菲尔铁塔无100无英文凯旋门Triumphal arch810金字塔Pyramid5比萨斜塔Leaning Tower710迪斯尼乐园Disneyland109莱茵河Rhine10多瑙河Danube55天坛无3中国国家图书馆无10清华大学Qinghua University107关公庙无大雄宝殿无东方明珠无莫斯科红场西湖金soft软件king山错误！太湖kikngXsoft3错误！唐人街无雅鲁藏布江Brahmaputra5喜马拉雅山错误！错误！珠穆朗玛峰Everest10狮身人面像Sphinx10三峡错误！神农架无泰山Taishan Mountain10九寨沟未知只有一个网站加勒比海Caribbean Sea10富士山Fuji1变成富士了好莱坞Hollywood8洞庭湖错误！圆明园无长江Yangtse Rive3苏伊士运河Suez Canal10安第斯山ANDES10黄河Yellow River10长城Great Wall10亚马逊雨林无地中海Mediterranean Sea.10死海THE DEAD SEA10曼彻斯特Manchester7北海道Hokkaido8冲绳Okinawa9玛雅Mayan3伊斯坦布尔Istanbul5，其他非英语阿根廷Argentina3，除去非英语布拉格Prague9夏威夷Hawaii7旧金山San Francisco6马赛Marseilles5开罗Cairo7盐湖城Salt Lake City5威尼斯Venice5柏林Berlin3好望角kingXsoft错误！马六甲Malacca10尼日利亚Nigeria10莫斯科Moscow8马尔代夫Maldive10杯子CUP10显示器Display Unit10书籍Liber10打字机typewriter10公寓Rooming House10手套Gloves10狮子LION10日光灯Fluorescent Lamp10演讲Make a Speech10女孩RAGAZZA10星座Constellation10雪花Snowflake10报警器Annunciator10自信Self-Trust10绅士Signior10走廊Corridor10无中文结果乌贼SEPIA都是英文网站但是其他意思神化Mythos10宙斯Zeus10耳机Earphone10豆腐Bean Curd10水母jellyfish10缓存Buffer memory1010无高速缓存Cache10 7无电路electrocircuit105无芯片Chip1010无键盘Keyboard1010无电源Power1010无主板Mainborad108无只读存储器Read-only memory/rom10Rom :2;Read-only memory : 8无声卡Sound card108无选择器Selector1010无界面Interface1010无模板Template1010无漫游Vagabondize1010无口令Password1010无协议Protocol108无防火墙无10无没有英文结果搜索引擎无10无没有英文结果多媒体Multimedia109无克林顿Bushmeetsclinton104无布什N10 0无大仲马Dumas1010雨果无10无列夫.托尔斯泰Leo Tolstoy1010马克吐温10没有英文结果左拉