用java编写搜索引擎.doc

1.1.1 准备工作环境（10分钟） 2009-10-29 10:02 罗刚 电子工业出版社 我要评论() 摘要：自己动手写搜索引擎第1章遍历搜索引擎技术，本章从快速实现基本的搜索入手，然后深入展开分析搜索的基本技术。本节为大家介绍准备工作环境（10分钟）。 标签：搜索引擎自己动手写搜索引擎 Oracle帮您准确洞察各个物流环节第1章 遍历搜索引擎技术搜索引擎是我们每天上网经常使用的功能，本书介绍的搜索技术需要Java编程语言基础。本章从快速实现基本的搜索入手，然后深入展开分析搜索的基本技术。1.1 30分钟实现的搜索引擎首先从一个简单的搜索引擎入手，实现一个简单的指定目录文件的搜索引擎。实现之前需要读者具有Java开发方面的基础知识。1.1.1 准备工作环境（10分钟）首先要准备一个Java的开发环境。当前可以使用JDK 1.6。JDK 1.6可以从Sun的官方网站下载得到。使用默认方式安装即可。然后要使用的是一个用来管理搜索引擎索引库的jar包，叫做Lucene。目前可以从/java/docs/index.html下载到最新的Lucene，当前的版本是2.3。另外，使用集成开发环境Eclipse，其开发界面如图1-1所示。（点击查看大图）图1-1 Java开发界面如果需要用Web界面搜索，还要下载Tomcat，当前可以从/下载到，推荐使用Tomcat 5.5以上的版本。然后增加Tomcat的内存使用量，防止内存溢出。如果是在Linux下，可以用vi编辑器修改./catalina.sh文件，增加行：1. JAVA_OPTS=-Xmx600m如果是在Windows下，可以用文本编辑器记事本修改./catalina.bat文件，增加行：1. setJAVA_OPTS=-Xmx600m【作者提示】如果不增加内存使用量，运行时可能会出现java.lang.OutOfMemoryError异常。1.1.2 编写代码（15分钟） 2009-10-29 10:02 罗刚 电子工业出版社 我要评论() 摘要：自己动手写搜索引擎第1章遍历搜索引擎技术，本章从快速实现基本的搜索入手，然后深入展开分析搜索的基本技术。本节为大家介绍编写代码（15分钟）。 标签：搜索引擎自己动手写搜索引擎 Oracle帮您准确洞察各个物流环节1.1.2 编写代码（15分钟）搜索引擎的基础在于对全文索引库的管理，在Lucene中，通过IndexWriter来写入索引库。伪代码如下：1创建IndexWriter，准备写索引；2遍历要索引的路径；3优化索引。下面是主要的实现代码：1. publicvoidgo()throwsException 2. longstart=System.currentTimeMillis(); 3. if(verbose) 4. System.out.println(Creatingindexin:+indexDir); 5. /创建索引目录或者建立增量索引 6. if(incremental)System.out.println(-usingincrementalmode); 7. 8. Index=newIndexWriter(newFile(indexDir),newStandardAnalyzer(), 9. !incremental);/打开或创建索引库，indexDir是索引存放的路径 10. 11. Filedir=newFile(sSourceDir);/待索引的文件存放的路径 12. indexDir(dir);/索引路径 13. index.optimize();/索引优化 14. index.close();/关闭索引库 15. if(verbose) 16. System.out.println(indexcompletein:+(System.currentTimeMillis()-start)/1000); 17. 下面这段代码把文件内容加到索引库：1. privatevoidindexFile(Fileitem) 2. if(verbose)System.out.println(AddingFILE:+item); 3. Newsnews=loadFile(item);/把文件中的内容加载到news对象 4. if(news!=null&news.body!=null) 5. Documentdoc=newDocument(); 6. /创建网址列 7. Fieldf=newField(url,news.URL, 8. Field.Store.YES,Field.Index.UN_TOKENIZED, 9. Field.TermVector.NO); 10. doc.add(f); 11. /创建标题列 12. f=newField(title,news.title, 13. Field.Store.YES,Field.Index.TOKENIZED, 14. Field.TermVector.WITH_POSITIONS_OFFSETS); 15. doc.add(f); 16. /创建内容列 17. f=newField(body,news.body.toString(), 18. Field.Store.YES,Field.Index.TOKENIZED, 19. Field.TermVector.WITH_POSITIONS_OFFSETS); 20. doc.add(f); 21. try 22. /文档增加到索引库 23. index.addDocument(doc); 24. 25. catch(Exceptione) 26. 27. e.printStackTrace(); 28. System.exit(-1); 29. 30. 31. 完整的代码可