全文检索设计、架构介绍

1、网站网页数据库其他存储系统邮件文件网盘文件文档解析文本数据提取分词算法分布式索引存储智能提示多字段组合搜索高亮显示渐进式检索模糊检索运营管理数据统计分析推荐管理结果干预管理分布式架构模块化设计数据可扩展服务能力可伸缩可运营高安全高可用词库管理系统支撑拼音搜索同义词搜索索引压缩、合并 总体总体架构架构数据采集服务读取源数据更新索引数据更新通知消息数据更新通知消息获取消息 模块功能介绍模块功能介绍数据采集模块数据采集模块 消息处理器消息队列全文检索系统应用系统应用系统数据源存储系统消息处理器更新索引获取消息支持两种模式：支持两种模式：1. 1.主动抓取模式主动抓取模式( (网络爬虫网络爬虫) )2

2、. 2.通知式异步消息队列模式通知式异步消息队列模式异步消息队列接受应用层的数据更新通知消息；消息处理器获取异步消息队列中的消息，并从数据源存储系统中获取源数据，解析文档，并提取需要建立检索索引的元数据；把提取的元数据发给全文检索系统更新索引； 模块功能介绍模块功能介绍数据处理模块数据处理模块索引生成器分词器过滤器存储分词结果索引存储索引存储docment去停词库提取检索字段敏感词库输入文档 模块功能介绍模块功能介绍信息检索模块信息检索模块索引检索器语法分析器分词算法权重计算相似度计算 打分算法读取分词查询结果过滤器筛选器索引存储索引存储 Query StringQuerypostings过滤

3、、排序 模块功能介绍模块功能介绍系统管理模块系统管理模块基础服务层策略设置数据上报系统支撑系统数据入库展示全文检索系统数据采集系统Web Portal统计代理服务统计数据库运营管理系统词典管理数据采集管理服务器维护 系统优势系统优势多样化的数据：多样化的数据： 系统支持不同的数据来源和种类繁多的数据格式，多样的采集方式和分析方法。 多种采集策略相结合满足用户不同的需求，适用不同的场景：l通知式异步消息队列方式；l网络爬虫方式；lFTP采集；l邮件采集；l网络文件采集等多种采集策略相结合；强大的文档解析能力l纯文本，xml文件，html文件，MS office文件，PDF文件，音频，视频文件，图

4、片，多媒体文件；l超强短信，彩信，邮件解析能力；l非加密的压缩文件：zip，tar，rar，tar.gz，jar，bzip等； 智能化的检索服务：智能化的检索服务： 系统在全文检索过程中采用相关智能技术以达到迅速、准确、全面定位目标信息。例如采用相关度分析技术，使相关度较高的结果排在结果列表的前面，相关度较低的结果排在后面，并屏蔽无用和错误的信息；构造强大的语义规则库，使系统能够正确地判断与检索词相关的同义词、近似词，帮助用户判断结果的相关度，并进行进一步的查询；支持完善的信息分类体系，对检索结果自动分类或者信息聚类；提供智能化的概念扩展查询等。通过这些技术，能够满足大多数智能化搜索需求。 .

5、 . 丰富的查询语法丰富的查询语法 支持布尔型检索(AND，OR， NOT，XOR) 和概率型检索组合； 支持多字段检索； 支持通配符检索，如：xap*； 支持别名检索，如：C#自动转换成C sharp； 支持拼写纠错，如：hella会纠错为hello； 支持同义词搜索； . . 丰富的结果干预丰富的结果干预 支持对搜索结果排序进行干预； 支持对搜索敏感词进行过滤； 支持对搜索结果进行人工干预，支持推荐内容；高可用和高性能高可用和高性能系统采用大量的技术来实现搜索和索引写入的高性能：采用闪存卡存储索引文件 由于普通磁盘磁头寻址时间过长，会造成搜索的延迟，所以系统索引文件采用ssd卡进行存储，加快搜索速度。索引文件的块压缩 系统会定时对索引文件进行压缩存储和块大小优化，使数据更聚合紧致，减少数据块大小，加快搜索的速度。索引文件分片 由于单个索引文件过大时，对搜索速度会有所影响，为了加快搜索的速度，系统利用策略规则，将索引文件进行分片，分成多个小的索引文件，以加快搜索速度。高可用技术： 系统的索引文件采用多个副本的方式进行存储，以此来提高系统的容错性，实现高可用。当个某个节点某个分片损坏或丢失时可以从副本中恢复。另外这样做也可以提高系统