高维索引的并行化方案设计与实现ppt课件

1、高维索引的并行化高维索引的并行化方案设计与实现方案设计与实现高维索引小组组长：林梓佳 组员：文海龙;目的回想目的回想对外提供可移植性较强、扩展方便的高维索引系统；针对海量数据索引需求，实现分布式高维索引机制；提供高维索引机制的调用接口，方便上层调用，并最终集成到LaSQL引擎中；提供索引接口的运用文档【javadoc】;完成情况完成情况设计并完成基于Map Reduce框架的高维索引并行创建模块设计并完成基于MPI通讯机制的高维索引并行查询模块，并与创建模块整合成一个相对稳定、高效、完好、独立、通用的高维索引系统协助提供了其他小组所需的全部接口目前数据支撑量为：1000000张图像;设计方案设

2、计方案;高维索引创建模块高维索引创建模块稳定性要求极高，实时性要求不是很高方案：代码重构，Map Reduce框架实验情况：5台普通PC：2G内存，奔腾E5300双核CPU1M 图像，120维特征耗时：3小时底层伪接口：MySQL实现情况：成熟框架，稳定性高;高维索引查询模块高维索引查询模块实时性要求极高，稳定性要求也很高方案：Map Reduce框架无法满足实时要求，采取MPI通讯机制，需自行设计方案与音讯体系，任务量大实验情况：5台普通PC：2G内存，奔腾E5300双核CPU1M 图像，120维特征未进展Hybrid Spill Tree参数优化批量查询相比单次查询耗时增幅小;查询模块方案

3、特点查询模块方案特点高度并行化，查询高效，准确度较高高度并行化，查询高效，准确度较高两层次并行化：节点间的并行化，子进程间的并行化两层次并行化：节点间的并行化，子进程间的并行化高效的高效的MPI通讯机制通讯机制Hybrid Spill Tree的冗余查询与结果聚合提升了准确度的冗余查询与结果聚合提升了准确度系统可靠、稳定系统可靠、稳定对等构造：动态中心节点，减少瓶颈对等构造：动态中心节点，减少瓶颈智能调度：根据节点可用内存大小、负载才干分配索引块，智能调度：根据节点可用内存大小、负载才干分配索引块，减少减少OutOfMemory等异常等异常引入监控节点用于协调索引块的更新、去重、补全等任务，引

4、入监控节点用于协调索引块的更新、去重、补全等任务，主进程与子进程间的相互监控，减少内存泄露主进程与子进程间的相互监控，减少内存泄露经测试，能对抗常规呈现的异常情况，诸如各类节点宕机、经测试，能对抗常规呈现的异常情况，诸如各类节点宕机、进程异常退出、索引检测呈现异常等；进程异常退出、索引检测呈现异常等；;查询模块方案特点查询模块方案特点良好的可伸缩性和可扩展性良好的可伸缩性和可扩展性支持动态增删各类节点机器，系统内部自动维护各类节点支持动态增删各类节点机器，系统内部自动维护各类节点的信息和集群信息【包括运用提供的外部命令进展节点变的信息和集群信息【包括运用提供的外部命令进展节点变动，和异常要素导

5、致的机器宕机等】动，和异常要素导致的机器宕机等】Hybrid Spill Tree的快速查询特点，以及方案的并行化特的快速查询特点，以及方案的并行化特点导致原那么上对机器数量和数据量没有过多限制点导致原那么上对机器数量和数据量没有过多限制自组织性、智能管理才干较强自组织性、智能管理才干较强监控节点的引入，实时监测索引更新情况，当前索引的分监控节点的引入，实时监测索引更新情况，当前索引的分配情况与运用情况等，并提供报告配情况与运用情况等，并提供报告站点间的注册、注销和信息同步机制站点间的注册、注销和信息同步机制智能调度，索引块的分配、去重与补全智能调度，索引块的分配、去重与补全平衡节点的引入，分

6、配查询主站点，负载软平衡平衡节点的引入，分配查询主站点，负载软平衡;查询模块方案特点查询模块方案特点接口通用，配置方便，独立性强接口通用，配置方便，独立性强独立系统，不依赖于底层存储和上层运用独立系统，不依赖于底层存储和上层运用接口通用，可随时封装成特定运用所需接口通用，可随时封装成特定运用所需配置方便，外部配置方便，外部xml配置文件，提供多种可调参数配置文件，提供多种可调参数;总结总结根本完本钱学期的全部义务，按时完成方案根本完本钱学期的全部义务，按时完成方案成果成果独立设计和实现了一套相对稳定、高效、可靠、独立、通独立设计和实现了一套相对稳定、高效、可靠、独立、通用的高维索引系统，拥有完

7、好的索引创建和查询功能用的高维索引系统，拥有完好的索引创建和查询功能高维索引系统在实时性方面仍有较大改良空间，也能够存高维索引系统在实时性方面仍有较大改良空间，也能够存在尚未发现的问题在尚未发现的问题本学期主要注重于稳定性方面的加强，实时性方面的优化本学期主要注重于稳定性方面的加强，实时性方面的优化任务相对偏少任务相对偏少Hybrid Spill Tree有很大的参数调优空间，现有代码、通有很大的参数调优空间，现有代码、通讯机制的优化也可进一步提高呼应速度讯机制的优化也可进一步提高呼应速度百万级运用间隔百万级运用间隔 “亿级别的运用尚有较大间隔亿级别的运用尚有较大间隔 ，需求，需求更大的数据集和更多的机器进展测试，以发现新的问题更大的数据集和更多的机器进展测试，以发现新的问题系统测试仅在小组内部和小组间进展，需进一步的系统化系统测试仅在小组内部和小组间进展，需进一步的系统化测试测试;赞赏