数据物流论文范文-浅议基于MongoDB的物流流量性能优化的论文

1、数据物流论文范文:浅议基于mongodb的物流流量性能优化的论文摘要：mongodb是一个开源的文档类型的，基于分布式文件存储的数 据库，其在数据存储与分析方面较传统关系型数据库有明显优势。该 文在物流订单轨迹流量分析方面进行了探索与相关实验，证明了 mongodb在此类型大数据处理方面具有优势。关键词：mongodb；物流流量分析；关系型数据库；大数据；性 能优化；集群；分片1009-3044 (2013) 33-7627-04目前随着网络信息化、电子商务和物流业的爆炸式发展，我们 正加速进入数据快速增长的“大数据”时代，“大数据”已经在各方 面对人们的生活带来深刻的影响。而传统的数据存储与

2、分析技术在 “大数据”时代也显得力不从心，“大数据”给it产业带来了新的 挑战和机遇。1概述冃前物流行业蓬勃发展，各大物流企业在热点时间段频频爆仓, 大量快件滞留在始发站和中转站，给物流企业带来了非常大的管理压 力，所以物流订单流量进行实时分析和非实时统计分析成为物流企业 规划物流运力和仓储能力重要决策数据。而目前物流企业订单管理系 统大部分基于传统关系型数据库，这对于订单跟踪目前还能胜任，但 是对于海量的数据统计分析则显得力不从心。11理由描述一方面，物流企业的订单管理系统目前主要使用传统关系型数 据库如oracle, sql server等。在数据库中存放订单配送的主要数 据包括以下两个方

3、面：1）订单的基本信息，包括订单编号、发件人信息、收件人信息、 发货时间、发货地点、收货地点等信息。2）订单配送过程的轨迹信息，在关系型数据库中会形成模式如 （单号，出发地，到达地，出发时间，到达时间）的多条记录。例如一件物品从上海发往合肥客户，经由轨迹信息就是上海一昆山一南京 -合肥。会形成（id1,上海,昆山，timel, time2）, （id1,昆山， 南京，time3, time4）, （id1,南京，合肥，time5, time6）三条记 录。由于订单数目巨大，形成的轨迹信息往往是数以亿计，甚至更 多。对于统计在某段时间内容从地点a到地点b的总订单数等信息往 往要等待很长时间，甚至

4、对于更为复杂的统计分析讲无法给出查询结 果。另一方面，冃前现有系统已普遍使用，不适合更换现有数据库, 我们需要在不更换现有数据库的基础上提供相应的统计分析查询服 务。基于以上两方面理由，我们提出基于mongodb的物流流量分析 性能优化方案。1. 2相关技术mongodb是一个开源的文档类型的，基于分布式文件存储的数据 库。旨在为web应用提供可扩展的高性能数据存储解决方案omongodb 支持松散式数据结构bson格式，可以存储复杂的数据类型。可贵的 是它的查询语言非常强大，可以适用于多种查询场合。mongodb具有面向集合存储、高可用、高性能的特点，且具备通 过shard模式支持横向扩展性

5、，为大数据存储与处理奠定了基础。2方案设计2. 1处理流程从图1我们可以看出方案处理场景主要包含三部分：1）系统接入时从原oracle数据库全量批量式导入订单及其轨 迹信息进入分布式mongodb数据库。2）物流订单入库、出库、中转及配送的轨迹信息更新时增量记 录于原oracle数据库及mongodb数据库。3）物流流量分析人员基于mongodb数据库内数据实时统计分析 流量数据。以上使用场景对mongodb提出了具有良好数据写入性能和数据 查询新能的要求。另一方面该使用场景对于数据的高可靠性没有较高 要求，系统的写入和查询性能更为关键。2. 2mongodb的数据写入性能分析mongodb的

6、数据写入性能测试主要包含以下几个场景模式，包含 单机与集群分片的性能比较。2.2.1正常模式数据写入2. 2. 2批量模式数据写入2. 2. 3安全模式数据写入2. 2. 4数据写入模式的选择通过上述3种写入模式的分析我们可以看出,mongodb的正常模 式写入和批量模式写入具有较好的写入性能，但是批量模式并没有预 期上比正常模式有更高的性能，主要理由在于写锁的存在，导致了并 没有较好的性能提升。而安全模式为了保证数据的不丢失性，写入性 能较差，考虑到我们的使用场景对于单条数据没有较高的数据可靠性 要求，所以我们采用mongodb的正常模式作为系统实现方案。另一方面我们的订单数据是海量的且持续

7、增长的，考虑到单机 存在不能满足数据存储的要求，我们采用集群式的分片模式，这样在 后期数据增长的情况下可以做到平滑扩容。3性能优化方案效果分析基于以上方案我们设计实现了该方案，并针对千万级订单、亿 级订单轨迹信息进行了系统测试，表明基于mongodb的流量分析较传 统oracle数据库有着更好地查询与统计性能达到了我们预期目标。针对物流流量分析场景我们进行了物流站点吞吐量和路径流量 等多种实际数据测试，均表明mongodb具有更高的查询性能。3. 1实验环境实测环境的数据库版本为：mongodb： 2.4oracle： 10g3. 2物流流量分析场景实验结果3. 2. 1物流站点吞吐量分析在表

8、1的实验环境下，我们就各物流站点的吞吐率进行了统计 分析，实验表明mongodb在做站点吞吐量分析时性能较oracle更优。 具体数据如表2。3. 2. 2其他各种查询条件比较我们也对其他复杂查询统计条件进行了测试比较，mongodb在查询性能上较oracle整体具有优势。详见表3。4总结本文针对物流行业订单轨迹的数据分析性能优化进行了探索， 证明了在此场景下以mongodb为代表的非关系型分布式数据库具有 良好的扩展性和性能，为我们在“大数据”时代深度发掘数据内在商 业价值提供了有效的分析手段。同时我们也能看到目前开源的大数据 存储、分析解决方案层岀不穷，为迎接“大数据”时代的到来奠定了 技术基础。参考文献:_1 mongodb 使用手册.http： /docs, mongodb, org/manual/.