云计算大数据处理-数据立方与hive对比测试.doc

云计算大数据处理分布式数据库 -数据立方与Hive对比测试报告一、目的最近进行了云创存储的数据立方性能测试，并将其与开源数据仓库Hive进行了对比，从而得出在廉价的服务器上两者的性能测试结果。二、测试内容本次测试主要从数据查询方面进行对比测试，具体测试内容如下：1. 统计单表记录数测试项序号测试内容执行SQLhive1统计查询800W条select count(*)from e_mp_power_curve;2统计查询1000W条select count(*) from a_tmnl_task;数据立方1统计查询800W条select count(*)from e_mp_power_curve;2统计查询1000W条select count(*) from a_tmnl_task;2. 查询单表字段数据测试项序号测试内容执行SQLhive1查询e_mp_power_curve表select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100;2查询a_tmnl_taskselect TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000;数据立方1查询e_mp_power_curve表select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100;2查询a_tmnl_taskselect TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000;3. 两表join查询测试项序号测试内容执行SQLhive1A表1000W数据，B表800W,两表joinselect p.ID , o.TMNL_TASK_ID from a_tmnl_task o join E_MP_POWER_CURVE p on (o.TMNL_TASK_ID = p.id and p.id=100000000 and p.id=100000000 and a.TMNL_TASK_ID=100000000 and p.id=100000000 and a.TMNL_TASK_ID=100000000 and p.id=100000000 and p.id100625000)order by o.TMNL_TASK_ID limit 100000;三测试环境Hive数据立方控制节点数量(台）11处理节点数量（台）99cpuIntelE5-26202.0G/15M/6CIntelE5-26202.0G/15M/6C内存32G32G网络千兆以太网千兆以太网硬盘3T23T2软件版本hive-0.9.0-cdh4.1.2datacube-1.0四测试结果1.单表数据量查询性能对比测试产品名称数据量(条)查询时间(ms) hive800W1151141000W38887数据立方800W233401000W6910通过相同环境下测试可以看出：数据立方单表统计查询速度是Hive的至少3-5倍。2. 单表字段查询性能对比测试产品名称数据量(条)查询时间(ms) hive800W176591000W18883数据立方800W3701000W1360从数据图可以看到单表字段查询时数据立方速度是hive的5-10倍。3. 两表join查询性能对比测试结果集（条）A表B表hive查询时间（ms）数据立方查询时间(ms)10W1000W800W41667395050W1000W800W482966880从数据图可以看到两表join查询时数据立方速度是hive的6-10倍以上。4. 三表join查询性能对比测试结果集A表B表C表数据立方查询时间(ms)数据立方查询时间(ms)1000条1000W1000W800W6555071707000条1000W800W800W678917710从数据图可以看到三表join查询时数据立方速度是hive速度的几乎10倍。5. GangLia监控截图： 1个小时内CPU负载情况图 1个小时内内存使用情况图 1个小时内CPU负载情况图 1个小时内网络负载情况图 1个小时内数据包流量图五.测试总结本次在一体机上分别对云创存储的数据立方、开源数据仓库Hive在不同数据量情况下，进行了单表数据量查询性能对比测试，单表字段查询性能对比测试，两表join查询性能对比测