分布式计算验证方案 -南京云创

分布式计算验证方案描述方案设置许继电气.张展国执行人硬件情况硬件配置名称配置细节数量作用刀片服务器CPU：3.2G8核32线程内存：32G4DataNode刀片服务器1NameNode软件名称说明cStore云创自主软件dataCute云创自主软件HadoopSystemHadoop2.2档案数据格式用户信息(1000w条)属性名数值类型说明建立索引用户IDnumber(15)是用户名Varchar(50)是变压器IDnumber(15)用户所属变压器的ID是计量点IDnumber(15)用户所在量测点的ID是冗余字段随意另外10个随机字段，字段类型随机，但是不能为空变压器信息(50w条)属性名数值类型说明建立索引变压器IDnumber(15)是安装位置Varchar(50)可以简化为一个线路代号是冗余字段随意另外15个随机字段，字段类型随机，但是不能为空量测数据格式(30000w条)属性名数值类型说明建立索引数据ID唯一ID是计量点IDnumber(15)是数据日期date或者number(8)是时序mumber(2)取值范围0-96按照15分钟间隔，每天96个点，用1-96表示0表示日冻结用电量冻结值mumber(13,2)数据召测时间datetime或者number(17)随机时间冗余字段随意另外10个随机字段，字段类型随机，但是不能为空数据组织策略数据域组织策略数据规模用户信息随机产生数据约束规则：其变压器ID和变压器表ID多对一其计量点ID和量测数据表数据ID一对多1千万变压器信息随机产生数据约束规则：变压器和用户具有一对多关系均匀分布变压器信息中的“变压器位置”有5000个取值可能，即：这50万台变压器属于5000条线路，每条线路100台变压器50万，每个变压器下面有200用户量测数据按照每用户每天97点，产生2014年4月至2014年9月的6个月数据。如有技术困难，可修改数据产生条件为：500万用户，每用户每天1个点（时序值为0），取2个月字段“用电量冻结值”的产生规则：共计15位，第一位是“3”，接着10位是“用户信息：ID），接着4位为月份值和日期值，如“0401”1千万用户×每天97个点×180天，共计2000亿左右量测数据最小值约500万用户×每天1个点×60天，共计3亿左右数据录入录入前记录服务器磁盘使用情况服务器磁盘使用（df截图）录入过程描述使用什么工具，以及开始结束时间Datacube客户端jdbc语句：upsertintoBYQINFO006values(….);upsertintoUSERINFO006values(….);upsertintoDATAINFO006values(….);用户信息表单线程入库1000w条用时1683秒变压器信息单线程入库50w条用时106.7秒数据信息表双线程入库30000w条用时45378秒录入结束记录服务器磁盘使用情况服务器磁盘使用（df截图）业务功能验证变压器列表验证目标检索某线路下的变压器列表，过滤条件为“安装位置”参考sqlselect*from“table变压器信息”where“安装位置”=？select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/*fromBYQINFO006whereLOCATION=12验证结果：结果截图执行时间：0.309秒用户列表验证目标检索变压器下的用户列表，过滤条件为“变压器ID”参考sqlselect*from“table用户信息”where“变压器ID”=？select/*+USE_INDEX_OVER_DATA_TABLE(USERINFO006USERINFO006_BYQID_idx1)*/*fromUSERINFO006whereBYQID=39121验证结果：结果截图执行时间：0.324秒验证目标检索某线路下的用户列表，过滤条件为“变压器安装位置”参考sqlselect*from“table用户信息”，”table用户信息”where“table用户信息”.”变压器ID”=“table变压器信息”.”变压器ID”and“变压器安装位置”=？select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/*fromUSERINFO006joinBYQINFO006onUSERINFO006.BYQID=BYQINFO006.BYQIDwhereLOCATION=12验证结果：结果截图执行时间：14.53秒验证目标统计某变压器下的用户数量，过滤条件为“变压器ID”参考sqlselectcount(*)from“table用户信息”where“变压器ID”=？select/*+USE_INDEX_OVER_DATA_TABLE(USERINFO006USERINFO006_BYQID_idx1)*/count(*)fromUSERINFO006whereBYQID=39121验证结果：结果截图执行时间：0.401秒验证目标统计某线路下的用户数量，过滤条件为“变压器位置”参考sqlselectcount(*)from“table用户信息”，”table用户信息”where“table用户信息”.”变压器ID”=“table变压器信息”.”变压器ID”and“变压器安装位置”=？select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/count(*)fromUSERINFO006joinBYQINFO006onUSERINFO006.BYQID=BYQINFO006.BYQIDwhereLOCATION=12验证结果：结果截图执行时间：10.918秒验证目标统计某线路下的变压器，以及每变压器下的用户数量，过滤条件为“变压器位置”参考sqlselectcount(*)from“table用户信息”，”table用户信息”where“table用户信息”.”变压器ID”=“table变压器信息”.”变压器ID”and“变压器安装位置”=？groupby“table用户信息”.”变压器ID”;select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/count(*)fromUSERINFO006joinBYQINFO006onUSERINFO006.BYQID=BYQINFO006.BYQIDwhereLOCATION=12groupbyUSERINFO006.BYQID验证结果：结果截图执行时间：11.74秒如果此方案存在技术上的困难，可以拆解为两步执行：检索线路下的变压器依次统计上述变压器下的用户数量执行时间为上述两步执行的总时间数据检索验证目标检索用户用电月报表。即展示指定时间段内，某用户每天的日冻结数据参考sqlselect*from“table量测数据”where“table量测数据”.”计量点ID”＝？and“table量测数据”.”数据日期”>=20140401and“table量测数据”.”数据日期”<=20140430and“table量测数据”.”时序”=0select/*+USE_INDEX_OVER_DATA_TABLE(DATAINFO006DATAINFO006_MPID_idx1)*/*fromDATAINFO006whereMPID=9andDATE>=20140301andDATE<20140401andsx=90验证结果：结果截图执行时间：0.685秒验证目标月用电统计。统计所有用户某个月的总用电情况参考sqlselectsum(“table量测数据”.”用电量冻结值”)from“table量测数据”where“table量测数据”.”数据日期”>=20140401and“table量测数据”.”数据日期”<=20140430and“table量测数据”.”时序”=0groupby“table量测数据”.”数据日期”以上sql可分拆为：selectsum(“table量测数据”.”用电量冻结值”)from“table量测数据”where“table量测数据”.”数据日期”=20140401(从1到30日，连续查询)and“table量测数据”.”时序”=0select/*+USE_INDEX_OVER_DATA_TABLE(DATAINFO006DATAINFO006_SX_idx2)*/sum(DJZ)fromDATAINFO006whereMPID=9andDATE>=20140301andDATE<20140401andsx=90groupbyDATE验证结果：结果截图执行时间：0.45秒验证目标居民用电阶梯统计，统计用电量在某个范围的用户数参考sqlselectcount（*）from“table量测数据”where“table量测数据”.”数据日期”>=20140401and“table量测数据”.”数据日期”<=20140430and“table量测数据”.”时序”=0and“table量测数据”.”用电量”>?and“table量测数据”.”用电量”<=?select/*+USE_INDEX_OVER_DATA_TABLE(DATAINFO006DATAINFO006_MPID_idx1)*/count(*)fromDATAINFO006whereMPID>0andMPID<100andDATE>=20140301andDATE<201