海量数据的REDIS插入

本文格式为Word版，下载可任意编辑——海量数据的REDIS插入海量数据的REDIS插入

近日由于工作需要，需要对海量数据（1亿条）放入到redis中，于是开启了幸运（磨难）之旅。

一旅途概述。

旅途目的：携带海量数据，并将海量数据运输到redis内存服务器旅途意义：放入redis之后供其它系统模块查询旅途成员：

硬货（硬件）：ThinkPadx260笔记本一台、优盘一个、鼠标一个、水杯等（其它用品）若干。

软货（软件）：redis服务、Windows7系统8G内存、eclipse、JDK、mysql数据库、海量数据、浏览器、互联网等

旅途过程：后面详述

旅途总结：1、顺利的开始不代表顺利的过程；

2、过程再难不代表没有方法；

3、一些看似简单的服务操作，当遇到大数据量是就有可能不简单4、山外青山楼外楼

二旅途沿途风景

2.1主角亮相

本次的海量数据是全国基站信息数据库，数据包含的内容及说明如下。

字段名称类型取值范围内容备注mcc整型460数据库中所有条目此字段均Mobile为460，如需压缩数据库存储CountryCode空间可删除此字段mnc0表示移动基站1表示联通基站Mobile11表示电信LTE基站整型0,1,11,10000-20000NetworkCode10000-20000表示电信CDMA基站，此时此字段的取值并非MNC，实际为电信SID整型0-65535整型0-268435455LocationAreaCodeCellID对于电信CDMA基站，此字段的取值并非LAC，实际为电信NID对于WCDMA基站，此字段的取值为28位（二进制）的UTRANCellID，对于TD-SCDMA基站，此字段的取值为16位（二进制）的CellID，对于LTE基站，此字段的取值为28位（二进制）的ECI（由高20位的EnodeBID和低8位的CellID组成）对于电信CDMA基站，此字段的取值并非CellID，实际为电信BIDWGS84坐标WGS84坐标以米为单位，表示基站覆盖半径数值越大有效性越高地址描述字符串省/直辖市/自治区地级市/地区/自治州/盟县级市/县/市辖区/自治县/旗laccilatlonaccdatevalidityaddrprovincecitydistrict浮点型浮点型0.0-90.00.0-180.0纬度经度精度更新日期有效性地址省市区整型0-10000整型浮点型字符串字符串字符串字符串0.0-1.0township

字符串镇镇/乡/街道源数据为压缩文件，大小为4G左右，解压完为近20G，且数据为建表和插入的sql语句。鉴于sql文件格式不规范（相对于每条数据以特别字符分割来说），所以计划先导入到数据库中再进行处理。

导入数据：

Cmd进入mysql安装目录的bin文件夹；

执行命令：mysql-utest-ptest-Ddbname{/**

*将对象进行序列化

*/

@Override

publicbyte[]serialize(BaseStationbs)throwsSerializationException{if(bs==null)