云存储总体设计方案

1、 PAGE PAGE 15 / 15云存储总体设计方案编号：10 HOM 2102 0002拟稿拟稿审核批准签名覃永才日期2013-09-09目 录3445556991010用户支持（可选）1010111115151515修订履历序号版本号修订容修订人修订日期ABV1.00.000初稿覃永才2013-09-09CDEFGHIJKLMNOPQR目的云存储设计方案用来存储 RCU-U（车云平台）终端设备所采集的数据，以与对采集数据简单的查询功能，是对软件与测试概要设计和详细设计的约束。适用围对于此设计方案设计多方面的容，使用围：软件代表、测试代表、设计代表。定义缩略语Hadoop英文Hadoop中

2、文描述Apache 基金会下面的一含很多子项目Zookeeper ZookeeperHBaseHBaseHDFSHadoop Distributed File Hadoop 子项目之一，大型分布式系统的可靠协调系统Hadoop 子项目之一，分据库是一个分布式文件系统。HDFS 有 着 高 容 错 性（fault-toleran的特硬件上VIN UBI GPS GSM GIS GPRS 3GG-Sensor GYROVehicle Identification Number Usage-Based InsuranceGlobal Position System GlobalSystemfor M

3、obile Communication Geography Information SystemGeneral Packet Radio Service) 3rd-generationGravity-sensor Gyroscope车辆识别码基于驾驶行为的保险全球定位系统全球移动通讯系统地理信息系统通用分组无线服务 重力传感器陀螺仪系统总体部分系统概述名称、型号、版本、XX此项目为云存储，简称LaunchCloud，云存储，版本V1.00.000。版本描述包含2大部分：（1）云存储：RCU-URCU-U终端部分分析后的数据存储，MapReduce分析后的结果存储。（2）云存储门户：设备管理，

4、用户管理，用户操作日志记录，第三方应用的API(预留)。该系统存储的数据主要是为以后的业务应用（如：UBI、汽车租赁等）提供原始的数据，以与提供大数据分析的技术扩展系统功能、性能功能特性4.2.1.1系统部分:云存储功能有以下几个方面Hadoop+Zookeeper+Hbase行驶记录，设备资料，用户资料等亿级以下的数据使用开源的数据库mysql来存储基于Linux具体业务部分:GPS信息存储G-SENSOR(加速/减速)信息存储陀螺仪信息存储速度信息存储发动机转速信息存储安全带指示信息存储气囊信息存储胎压信息存储10.车门信息存储11.油耗信息存储12.点火信息存储13.转向信息存储远程诊断

5、信息存储超速信息存储急刹信息存储急加速信息存储旅程行驶距离信息存储碰撞事故信息存储意外事故信息存储用户操作日志记录存储设备信息存储用户信息存储用户汽车阀值存储(电子栏栅，超速阀值,各种数据采集的频度等)软件下载系统日志第三方应用的API(预留)系统总体结构云存储系统方框图云存储功能性系统方框图GG陀速发安气胎里车油点转远超急急旅碰意用设用用软第系P-螺度动全囊压程门耗火向程速刹加程撞外户备户户件三统SS仪信机带信信计信信信信诊信信速行事事操信信汽下方日信E信息转指息息信息息息息断息息信驶故故作息息车载应志息N息存速示存存息存存存存信存存息距信信日存存阀用存S存储信信储储存储储储储息储储存离息息

6、志储储值A储O储息息储存储信存存记存PR存存储息储储录储I信储储存存息储储存储Nginx存储Nginx动/静分离负载均衡Hbase 集群Tomcat集群Zookeeper 集群数据高速缓存Hadoop 集群Mysql 开源数据库Linux 服务器集群云存储门户云存储门户通讯集群Nginx-Master/负载均衡/动静分离Nginx-Slave云存储集群层Web集群层HBase-SlaveHBase- MasterWebServer-1WebServer-2WebServer-nNameNode-SecondaryNameNode数据缓存层-1数据缓存层-2数据缓存层-nHRegion-1Zoo

7、keeper-1 Datanode-1HRegion-2Zookeeper-2 Datanode-2HRegion-nZookeeper-n Datanode-nMysql-MasterMysql-Slave对应关系云存储层： GPS信息存储、G-SENSOR(加速/减速)信息存储、陀螺仪信息存储、速度信息存储、发动机转速信息存储、安全带指示信息存储、气囊信息存储、胎压信息存储、里程计信息存储、车门信息存储、油耗信息存储、点火信息存储、转向信息存储、远程诊断信息存储、超速信息存储、急刹信息存储、急加速信息存储、旅程行驶距离信息存储、碰撞事故信息存储、意外事故信息存储、用户操作日志记录存储云存储

8、门户：设备信息存储、用户信息存储、用户汽车阀值存储(电子栏栅，超速阀值,各种数据采集的频度等)、软件下载、系统日志、第三方应用的API(预留)可测性设计的整体结构描述：测试过程一般按3个步骤进行，即单元测试、组装（集成）测试，系统测试， 为了支持这些测试在下面的软件设计中作了如下考虑：软件模块以与部子模块的对外接口标准化，整个软件流程系统化，以支持单元测试中的模块接口测试、出错处理测试，并使测试用例测试，同时使集成测试方便容易；软件模块部采用清晰明了的判断分支结构。以方便白盒方式的路径测试；软件模块保证可理解性。使用有意义的数据名和函数名，充分的注释。以方便测试用例的生成、以与走查等软件评审。

9、在关键的地方增加LOG信息，以方便出问题的时候知道问题出在哪里。关键技术高可靠性云 存 储 底 层 的 HDFS 是 一 个 分 布 式 文件系 统 。 HDFS 有 着 高容 错 性（fault-tolerant）的特点，并且设计用来部署在低廉的且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序高扩展性Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。假如想扩展云存储系统中的存储容量，运算能力，直接水平添加机器，修改配置即可实现，上层程序不需要做任何修改。

10、云存储门户前端采用高性能的nginx服务器做负载均衡，动静分离，静态资源缓存，经典的master-slave热备切换，不间断提供服务；Web集群层同样也可以按照集群的负担情况动态添加物理机器；数据缓存层是提供快速响应的重要保障； 数据库Mysql存储层可以随着访问量的增大，按照业务垂直切分高效性Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。基本上系统的关键点上都采用分布式部署，当系统访问量增大时，可以通过添加服务器来持续保证整个集群的高效性。高容错性Hadoop能够自动保存数据的多个副本，并且能够智能地将失败的任务重新分配。基本上系统的关键点上都采用分

11、布式部署,即使有部分服务器可能因为网络、硬盘、cpu、主板等物理损坏，也不会导致整个集群不可用系统配置硬件配置(比较节省的配置)5台服务器(1台存+2TB硬盘7200RPM，4存硬盘7200 RPM)，其他千兆交换机把这5台服务器连接起来软件配置Linux操作系统、Nginx软件、Tomcat、Hadoop、Zookeeper、Hbase、Mysql具体部署server1:NameNode+DataNode+HRegion server2:DataNode+Zookeeper+HMaster+HRegionserver3:NameNodeSecondary+DataNode+HMasterSl

12、ave+Zookeeper+HRegion server4:DataNode+Zookeeper+HRegion+NginxSlave+Tomcat+MysqlSlave server5:DataNode+HRegion+NginxMaster+Tomcat+MysqlMaster外包、外购子系统规格无产品升级版本升级规格由于整个系统都是运行在我们的服务器上，直接按照升级步骤来升级即可系统可扩充性设计整个系统都是分成多个小模块，多层架构来开发。方便产品的有效的维护和升级。用户支持（可选）资料提供提示行说明暂无要求可靠性规格无软件设计功能设计软件基本设计思想计，分布式、高可靠、高可用、高扩展架构

13、。软件开发平台Linux开源稳定高性能的开源服务器操作系统；HadoopNginx是一个高性能的和 反向代理服务器,同样是免费开源的；Mysql是目前最流行的开源免费数据库软件系统描述软件系统结构描述、总体软件框图通讯集群用户请求通讯集群用户请求APINginx 负载均衡/动静分离HMaster是否HRegionServer是否在缓存?H LogHRegion页面/图片等静态资源缓存Control 控制层StoreStoreFileMemStoreHFileView 视图层HDFSModel 模型层DataNodeDataNodeDataNodeDataNode数据库存储层APIRCU-UMV

14、CMVC的模型层，它实现了显示模块与功能模块的分离。提高了程序的可维护性、可移植性、可扩展性与可重用性，降低了程序的开发难度。控制 控制层可以说是包含了用户请求权限的概念。最后，它还有利于软件工程化管理。由于不 同的层各司其职，每一层不同的应用具有某些相同的特征，有利于通过工程化、工具化产 Hbase集群获取数据或 者2者都有。模块规格、设计描述在各功能模块中需要注意有关数据精度的优化，达到提高网络传输速度，减少云存储的存储空间，方便以后根据第三方业务快速的数据分析。表1:详细功能模块说明序号 模块名称说明公共工具模块GPS整个系统的字符处理，数值转换，获取日期等根据可能的业务需求来设置 Hb

15、ase的RowKey,提高海量数据的检索速度，保存的数据可以在地图上重现行驶轨迹，基本参数有：RCU-U的SN、经纬度、海拔、时间、精度等。G-SENSOR(加速/减 基本参数有：RCU-U的SN、当前具体的加速/速)信息存储速数字、采集时间、系统时间等。陀螺仪信息存储模基本参数有：水平面角度，垂直面角度、采块时间、系统时间等。速度信息存储模块基本参数有：速度、采集时间、系统时间等。发动机转速信息存基本参数有：发动机转速、采集时间、系统储模块间等。安全带指示信息存基本参数有： 主驾驶安全带指示、采集时间储模块系统时间等。基本参数有： 气囊状态、采集时间、系统时间等。胎压信息存储模块基本参数有：

16、胎压数据、采集时间、系统时间等。里程计信息存储模基本参数有：里程数据、采集时间、系统时块等。基本参数有： 车门状态数据、采集时间、系统时间等。油耗信息存储模块基本参数有：油耗数据、采集时间、系统时间等。点火信息存储模块基本参数有：点火数据、采集时间、系统时间等。基本参数有：转向数据、采集时间、系统时间等。远程诊断信息存储存储RCU-U终端诊断后自动把诊断结果上传，基本参数有：远程诊断结果、采集时间、系统模块时间等。超速信息存储模块存储RCU-U终端根据用户所设定的阀值，来判断当前是否超速，如果超速，就上传超速信息，基本参数有：速度阀值、当前速度、采集时间、系统时间等。急刹信息存储模块存储RCU

17、-U终端根据用户所设定的阀值，来判断当前是否急刹，如果急刹，就上传急刹信息，基本参数有：急刹阀值、当前速度、采集时间、系统时间等。急加速信息存储模存储RCU-U终端根据用户所设定的阀值，来判断当前是否急加速，如果急加速，就上传急加块速信息，基本参数有：急加速阀值、当前速度采集时间、系统时间等。旅程行驶距离信息RCU-U终端在一个旅程结束的时候上传该旅程的数据。存储模块碰撞事故信息存储RCU-U终端判断是否是碰撞然后上传碰撞事故信息。模块意外事故信息存储RCU-U终端判断是否是意外事故然后上传意外事故信息。模块用户操作日志记录记录云存储门户中用户更新数据的操存储记录汽车与 RCU-U 终端的对应关系包括用户的注册，登录验证，修改密码，找回密码，注册设备，修改设备对应关系用户汽车阀值存储用户汽车阀值记录的修改，查(电子栏栅，超速阀值,各种数据采集的频度等)模块软件下载模块软件版本的记录，上传软件包2727第 三 方 应 用 的APIAPI 的设计思路API(预留)软件模块可测性设计规格需要提供软件各模块的单元测试和集成测试用例。满足自动化测试要求。提供给后台详细的测试数据和结果。测试系统设计测试系统设计应满足产品的要求。单元测试设计单元测试是研发设计人员对板级软硬件各模块进行健壮性测试。各