云存储总体方案与对策.docx

1、云存储总体设计案编号： 10 HOM 2102 0002拟稿审核批准签名覃永才日期2013-09-09专业资料目 录1.目的42.适用围43.定义44.系统总体部分54.1系统概述54.2系统功能、性能64.3系统总体结构74.4关键技术94.5系统配置104.6外包、外购子系统规格114.7产品升级114.8用户支持（可选）114.9可靠性规格125.软件设计125.1功能设计126.测试系统设计176.1单元测试设计176.2集成测试设计176.3系统测试设计17专业资料修订履历序号版本号修订容修订人修订日期AV1.00.000初稿覃永才2013-09-09BCDEFGH专业资料IJKLM

2、NOPQR1. 目的云存储设计案用来存储RCU-U（车云平台）终端设备所采集的数据，以及对采集数据简单的查询功能，是对软件及测试概要设计和详细设计的约束。2. 适用围对于此设计案设计多面的容，使用围：软件代表、测试代表、设计代表。3. 定义缩略语英文中文描述HadoopHadoopApache基金会下面的一个开源项目，这个项目包含很多子项目专业资料ZookeeperZookeeperHadoop子项目之一，大型分布式系统的可靠协调系统HBaseHBaseHadoop子项目之一，分布式的、面向列的开源数据库HDFSHadoop Distributed File System是一个分布式文件系统。

3、HDFS 有着高容错性（ fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost ）硬件上VINVehicle Identification Number车辆识别码UBIUsage-Based Insurance基于驾驶行为的保险GPSGlobal Position System全球定位系统GSMGlobalSystemforMobile全球移动通讯系统CommunicationGISGeography Information System地理信息系统GPRSGeneral Packet Radio Service)通用分组无线服务3G3rd-generation第三

4、代移动通信技术G-SensorGravity-sensor重力传感器GYROGyroscope陀螺仪4. 系统总体部分4.1系统概述4.1.1名称、型号、版本、代号此项目为云存储，简称 LaunchCloud，云存储，版本 V1.00.000 。4.1.2版本描述4.1.3云存储主要是设计一个存储亿级记录的分布式云存储系统，整个系统大致包含 2大部分：（ 1）云存储： RCU-U 终端采集行驶数据的存储，RCU-U终端部分分析后的数据存储， MapReduce分析后的结果存储。 （2）云存储门户：设备管理，用户管理，用户操作日志记录，第三应用的API( 预留 )。专业资料该系统存储的数据主要是

5、为以后的业务应用（如：UBI、汽车租赁等）提供原始的数据，以及提供大数据分析的技术扩展4.2系统功能、性能4.2.1功能特性 云存储功能有以下几个面系统部分 :1.使用业比较成熟的，开源的Hadoop+Zookeeper+Hbase云存储来存储汽车原始的行驶记录，2.设备资料，用户资料等亿级以下的数据使用开源的数据库mysql 来存储3. 基于 Linux 操作系统具体业务部分 :1. GPS信息存储2. G-SENSOR(加速 / 减速 )信息存储3. 陀螺仪信息存储4. 速度信息存储5. 发动机转速信息存储6. 安全带指示信息存储7. 气囊信息存储8. 胎压信息存储9. 里程

6、计信息存储10. 车门信息存储11. 油耗信息存储专业资料12. 点火信息存储13. 转向信息存储14. 远程诊断信息存储15. 超速信息存储16. 急刹信息存储17. 急加速信息存储18. 旅程行驶距离信息存储19. 碰撞事故信息存储20. 意外事故信息存储21. 用户操作日志记录存储22. 设备信息存储23. 用户信息存储24. 用户汽车阀值存储 (电子栏栅，超速阀值 ,各种数据采集的频度等 )25. 软件下载26. 系统日志27. 第三应用的 API( 预留 )4.3系统总体结构4.4.1云存储系统框图云存储功能性系统框图专业资料GG陀速发安气胎里车油点转远超急急旅碰意用设

7、用用软第系P-螺度动全囊压程门耗火向程速刹加程撞外户备户户件三统SS仪信机带信信计信信信信诊信信速行事事操信信汽下方日信E信息转指息息信息息息息断息息信驶故故作息息车载应志息N息存速示存存息存存存存信存存息距信信日存 存 阀用存S存储信信储储存储储储储息储储存离息息志储 储 值A储O储息 息储存储信存存记存PR存存储息 储 储录储I信储储存存息储储Nginx 主备热切换存动 /静分离储负载均衡Hbase 集群Tomcat 集群Zookeeper 集群数据高速缓存Hadoop 集群Mysql 开源数据库Linux服务器集群RCU-U 物理性系统框图云存储门户网站通讯集群Nginx-

8、Master/ 负载均衡 /动静分离Nginx-Slave云存储集群层Web 集群层HBase-SlaveHBase- MasterWebServer-1WebServer-2WebServer-nNameNode-SecondaryNameNode数据缓存层 -1数据缓存层 -2数据缓存层 -nHRegion-1HRegion-2HRegion-nZookeeper-1Zookeeper-2Zookeeper-nDatanode-1Datanode-2Datanode-nMysql-MasterMysql-Slave专业资料对应关系云存储层 ： GPS信息存储、 G-SENSO

9、R(加速 / 减速 ) 信息存储、陀螺仪信息存储、速度信息存储、发动机转速信息存储、安全带指示信息存储、气囊信息存储、胎压信息存储、里程计信息存储、车门信息存储、油耗信息存储、点火信息存储、转向信息存储、远程诊断信息存储、超速信息存储、急刹信息存储、急加速信息存储、旅程行驶距离信息存储、碰撞事故信息存储、意外事故信息存储、用户操作日志记录存储云存储门户 ：设备信息存储、用户信息存储、用户汽车阀值存储(电子栏栅，超速阀值 ,各种数据采集的频度等 )、软件下载、系统日志、第三应用的API( 预留 )4.4.2可测性设计的整体结构描述：测试过程一般按 3个步骤进行，即单元测试、组装（集成）测试，系统

10、测试，为了支持这些测试在下面的软件设计中作了如下考虑：软件模块以及部子模块的对外接口标准化，整个软件流程系统化，以支持单元测试中的模块接口测试、出错处理测试，并使测试用例测试，同时使集成测试便容易；软件模块部采用清晰明了的判断分支结构。以便白盒式的路径测试；软件模块保证可理解性。使用有意义的数据名和函数名，充分的注释。以便测试用例的生成、以及走查等软件评审。在关键的地增加LOG 信息，以便出问题的时候知道问题出在哪里。4.4关键技术1. 高可靠性云存储底层的HDFS是一个分布式文件系统。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost ）硬

11、件上。而专业资料且它提供高吞吐量（ high throughput）来访问应用程序的数据，适合那些有着超大数据集（ large data set）的应用程序2. 高扩展性Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以便地扩展到数以千计的节点中。假如想扩展云存储系统中的存储容量，运算能力，直接水平添加机器，修改配置即可实现，上层程序不需要做任修改。云存储门户前端采用高性能的nginx 服务器做负载均衡，动静分离，静态资源缓存，经典的 master-slave热备切换，不间断提供服务；Web 集群层同样也可以按照集群的负担情况动态添加物理机器；数据缓存层是提供快速响应的重

12、要保障；数据库 Mysql 存储层可以随着访问量的增大，按照业务垂直切分3. 高效性Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。基本上系统的关键点上都采用分布式部署，当系统访问量增大时，可以通过添加服务器来持续保证整个集群的高效性。4. 高容错性Hadoop能够自动保存数据的多个副本，并且能够智能地将失败的任务重新分配。基本上系统的关键点上都采用分布式部署,即使有部分服务器可能因为网络、硬盘、 cpu 、主板等物理损坏，也不会导致整个集群不可用4.5系统配置4.5.1硬件配置 (比较节省的配置 )5台服务器 (1 台server1 ： 24GB 存+

13、2TB硬盘 7200RPM ，其他 4台： 8GB 存专业资料+2TB硬盘 7200 RPM) ，其他千兆交换机把这 5台服务器连接起来4.5.2软件配置Linux 操作系统、 Nginx 软件、 Tomcat 、Hadoop、 Zookeeper、Hbase 、Mysql4.5.3具体部署server1: NameNode+DataNode+HRegionserver2: DataNode+Zookeeper+HMaster+HRegionserver3:NameNodeSecondary+DataNode+HMasterSlave+Zookeeper+HRegionserver4:Data

14、Node+Zookeeper+HRegion+NginxSlave+Tomcat+MysqlSlaveserver5: DataNode+HRegion+NginxMaster+Tomcat+MysqlMaster4.6外包、外购子系统规格无4.7产品升级4.7.1版本升级规格由于整个系统都是运行在我们的服务器上，直接按照升级步骤来升级即可4.7.2系统可扩充性设计整个系统都是分成多个小模块，多层架构来开发。便产品的有效的维护和升级。4.8用户支持（可选）4.8.1资料提供专业资料可以在存储门户明显的位置放使用快速入门，在需要用户填写的表单位置有提示行说明4.8.2联机帮助暂无要求4.9可靠性

15、规格无5. 软件设计5.1功能设计5.3.1软件基本设计思想云存储系统要求工作稳定，性能达到相关标准规定。程序架构多层分模块设计，分布式、高可靠、高可用、高扩展架构。5.3.2软件开发平台Linux 开源稳定高性能的开源服务器操作系统；Hadoop是大数据存储分析的事实上的标准，开源免费，目前仍然在快速的发展；Nginx 是一个高性能的 HTTP和 反向代理服务器 ,同样是免费开源的； Mysql 是目前最流行的开源免费数据库5.3.3软件系统描述I 软件系统结构描述、总体软件框图专业资料通讯集群不同业务插入数据APIHMasterHRegionServerHHRegionLStoreogSt

16、oreFileMemStoreHFileHDFSDataNodeDataNodeDataNodeDataNodeII 功能实现原理用户请求Nginx 负载均衡 / 动静分离是否是否在缓存 ?页面 /图片等静态资源缓存Control 控制层View 视图层Model 模型层数据库存储层通讯集群通过云存储系统提供的API 接口把 RCU-U 采集的实时业务的数据插入到HBase ；云存储门户采用经典的MVC 三层结构， 有时改变其中的一层就能满足应用的改变。一个应用的业务流程或者业务规则的改变只需改动MVC 的模型层， 它实现了显示模块与功能模块的分离。提高了程序的可维护性、可移植性、可扩展性与可

17、重用性，降低了程序的开发难度。控制层的概念也很有效，由于它把不同的模型和不同的视图组合在一起完成不同的请求，因此，控制层可以说是包含了用户请求权限的概念。最后，它还有利于软件工程化管理。由于不同的层各司其职，每一层不同的应用具有某些相同的特征，有利于通过工程化、工具化产生管理程序代码。根据用户的请求，决定是从数据库获取数据还是从Hbase 集群获专业资料取数据或者 2 者都有。III 模块规格、设计描述在各功能模块中需要注意有关数据精度的优化，达到提高网络传输速度，减少云存储的存储空间，便以后根据第三业务快速的数据分析。表 1:详细功能模块说明序号模块名称说明1公共工具模块整个系统的字符处理，

18、数值转换，获取日期等2GPS信息存储模块根据可能的业务需求来设置 Hbase 的 RowKey,提高海量数据的检索速度，保存的数据可以在地图上重现行驶轨迹，基本参数有： RCU-U 的SN、经纬度、海拔、时间、精度等。3G-SENSOR( 加 速 /基本参数有： RCU-U 的 SN、当前具体的加速 /减速 )信息存储减速数字、采集时间、系统时间等。4陀螺仪信息存储模基本参数有：水平面角度，垂直面角度、采集块时间、系统时间等。5速度信息存储模块基本参数有：速度、采集时间、系统时间等。6发动机转速信息存基本参数有： 发动机转速、采集时间、系统时储模块间等。7安全带指示信息存基本参数有： 主驾驶安

19、全带指示、采集时间、储模块系统时间等。8气囊信息存储模块基本参数有： 气囊状态、采集时间、系统时间等。专业资料9胎压信息存储模块基本参数有： 胎压数据、采集时间、系统时间等。10里程计信息存储模基本参数有： 里程数据、采集时间、系统时间块等。11车门信息存储模块基本参数有： 车门状态数据、采集时间、系统时间等。12油耗信息存储模块基本参数有：油耗数据、采集时间、系统时间等。13点火信息存储模块基本参数有：点火数据、采集时间、系统时间等。14转向信息存储模块基本参数有：转向数据、采集时间、系统时间等。15远程诊断信息存储存储 RCU-U 终端诊断后，自动把诊断结果上传，模块基本参数有：远程诊断结

20、果、采集时间、系统时间等。16超速信息存储模块存储 RCU-U 终端根据用户所设定的阀值， 来判断当前是否超速，如果超速，就上传超速信息，基本参数有：速度阀值、当前速度、采集时间、系统时间等。17急刹信息存储模块存储 RCU-U 终端根据用户所设定的阀值， 来判断当前是否急刹，如果急刹，就上传急刹信息，专业资料基本参数有：急刹阀值、当前速度、采集时间、系统时间等。18急加速信息存储模存储 RCU-U 终端根据用户所设定的阀值， 来判块断当前是否急加速，如果急加速，就上传急加速信息，基本参数有：急加速阀值、当前速度、采集时间、系统时间等。19 旅程行驶距离信息RCU-U 终端在一个旅程结束的时候，上传该旅存储模块程的数据。20 碰撞事故信息存储RCU-U 终端判断是否是碰撞，然后上传碰撞事模块故信息。21 意外事故信息存储RCU-U 终端判断是否是意外事故，然后上传意模块外事故信息。22用户操作日志记录记录云存储门户中用户更新数据的操作存储23设备信息模块记录汽车与 RCU-U 终端的对应关系24用户信息模块包括用户的注册，登录验证，修改密码，找回密码，注册设备，修改设备对应