南航SVC大数据支撑案例

南航SVC大数据支撑案例提纲

进一步的任务

系统架构

技术选型思索

案例阐明 数据分散，构成数据孤岛；无法一致共享。13456278高端系统旅客资料大客户旅客资料呼叫旅客资料客舱旅客资料电子客票旅客资料离港旅客资料销售旅客资料客户一致视图系统〔SVC〕CustomerLoyalty赞扬SeatingInventoryCheck-inFlightDataIrregularOperationsSchedulesGeneralInformationWeight&BalanceTicketingReservations3rdParty呼叫中心B2C离港行李查询中转客舱DWET高端大客户常客SVC经过SVC系统一致客户数据 集中访问效率不高，系统稳定性缺乏，投资大。SVC初期探求SVC架构优化思索及技术选型RMDB主要技术难题扩展困难并发读写慢本钱高〔小型机+存储〕无法支撑海量数据NoSQL的优点NoSQL的缺乏大数据量高性能、高可用弹性扩展才干灵敏的数据模型低本钱不完全支持SQL不支持事务不支持多表关联不支持聚合查询无法保证数据一致性优点迁移本钱底方案成熟稳定能很好的支撑事务能保证数据的完好性能提供较高的TPS满足业务性能要求开发本钱低，技术风险低有较好的扩展性我们的选择 并发访问量高，速度快，稳定高效，系统投资小。系统部署架构数据库小型机C档光纤交换机光纤交换机B档磁盘阵列磁盘阵列B档数据库软件SVC主备两套CBD主备两套小型机方案汇总600万数据库PCserver数据库软件SVC主备两套，CBD主备两套汇总35万分布式方案并发访问量高，速度快，稳定高效，系统投资小。投资比较结果比较选择hadoop+hive做分析平台高效率：经过分发数据，hadoop可以在数据所在的节点上并行地处置,处置非常的快速。高扩容才干：效力器群总计可达数千个节点，能可靠地存储和处置PB级数据。本钱低：运用普通机器组成的效力器群来分发以及处置数据。可靠性：hadoop能自动地维护数据的多份复制，并且在义务失败后能自动地重新部署计算义务。跨平台：JAVA实现支持各种平台并支持多种言语的MapReduce.A表(30亿)+B(2亿)表A表做聚合统计查询，时间5分12秒；A表做数据清洗，时间12分07秒A表与B表join后做聚合统计查询，时间14分36秒测试结果数据分析平台架构业务数据库业务系统数据接口大数据处置集群义务调度平台管理器元数据管理平安管理义务管理集群管理平台管理平台监控HiveDevoloper文件管理处置结果导出ETL工具高速数据存取通用数据访问数据一致管理可配置化无需编程业务处置与hadoop分别12345买卖数据文件/邮件数据客户数据设备/运转数据大数据处置平台DatanodeDatanodeDatanodeDatanodeNamenodeHDFSETL数据A1A2A1A2A1A2MapReduce义务管理导入导入数据清洗Hadoop可以存贮PB级别的数据，并且每个文件在不同的机器上有2份或3份备份，这样即使一台机子缺点，将不会影响系统的可用性。大数据处置平台大数据存储问题的处理MySqlHadoop集群ETL工具平台数据转换效力3、转换义务调用4、数据转换1、数据导入BI分析BI系统报表查询数据源SVCCBDFFP2、数据导入Hivemapred5.1、报表生成5.2、特殊报表生成6、报表导出BI分析效率的处理构建开源数据效力平台分布式数据库中间件数据库节点数据库节点数据库节点数据库节点可扩容至1024个节点界面化配置按需扩容灵敏缓存机制：注解式、配置式、编程式、AOP拦截在运用和底层数据源之间，构建一层代理，一致数据层；垂直切分：数据按业务划分存储在不同的数据库，表间关联亲密的表划分在一同，例好像一模块的表。程度切分：将同一个表中的不同数据拆分到不同的数据库中；一致数据访问API：隐藏后端复杂数据分布细节，数据库操作看起来就像是在同一数据库中；建立目的经过分布式集群实现分库分表，处理大数据支撑问题；利用Galera，在客户端与MySQL效力器之间笼统出一层“一致数据中间层〞，一致数据中间层包含HA功能，以简化MySQL的高可用环境的构建；实现集群自动管控功能，包括节点增减、监控等；实现数据效力云一致数据效力平台中间层数据效力平台架构容易引起:反复研讨法律问题包版本冲突系统不稳定技术无法积累对人员要求高研发本钱高后续维护本钱高分享：开源技术一致管理的必要性平台层视图层框架层中间件层js：query、dwr、swato、GWT、prototype……UI控件：Dhtml、jqueryUI、ExtJs、easyui……JSP：velocity、tag、JFS……MVC：struts1、struts2、spring、webwork……ORM：hibernate、ibatis、persist……组件：日志类、任务流类、XML解释类、平安类、缓存池类、接口效力类、数据传输类……容器：tomcat、jboss、jetty、apach、nginx……音讯：activeMq、mule、openESB….集群管理：zookeeper、heartbeat、lvs、ganglia、Nagios……DB：mysql、PostgreSQL……NoSQL:hadoop、mongoDB、hive、pig……工具：Kettle、sqoop、datax、cobar、Myfox…..……开源技术推行和运用开源社区积极推行，提升工程交付才干，降低IT本钱…逐渐完善和扩展，构成技术积累基于开源社区实现四大一致对选定的技术逐渐优化和扩展功能开源技术一致选型公用包一致管理开发框架一致封装通用组件一致研发分享：开源技术管理战略分享：开源技术管理方法公用开源包用maven进展一致管理，构成企业开源库占领开源技术前沿节约本钱、满足业务需求开源技术一致选型开发框架一致封装通用组件一致研发产品评价技艺评价法律评价ROI评价研发团队企业开源软件库优化完善MVC框架耐久化框架UI框架开发规范开发工具推行实施实现工具化、模块化、规范化技术选型组件开发组件推广组件完善组件梳理逐渐积累实现重用降低本钱提高质量分享：开源技术的推进战略开源实验室技术选型、架构设计、技术研讨、产品研发.开源技术研发任务：将技术推行到每个工程组，每个程序员，让大家都用起来。技术推行：提升交付才干：经过积累开源技术才干，到达降低本钱，提高效率的目的。分析技术需求、设定技术目的、制定技术规范。规划与设计：去IOE化降低本钱处理性能和大数据问题简化开源技术降低难度技术规划与推行分享：组织机构设计技术小组〔虚拟团队〕开源实验室研发团队公司指点工程经理团队需求提出技术开展规划规范制定技术评审开源工程验收开源产品研讨、测试、封装、开发……架构师团队实施推行团队架构师技术评价技术选型技术目的制定架构设计开源管理技术文档编写技术培训技术网站维护工程技术支持技术战略调配资源南航推进软件开源化成果1建立以五大数据中心为根底的开源化SOA平台经过开源化，曾经完成旅客信息、旅客行为、运转控制信息三大中心数据库及面向SOA中心效力平台。2挪动化、整合业务运用端在企业中心效力平台根底上，利用开源技术，重新整合呼叫中心、地面效力等应用，面向岗位需务虚施挪动化战略。3建立一致WEB技术架构运用开源技术，开发可伸缩性的一致平台架构，一致挪动运用架构，一致WE