南航SVC大数据支撑案例

1、南航SVC大数据支撑案例 进一步的工作进一步的工作 系统架构系统架构 技术选型考虑技术选型考虑 案例说明案例说明数据分散，形成数据孤岛；无法统一共享。数据分散，形成数据孤岛；无法统一共享。高端系统旅客资料大客户旅客资料呼叫旅客资料客舱旅客资料电子客票旅客资料离港旅客资料销售旅客资料客户统一视图系统（SVC）CustomerLoyalty投诉SeatingInventoryCheck-inFlight DataIrregularOperationsSchedulesGeneralInformationWeight & BalanceTicketingReservations3rd Par

2、ty呼叫中心B2C离港行李查询中转客舱DWET高端大客户常客SVC通过SVC系统统一客户数据集中访问效率不高，系统稳定性不足，投资大。集中访问效率不高，系统稳定性不足，投资大。SVC初期探索SVC架构优化思考及技术选型RMDBRMDB主要技术难题主要技术难题u 扩展困难u并发读写慢u成本高（小型机+存储）u无法支撑海量数据NoSQLNoSQL的优点的优点NoSQLNoSQL的不足的不足大数据量高性能、高可用弹性扩展能力灵活的数据模型低成本u 不完全支持SQLu不支持事务u不支持多表关联u不支持聚合查询u无法保证数据一致性优优 点点迁移成本底方案成熟稳定能很好的支撑事务能保证数据的完整性能提供较

3、高的TPS满足业务性能要求开发成本低，技术风险低有较好的扩展性我们的选择并发访问量高，速度快，稳定高效，系统投资小。并发访问量高，速度快，稳定高效，系统投资小。系统部署架构 数据库小型机C档光纤交换机光纤交换机B档 磁盘阵列磁盘阵列B档 数据库软件SVC主备两套CBD主备两套 小型机方案小型机方案汇总600万数据库 PC server数据库软件 SVC主备两套，CBD主备两套汇总 35万分布式方案分布式方案并发访问量高，速度快，稳定高效，系统投资小。并发访问量高，速度快，稳定高效，系统投资小。投资比较02004006008001000120014000153045607590105 120 1

4、35 150 165识别接口识别接口新架构旧架构0102030405060702013年1月2013年2月2013年3月2013年4月2013年5月2013年6月2013年7月SVC故障趋势故障趋势结果比较u高效率：l通过分发数据，hadoop可以在数据所在的节点上并行地处理,处理非常的快速。u高扩容能力：l服务器群总计可达数千个节点，能可靠地存储和处理PB级数据。u成本低：l使用普通机器组成的服务器群来分发以及处理数据。u可靠性：lhadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。u跨平台：lJAVA实现支持各种平台并支持多种语言的MapReduce.A表(3

5、0亿)+B(2亿)表l A表做聚合统计查询，时间5分12秒；l A表做数据清洗，时间12分07秒l A表与B表 join 后做聚合统计查询，时间14分36秒测试结果业务数据库业务数据库业务系统业务系统数据接口大数据处理集群大数据处理集群任务调度平平台台管管理理器器元数据管理安全管理任务管理集群管理平台管理平台监控Hive Devoloper文件管理处理结果导出ETL工具高速数据高速数据存取存取通用数据通用数据访问访问数据统一数据统一管理管理可配置化可配置化无需编程无需编程业务处理业务处理与与hadoop分离分离12345交易数据文件/邮件数据客户数据设备/运行数据大数据处理平台大数据处理平台D

6、atanodeDatanodeDatanodeDatanodeName nodeHDFSETL数据A1A2A1A2A1A2Map Reduce任务管理导入导入数据清洗 Hadoop可以存贮PB级别的数据，并且每个文件在不同的机器上有2份或3份备份，这样即使一台机子故障，将不会影响系统的可用性。大数据处理平台大数据处理平台MySqlHadoop集群ETL工具平台数据转换服务3、转换任务调用、转换任务调用4、数据转换、数据转换1、数据导入、数据导入BI分析分析BI系统报报表表查查询询数据源数据源SVCCBDFFP2、数据导入、数据导入Hive mapred 5.1、报表生成5.2、特殊报表生成6、

7、报报表表导导出出分布式数据库中间件数据库节点数据库节点数据库节点数据库节点可扩容至可扩容至1024个节点个节点界面化配置按需扩容灵活缓存机制：灵活缓存机制：注解式、配置式、编程式、AOP拦截在应用和底层数据源之间，构建一层代理，统一数据层；垂直切分：数据按业务划分存储在不同的数据库，表间关联密切的表划分在一起，例如同一模块的表。水平切分：将同一个表中的不同数据拆分到不同的数据库中；统一数据访问API：隐藏后端复杂数据分布细节，数据库操作看起来就像是在同一数据库中； 通过分布式集群实现分库分表，解决大数据支撑问题； 利用Galera，在客户端与MySQL服务器之间抽象出一层“统一数据中间层”，

8、统一数据中间层包含HA功能，以简化MySQL的高可用环境的构建； 实现集群自动管控功能，包括节点增减、监控等； 实现数据服务云容易引起容易引起:u重复研究重复研究u法律问题法律问题u 包版本冲突包版本冲突u系统不稳定系统不稳定u技术无法积累技术无法积累u对人员要求高对人员要求高u研发成本高研发成本高u后续维护成本高后续维护成本高平台层视图层视图层框架层中间件层js：query、dwr、swato、GWT、 prototypeUI控件：Dhtml 、jquery UI、 ExtJs、 easyuiJSP：velocity、tag、 JFSMVC：struts1、struts2、spring、we

9、bworkORM： hibernate、ibatis、persist组件：日志类、工作流类、XML解释类、安全类、缓存池类、接口服务类、数据传输类容器：tomcat、jboss、jetty、apach、 nginx 消息：active Mq、mule、openESB.集群管理：zookeeper、 heartbeat、 lvs、ganglia、 NagiosDB：mysql、 PostgreSQLNoSQL:hadoop、mongoDB、hive、pig工具： Kettle、sqoop、datax、cobar、Myfox.开源技术推广和应用开源技术推广和应用开源社区开源社区对选定的技术逐步优化

10、和扩展功能对选定的技术逐步优化和扩展功能开开源源技技术术统统一一选选型型公公用用包包统统一一管管理理开开发发框框架架统统一一封封装装通通用用组组件件统统一一研研发发公用开源包用公用开源包用maven进行统一管理，形成企业开源库进行统一管理，形成企业开源库占领开源技术前沿占领开源技术前沿节约成本、满足业务需求节约成本、满足业务需求开源技术统一选型开源技术统一选型开发框架统一封装开发框架统一封装通用组件统一研发通用组件统一研发产品产品评估评估技能技能评估评估 法律法律评估评估 ROI ROI 评估评估研发研发团队团队企业开企业开源源软件库软件库优化优化完善完善MVC框架框架持久化框架持久化框架UI

11、框架框架开开发发规规范范开发工具开发工具推推广广实实施施实现工具化、模块化、规范化技术技术选型选型组件组件开发开发组件组件推广推广组件组件完善完善组件组件梳理梳理逐步积累实现重用降低成本提高质量开源实验室开源实验室技术选型、架构设计、技术研究、技术选型、架构设计、技术研究、产品研发产品研发. .开源技术研发工作：开源技术研发工作：将技术推广到每个项目组，每个程将技术推广到每个项目组，每个程序员，让大家都用起来。序员，让大家都用起来。技术推广：技术推广：提升交付能力：提升交付能力：通过积累开源技术能力，达到降低通过积累开源技术能力，达到降低成本，提高效率的目的。成本，提高效率的目的。分析技术需求

12、、设定技术目标、制分析技术需求、设定技术目标、制定技术规范。定技术规范。规划与设计：规划与设计：去IOE化降低成本解决性能和大数据问题简化开源技术降低难度技术规划与推广技术小组技术小组（虚拟团队）（虚拟团队）开源开源实验室实验室研发团队研发团队项目经理项目经理团队团队需求提出技术发展规划规范制订技术评审开源项目验收开源产品研究、测试、开源产品研究、测试、封装、开发封装、开发架构师团架构师团队队实施推广实施推广团队团队架构师架构师技术评估技术评估技术选型技术选型技术目标制订技术目标制订架构设计架构设计开源管理开源管理技术文档编写技术文档编写技术培训技术培训技术网站维护技术网站维护项目技术支持项目技术支持技术战略调配资源建立以五大数据核心为基础的开源化SOA平台 通过开源化，已经完成旅客信息、旅客行为、运行控制信息三大核心数据库及面向SOA核心服务平台。移动化、整合业务应用端 在企业核心服务平台基础上，利用开源技术，重新整合呼叫中心、地面服务等应用，面向岗位需求实施移动化策略。建立统一WEB技术架构 使用开源技术