智慧机场项目解决方案说明书

智慧机场项目解决方案说明书XX科技股份有限公司编制目录TOC\o"1-2"\h\u一、项目存在问题及需解决问题 31. 存在问题 32. 需解决问题 4二、解决方案 61.解决方案架构 62.关键技术 7三、开发范围 101. 数据生产 102. 数据采集/消费 103. 数据分析 114. 数据展示 12

项目存在问题及需解决问题存在问题现在的民智慧机场输，正在被拥挤的机场、长时间的排队、行李差错率高、航班延误等一系列问题困扰，而在利用大数据有效解决这些难题的时候，航空行业普遍面临两个问题。1.缺乏数据共享机制，数据利用率严重缩水绝大部分航空公司都建立了自己的数据仓库，存放着生产、运行、销售、客户、合作伙伴等各种各样的数据。这些数据被分门别类地整理之后，存放在数据仓库的各个空间当中，供航空公司的内部工作人员去查询、整理、分析。但遗憾的是，当前国内航空公司对于这些数据的使用，基本上还停留在专项专用的阶段。也就是说，某项数据只供一个部门或一类用户使用，极少能够实现不同部门]之间的数据共享，也很难把数据分析的结论在公司层面广泛应用。例如，航空公司每天销售的机票数量和票价金额的数据，是提供给财务结算系统的基础数据，很少有航空公司会想到利用这个数据来分析自己的远期航班上旅客订座的趋势，以及代理商销售数量的变化波动，从而指导自己的销售人员进行市场促销的行为。从这个意义上看。财务数据本身所具备的市场营销应用价值没有得到充分体现。所以，客观地说，国内航空公司的数据仓库，还仅仅是个“大数据库”而不是“大数据”。2.数据分析处理能力有待加强数据仓库的管理者是信息中心的IT工程师，他们中的很多人对业务流程的理解程度不够，对于各项数据的定义和背后所给出的市场信息并不清楚。分析数据的是一些机关的管理人员，他们有着业务流程的思维，但是一般都缺少数据库的IT知识，在分析过程中需要借助IT人员的帮助，而两者之间很容易产生扯皮。这样的分析过程容易产生片面性，也受制于IT工程师的数据提供能力，经常因为理解不到位，或者少提供了一两项数据而导致结论出现偏差。需解决问题1.业务主题智能研判智慧机场大数据可视分析决策平台接人机场、空管、航空公司的业务数据，将航班执行情况、车辆保障情况、航班保障情况、机场资源使用情况、旅客分布情况、航班延误情况、机场安保分布、机场航线收入等业务数据，通过可视化分析技术，以数据化的思维指导实际工作，快速解决突发的各种机场运行问题。将庞大、分散的航空数据，变成让决策层“能感知、可体验、可探索、可交流”的数据，满足机场业务信息“强度整合、高度共享、深度应用”的需求。智慧机场大数据可视化分析决策平台可在海量数据中，利用预测分析算法和技术，确定机场运行态势，帮助决策者评审和权衡潜在决策的影响力，并采取提前准备相应措施。2.数据银行高效关联智慧机场大数据可视分析决策平台基于机场业务数据和空管、航空、气象等数据资源构建应用，再辅以图易分析法、数据银行、图易Hub展示设备，构建服务于机场综合指挥和各特定场景的业务主题应用。平台采用自主开发结合开源架构的技术架构，根据数据源的种类进行不同的数据导人、存储。处理过程将数据存人可靠的、适应业务特点的、偏重于OLAP或OLTP的各类数据库管理系统中。数据银行整合热门的大数据分布式离线或实时计算框架对数据处理，最终将结论以酷炫的可是化方式展现给用户。智慧机场不仅接人机场内部数据，还接人空管、航空、气象的多源数据资源，包括旅客、航空器派发、停机位资源分配、天气气象数据等，为智慧机场大数据可视分析决策平台提供除机场数据之外的第三方数据源，极大增强了针对机场业务的数据可视分析指挥及决策能力。3.结合D3、WebGL的创新可视化组件库D3.js是一个基于数据的操作文档的JavaScript库，主要用于各异的图表的输出，支持DIV这种图案生成，也支持SVG这种图案的生成。WebGL是一种3D绘图标准，这种绘图技术标准允许把JavaScript和OpenGLES2.0结合在一起。通过增加OpenGLES2.0的一个JavaScript绑定，WebGL可以成为HTML5Canvas提供硬件3D加速渲染，这样Web开发人员就可以借助系统显卡在浏览器里更流畅地展示3D场景和模型，还能创建复杂的开航和数据视觉化。解决方案解决方案架构系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。关键技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)