基于数据仓库的QAR数据分析.pdfVIP

2685 0引言 QAR(quickaccessrecorder)是飞机记载记录系统中的快速 存储装置。 目前世界上一些发达国家将飞行数据运用于日常 监控工作， 美国的飞行事故率， 从 1950 年的万时率 3.6 降到目 前的 0.15。 从 1998 年底开始， 应民航总局的要求， 中国大多数 航空公司的飞机上加装了QAR系统， QAR数据成为各个航空 公司飞行品质监控、 发动机状态检测、 诊断飞机系统故障、 实 现三维动画分析等方面的重要依据 1-2。 目前各航空公司分析QAR数据存在的问题： 飞机的异 地管理导致 QAR 数据的异地管理， 不同公司、 单位之间具有 不同的岗位设置和工作流程， 加上时空距离的阻隔， 使沟通和 交流的效果打了折扣； 记录介质 (如 PCMCIA 存储卡、 QAR 光盘和飞行数据记录器) 所记录的飞行数据缺乏统一的形式 和管理； 数据的利用率很低， 据民航总局统计， 在分析超限 事件时， 通常用到的超限数据仅占到整个航段数据的约 10 (一个航段按2小时， 平均出现3个超限事件， 每个事件的引证 时间为120秒计)， 剩余90%的常规数据被白白扔掉了； 现场 海量信息无法在实时数据库中长期保留，实时数据库和关系 数据库间很难建立统一的数据模式。 当今航空公司采用传统的数据库技术， 是事物驱动、 面 向应用的操作型数据库系统， 无法有效的解决各航空公司分 析 QAR 数据出现的问题，数据仓库技术是一门用来对海量 数据进行有效的分析， 深层次的挖掘， 为企业提供战略信息 的技术。把数据仓库技术应用在 QAR 数据分析中，在现有 的各个航空公司QAR数据译码基础上， 开发基于数据仓库的 QAR 数据分析系统， 挖掘安全隐患和预测趋势问题， 从而让 QAR数据更好的推进航空公司乃至整个民航事业的发展。 本 文基于数据仓库技术， 构造了 QAR 数据仓库， 并详细论述了 解决方案。 1QAR 数据仓库的设计 1.1数据仓库的构建方案 构建QAR数据仓库涉及海量的数据信息， 既有大量的历 史数据，又有大量的实时监测数据。数据仓库的构建切合航 空公司的实际， 包括航迹再现、 节油分析、 安全监测等各个方 收稿日期：2007-10-30E-mail：xiuxiahuan 基金项目：国家自然科学基金项目(60612174)。 作者简介：郇秀霞(1981)，女，山东寿光人，硕士研究生，研究方向为数据挖掘、数据仓库； 王红，教授，硕士生导师。 基于数据仓库的 QAR 数据分析 郇秀霞， 王红 (中国民航大学 计算机科学与技术学院，天津 300300) 摘要： 针对现有各航空公司分析 QAR 数据的平台不统一、 QAR 数据量大、 分析和处理数据能力不足、 导致海量的数据变成 了信息垃圾， 在对QAR数据和数据仓库技术研究基础上， 结合航空公司关心的问题， 设计了QAR数据仓库， 给出了数据仓库 模型的设计， 详细阐述了 QAR 数据分析主题的提取方法， 提出 QAR 数据仓库的星型模型。通过 ETL 设计了多维数据集， 以 超限事件为例展现了对 QAR 数据的安全分析， 为航空公司改进飞行品质、 提高安全系数提供依据。 关键词： 数据仓库;数据清洗; QAR 数据;飞行品质;多维数据集 中图法分类号： TP311文献标识码： A文章编号： 1000-7024 (2008) 10-2685-04 Analysis of QAR data based on data warehouse HUAN Xiu-xia,WANG Hong (School of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China) Abstract：Aimed atthepractical questions of airline companies, suchasthe platformused to analyzethe QAR data isnot unified, great amount of QAR data, low capability of data processing and numerous data turned into information trash, QAR data warehouse based on technique of data warehouse and studied QAR data is designed combining the questions which airline companies concerned. The data warehouse architecture is designed, a blue print about how to extract analysis of QAR data subjects, a star schema and multidimensional model by ETL is presented, which implemented the farther research on QAR data through exceed the limits, so that some basis can be provided for airline companies improving flight character and factor of safety. Key words：data warehouse; data cleaning; QAR data; flight character; multi-dimensional 2008 年 5月计算机工程与设计 May 2008 第 29 卷第 10 期 Vol. 29No. 10Computer Engineering and Design 2686 面。考虑到 QAR 数据量大、 参数繁多， 采用 “自顶向下” 的开 发策略， 把原来分散存储在各个航空公司的OLTP数据库中的 数据通过提取、净化转换和聚集等处理步骤建立一个全局性 数据仓库。 QAR 数据获取层为数据采集系统数据库中的各类 数据， 重整结构和调整数据后归类存放在数据仓库中， 运用联 机分析处理、多维数据集客户端分析工具多层次分类成有效 信息呈现给用户。 1.2数据仓库的总体架构 系统体系结构设计的终极目标是提供一种可在软件分 析、 应用系统和组件模块开发层次上高度可重用的系统框架 3， 根据QAR数据的特点， 设计了结构化的 3 层QAR数据仓库体 系结构， 从功能层面的角度来讲， 可以将 QAR 数据仓库划分 为数据源层面、 数据仓库层、 OLAP 层以及分析结构展现层 4， QAR 数据仓库的体系结构如图 1 所示。 2QAR 数据仓库模型 2.1QAR 数据仓库主题的确立 数据仓库是按主题组织多维结构的， 主题是人们关心问 题的主要方面， 一个主题对应一个多维模型， 必须先确定系统 的主题域， 再按主题构建数据仓库的多维模型 5。 为了确定基础细节集中哪些是对决策有帮助的数据需要 进行主题分析 6。当今困扰各个航空公司的主要问题如下： (1)改进飞行品质、 提高安全系数， 飞机的飞行品质是指能 够保证飞机飞行安全， 完成飞行任务的能力， 实现飞行品质的 监控主要是及时的发现机组操纵、发动机工作状况以及航空 器性能等方面存在的问题， 分析查找原因， 确保飞行安全， 飞 行品质监控已经是全世界普遍关注的问题； (2)国际燃油价格节节攀升， 航空公司燃油成本不断上涨， QAR 数据是实现燃油节支的重要依据， 体现在核查飞行任务 书数据的准确性， 对燃油消耗进行科学、 系统的分析等， 控制 燃油成本成为各航空公司成本控制工作的当务之急； (3) 同时利用 QAR 数据中的某些参数描绘飞行器的航迹 实现三维动画、 航线的设计等。 在QAR数据仓库中， 以航空公司关心的问题作为主题对 数据进行收集、 归纳。 针对航空公司的实际问题， 确定以下主 题： 安全分析主题， 节油分析主题， 航迹描绘主题。 经过深入的研究和分析，确定出跟分析主题相对应的 QAR 数据参数， 具体划分如表 1 所示。 这样为QAR数据方面的分析专家提供了方便， 从众多的 数据参数中寻找与主题相关的参数节省了时间， 提高了效率， 方便了不同的分析者。 2.2QAR 数据多维模型 QAR 数据分析中的主题是由多个表来实现， 数据集市的 逻辑建模是数据集市实施的重要环节，因为它能直接反应出 航空公司的需求，同时对数据集市的物理实施有着重要的指 导作用。可以用几种方式来构建数据仓库或数据集市，例如 采用实体关系模型、 汇总表、 多维数据库、 星型模式和雪花模 式等模型。 在设计中考虑到提高查询性能和便于用户安排不同的查 询，采用了星形模型。星型模型就是事实表和维表通过键码 相连， 形成一个完整的星形模型， QAR数据分析主题的星形模 型如图 2 所示。 星型模式在ROLAP中， 将多维数据库的多维结构划分为 两类表： 即事实表和维表， 事实表用来存储事实的值及各个维 的码值； 维表对每个维至少使用一个表来存放维的层次、 成员 类别等维的描述信息。在 QAR 数据仓库星形模型中， 事实表 即 QAR 数据_Fact，维表包括安全参数表_Dim，节油参数表_ Dim， 航迹参数表_Dim， 维表安全参数表_Dim描述安全信息需 要的参数，节油参数表_Dim 描述分析节油情况需要的参数， 图 1QAR 数据分析决策支持系统总体架构 航空公司基于 SQL Server 的 QAR 数据 航空公司基于 Oracle 的 QAR 数据 航空公司基于 Access 的 QAR 数据 QAR 数据获取层 抽取 清洗 转换 元数据 QAR 数据仓库 数据库管理系统 QAR 数据分析 多维数据集 安全参数 数据集 安全参数 数据集 节油参数 数据集 数据集市 QAR 数据存储层QAR 数据输出层 查询/统计 服务 表 1 QAR 数据仓库主题及其参数 主题名称相关参数 安全主题 高度、无线电高度、地速、风向、航向、偏流角、 攻角、扰流板位置、V1 速度、Vr 速度、V2 速度、Vref 速度、左油门反推位、右油门反推位、 A/T 脱开、左反推转换、左反推伸出、开起 APU、 打开 A/T、关断 A/P 节油主题 空速、地速、N1 左发转速、N2 左发转速、左主 油箱燃油流量、右主油箱燃油流量、风向偏流角、 飞机总重、扰流板位置、马赫、选择高度、选择 空速、选择垂直速度、选择马赫速度、大气静压 航迹主题高度、经度、纬度、航向、偏流角 其它参数 俯仰角度、倾斜角度、滑油压力、EGT 温度、左 油箱燃油流量、右油箱燃油流量、抖杆速度、左 VOR 频率、 右 VOR 频率、 ILS 频率、 TCAS 状态、 垂直加速度等 图 2QAR 数据分析星型模型 *安全参数序号 高度 无线电高度 地速 风向 航向 偏流角 攻角 扰流板位置 V1 速度 Vr 速度 V2 速度 Vref 速度 左油门反推位 右油门反推位 A/T 脱开 左反推转换 左反推伸出 开起 APU 打开 A/T 安全参数表_Dim QAR 数据_Fact *QAR 数据序号 *安全参数序号 *节油参数序号 *航迹参数序号 时间 机型 飞行阶段 航迹参数表_Dim *航迹参数序号 高度 经度 纬度 航向 偏流角 *节油参数序号 空速 地速 N1 左发转速 N2 左发转速 左主油箱燃油流量 右主油箱燃油流量 风向 偏流角 飞机总重 扰流板位置 马赫 选择高度 选择空速 选择垂直速度 选择马赫速度 大气静压 节油参数表_Dim 2687 航迹参数表包含了描述航迹需要的参数。 QAR 数据仓库的数量很大， 需要提高存取效率。数据仓 库物理设计基于数据仓库的逻辑模式和工作负荷进行索引的 优化选择，并需要考虑所采用的数据库管理系统 (data base management system， DBMS)的特殊数据访问结构， 索引的选择 对数据仓库性能起着关键作用。在 QAR 数据仓库中， 对数据 的存储建立专门的索引以获取较高的存取效率。 3数据的预处理 为QAR数据分析设计好了星形架构后， 就要开始将各个 航空公司的 QAR 数据从 OLTP 事务系统转移到流通数据仓 库。在数据转移之前， 要对 OLTP 数据进行预处理。因为数据 仓库中的QAR数据来源于不同的航空公司的业务数据库， 系 统建立时间、 选型、 开发人员不同等原因， 使得各个业务系统 的硬件环境和软件环境各不相同， 数据结构不统一， 必须对数 据进行清洗。 QAR 数据在从面向应用到面向主题的转变过程中， 要丢 弃原来不必要的、 不适于分析的信息， 统计生成决策分析所需 要的信息， 如在转化过程中， 与安全、 节油、 航迹相关的要映射 成一个维表， 不需要的参数比如： 俯仰角度、 倾斜角度、 滑油压 力、 EGT 温度、 抖杆速度、 左 VOR 频率、 右 VOR 频率、 ILS 频 率、 TCAS 状态等就应该舍去， 因为过多的冗余数据会造成空 间的浪费和效率的降低。 在数据抽取分析中需要分析所抽取的数据应该满足哪些 条件， 这些条件可能是一些复合条件， 而且可能是来自不同的 表。因此在数据源抽取规则表中给出需要根据某些过滤条件 和连接条件进行数据抽取的表及其列名以及具体的过滤和连 接条件， 根据飞行手册， 在 QAR 数据仓库中设定的判断条件 如表 2 所示。 在 QAR 数据仓库中采用的 ETL 工具是 SQL Server 2000 提供的数据转换服务(data transformation services， DTS)组件。 使用DTS导入/导出向导， 依照表 2 定义好的抽取原则和抽取 模型，将数据从源数据库系统中抽取并加载到数据仓库数据 库中 7， 保存到定义好的 QAR 数据-Fact 事实表、 航迹参数表- Dim、 节油参数表-Dim、 安全参数表-Dim 维表中。OLAP_Mart 是目的数据库， 也是搜集数据的数据集市。建立的 QAR DTS 数据包如图 3 所示。 事实表有键值是依靠维表的， 因此先把维表的数据导入 再处理事实表数据的导入。DTS 数据包的设计建立了维表数 据来源的 3 个数据源， 即航迹参数表 Source、 节油参数表 Sou- rce、安全参数表 Source。创建导入事实表的工作流，QAR 数 据_Fact Source 是数据来源， OlAP_Mart 是数据目的地。 通过执行QAR数据包将数据从OLTP系统数据库中加载 到流通数据仓库的目的数据库中， 加载完成后， 就可以打开目 的数据库， 为事实表设置组合主键， 为各维度表设置主键， 并 使维度表和事实表构成主键/外键关系。 4QAR 数据分析的实现 构建 “QAR 数据分析” 多维数据集， 采用的 OLAP 分析工 具是 SQLServer 中的 AnalysisManager 系统。 它是一个管理多 维数据集的有力工具， 可以用来创建对数据仓库的访问、 分析 多维数据集和知识发现的数据挖掘工具。建立了 “QAR 数据 分析” 多维数据集后， 就可以利用其中的工具， 对多维数据集 的不同维度、 不同层次进行钻取、 旋转、 切片等操作， 从而方便 地查看数据仓库的内容。主要建立的维度有：机型、飞行时 间、 飞行阶段、 飞行区等， 实现对数据仓库中数据的查询。 本文以超限事件(超限事件是 QAR 系统译码数据库在对 飞行数据进行译码处理过程中，对超过设定的探测门槛值而 生成的事件) 为例展现对 QAR 数据的分析，超限事故的发生 都是在飞机运行后发生的， 飞机的飞行阶段主要分为起飞、 爬 升、 巡航、 进近、 着陆阶段， 在巡航阶段打开自动驾驶， 不需要 飞行员的参与， 超限事件不会发生在此阶段， QAR记录的数据 里不包含巡航阶段的数据， 因此在研究超限事件时， 不考虑飞 机的巡航阶段。 利用数据透视表服务功能对 “QAR数据分析” 多维数据集 来展示联机分析， 以超限事件进行切片， 在时间维 2006 年轻 微超限事件发生次数， 多维分析结果如图 4 所示。 图 4 给出了某航空公司 B737-300 飞机 2006 年低音速飞 行时， 轻微超限事件的分析结果， 反映出B737-300机型超限率 表 2QAR 数据 ETL 行名 列名飞行区(M 是马赫数)飞行阶段 超限事件 轻微超限事件严重超限事件 判定 条件 M0.4 低速飞行区 0.4M0.9 亚音速飞行区 0.9M1.2 跨音速飞行区 1.2M5.0 高音速飞行区 起飞 爬升 进近 着陆 抬前轮速度小VR kts 离地仰角10.5 Deg 离地速度大V2+25 kts 航向道偏离： 1000-500 ft1.5 dot 进近速度小： 500-50 ftVREF kts 进近速度大： 50 ft 以下VREF+15 kts 着陆垂直载荷大1.6 g 抬前轮速度小VR 5 kts 离地仰角11.5 Deg 离地速度大V2+30 kts 航向道偏离： 1000-500 ft2.0 dot 进近速度小： 500-50 ftVREF5 kts 进近速度大： 50 ft 以下VREF+20 kts 着陆垂直载荷大2 g 图 3QAR DTS 数据包 航迹参数表 So. Delete QAR 数据 节油参数表 So. 安全参数表 So. OLAP_Mart QAR 数据_Fact. OLAP_Mart 2688 较高的是 “离地速度大” 这个项目。 偏高的是 “离地仰角大” 和 “抬前轮速度小” 两个项目。 说明该航段的飞机在起飞动作存 在一定的问题， 应该对该航空公司的B737-300飞机离地速度、 离地仰角和抬前轮动作予以及时的提醒和修正。 和传统的系统结构相比， 本系统采用了基于主题的数据 集市， 而不是针对部门的数据集市。针对不同的主题， 用户 可以进行不同的查询和分析 8， 可以看到什么类型的超限事 件经常发生， 有利于航空公司从趋势分析中找出飞行操纵误 区或具有倾向性的问题， 方便了航空公司对飞行人员有针对 性的培训。同时为航空公司更好的立足于飞行实际， 提供充 分的理论和性能依据， 与特定机场的导航设施、 特殊条件和机 型相适应， 制定飞行手册的标准， 对飞机故障进行检测等提供 了依据。 5结束语 QAR 数据量大、 数据来源多样化， 采用数据仓库技术能 把不同数据平台上的QAR数据集中在一起， 存储在一个单一 的、 集成的数据库中， 利用丰富的 QAR 数据资源， 对 QAR 飞 行数据进行统计分析。本文以航空公司关心的安全问题、节 油问题以及航线的设计等， 提出了基于数据仓库技术的 QAR 飞行数据分析决策支持系统的一整套方案。为航空公司制定 和实施有效的安全措施， 对当事人、 机进行必要地培训检查， 节油分析以及航迹再现等提供了科学的依据。 数据分析是管理的基础， 无法衡量就无法管理， 能够衡量 才能管理。 此外在本系统的基础上， 可以利用数据挖掘算法， 准确地挖掘存在的安全隐患和预测出可能出现的趋势性问题， 可以挖掘出这些枯燥数字背后的高 “附加值” ， 让QAR数据更 好的为航空事业的发展创造价值。 参考文献: 1黄永芳,黄圣国,孙同江.QAR 数据译码的航班划分J.交通运 输工程学报,2004,4(1):114-117. 2卿立勇,黄圣国,林钰森.基于 QAR 数据的飞机系统故障预测 与故障诊断支持系统研究J.江苏航空,2006(2):11-12. 3李恒杰,王健琨.基于开源项目的教育决策支持系统的设计与 开发J.计算机工程与设计,2007,28(14):3504-3507. 4Liu William,Chua TJ.APS, ERP and MES systems integration for semiconductor backend assemblyJ.Seventh International Conference on Control Automation,2002,