基于Oracle数据库的油田数据库实时监控系统.pdf

化工自动化及仪表第4 2 卷 基于O r a c le 数据库的油田数据库实时监控系统 任伟建1王子维1霍凤财1于博文1朱 珊1 孙辉2 ( 1 东北石油大学电气信息工程学院，黑龙江大庆1 6 3 3 1 8 ； 2 大庆油田有限责任公司天然气分公司，黑龙江大庆1 6 3 0 0 0 ) 摘要 为了实现油田数据库的实时监控，及时调查应用系统数据的维护情况，设计基于O r a c le 数据库 的细粒度审计监控技术和数据库触发器监控技术相融合的混合式数据库监控技术。开发了数据库监控 系统。通过执行监控存储过程代码包，针对重点数据表建立相应的监控策略和触发器，能够对数据库用 户的行为和系统信息进行全面的监控。对比传统的数据库监控技术，该技术更加全面，管理数据更加有 效。简洁。 关键词数据库监控细粒度审计监控策略触发器 中图分类号T H 8 6 5 文献标识码 B 文章编号1 0 0 0 3 9 3 2 ( 2 0 1 5 ) 1 2 1 3 4 4 - 0 5 目前，油田服务器中含有大量应用系统，而每 个应用系统都要占用数据库服务器资源。造成数 据库中数据结构复杂、混乱。如何针对每个应用 系统的数据进行有效的监控和管理是目前亟待解 决的问题。 监控数据库比较主流的方法有两种：一种是 安装O r a e le 自带的L o g m in e r 工具包对数据库的 日志文件进行分析 。这种方法可以获取到数据 库用户的操作信息，如操作类型及操作时间等，但 是存在以下不足：一是无法获取到用户的具体操 作内容；二是无法监控到数据库用户的系统信息， 如登录时间、退出时间及I P 地址等；三是大量占 用数据库存储空间，影响数据库性能，L o g m in e r 分 析器将监控产生的数据全部堆积到日志文件中， 数据调用十分繁琐，而且还会生成大量的冗余信 息，对数据库性能造成很大影响。第二种方法是 创建数据库触发器，调用系统监听函数获取用户 在数据库中的行为旧1 ，通过即时触发的方式进行 信息记录旧1 。这种监控方式可以捕获到数据库用 户的I P 地址Ho 及在数据库中的活动时间等系统 信息，但由于系统函数存在的权限问题，无法获取 到与用户操作有关的信息。由于油田数据库要针 对业务部门的各个应用系统的使用情况进行全方 位的监控，必须同时包含详细的用户操作信息内 容和系统信息，因此以上两种传统的数据库监控 方法都有不足之处。 而O r a c le 数据库特有的细粒度审计功能，可 以解决一部分问题。细粒度审计功能可以记录用 户具体操作的S Q L 语句和变量绑定值。基于这 种情况，笔者利用O r a c le 的细粒度审计功能，提出 一种基于O r a c le 数据库细粒度审计技术与数据库 触发器触发监控技术相结合的混合式监控技术， 开发了一种基于O r a c le 数据库的数据库监控系 统。系统通过对数据库用户的系统信息和操作行 为的监控，为数据库管理员提供管理和维护数据 库的辅助分析工具，提高数据库管理员的工作效 率，确保业务部门应用系统的不间断运行。 1 监控系统总体架构 笔者所开发的监控系统依托于O r a c le lO g 数 据库，主要开发语言为S Q L 脚本代码。网页框架 和页面设计开发工具为V is u a lS t u d io2 0 1 0 ，主要 编程语言为c # 和J a v a S e r ip t 脚本语言。 数据库监控系统采用B S 模式的3 层系统架 构，即应用层、业务逻辑层和数据层。监控服务器 端与监控数据库之间的交互是双向的，服务器端 既可以从数据库中读取数据，也可以将服务器实 收稿日期：2 0 1 5 - 0 2 - 2 7 ( 修改稿) 基金项目：国家自然科学基金资助项目( 6 1 3 7 4 1 2 7 ) ；黑龙江 省博士后科研启动资金资助项目( L B H Q 2 1 4 3 ) 第1 2 期任伟建等基于O r a c le 数据库的油田数据库实时监控系统 时监控数据写入数据库中；客户端与服务器端的 交互是单向的，客户端从服务器端读取数据并进 行数据的查询、调用和分析。 2 监控系统的实现 数据库监控分为3 个步骤： a 定义监控策略。为了节省数据库资源，通 过自定义监控方式，建立相应的监控策略。 b 开发监控数据字典。为了使大量监控数 据结构化存储，方便管理员有针对性地查询分析， 开发监控体系所需要的数据字典。 c 实施监控查询调用。在建立了监控策略 并构建了监控数据字典之后即可实现监控的查 询调用，管理员可以从用户的系统信息和具体操 作内容的角度进行数据分析，全方位了解业务部 门的数据使用情况。 2 1 定义监控策略 为了使监控数据能够更好地被查询、调用和 管理，首先需要定义一个监控策略。监控策略能 够针对每张不同的数据表进行自定义监控方式， 用以监控不同数据表的不同操作。这样既可以防 止数据库资源过多地被占用，又可以更加规范地 管理监控过程所产生的大量监控数据。 监控策略的定义位于最高权限S Y S 管理员 用户下的数据字典D B A A U D I T P O L I C I E S 视图 中。该策略视图中包含监控动态视图中一些重要 列的简短描述。笔者通过开发审计策略处理器模 块，编写程序脚本，在S Y S T E M 本地管理员用户下 执行添加。这样一来，管理员通过输人不同的审 计策略命令即可添加对不同数据表的监控策略。 在监控策略表中，每一行数据代表一个监控策略。 P N A M E 字段下即审计策略名，S T M T T Y P E 为监 控策略的不同类型，可以任意监控S E L E C T 、I N S E R T 、D E L E T E 和U P D A T E 这4 种操作方式的任 意组合。 2 2 开发监控数据字典 在O r a c le 数据库中，对数据进行归类整理后 形成的数据集称作数据字典。数据字典是O r a c le 数据库存储数据库结构信息的地方”1 ，同时也是 用来描述数据库数据组织方式的，具体由数据表 和视图组成。数据字典具有维护数据库系统稳定 性的重要作用，由于数据库监控过程中产生的监 控数据量巨大，如果不对监控数据进行有效地管 理则会大量占用数据库资源，对数据库性能产生 影响。笔者通过执行编写好的C a t a lo g s q l监控数 据字典脚本，构造数据库监控所必须的监控数据 表和动态性能视图。对监控数据字典的设计主要 从以下几个方面展开。 监控视图，即动态性能视图配置。在进行数 据库监控之前，需配置好标准结构的监控数据动 态性能视图，动态性能视图是一组反映数据库当 前活动信息的虚拟表，所有者为S Y S ，以v $ 或者 g v $ 开头，是管理员监控和调优数据库的重要工 具，如v $ p r o c e s s 、v $ s e s s io n 及v $ s q h e s t 等视图， 这些视图存储监控用户的系统信息和具体操作 S Q L 语句，为数据表查询数据提供数据源。 监控数据表，即表结构、表关系及属性数据类 型等。在进行数据库监控之前，必须建立起用于 存储不同类型监控信息的数据表以及表问关系。 其目的是为了使大量数据库监控信息结构化存 储，避免进入审计日志中。同时，依靠表关系可以 让各类监控数据以有意义的方式联系到一起，便 于分析查询。 监控数据的存储结构和存储方法设计。提前 构建存储不同业务部门监控数据的数据表和表结 构，防止造成数据存储混乱，致使查询分析速度过 慢。 监控数据操作权限配置。在初始化数据字典 代码时，要定义数据字典的安全级别，本系统由于 涉及监控信息，程序设定数据字典为控制级，即在 系统外无法对数据字典进行篡改。 数据字典是在监控系统部署之前通过编写好 的C a t a lo g s q l脚本直接生成的，杜绝了篡改数据 字典的可能。保证了监控数据的安全可靠。同时 监控数据字典提供不同接口，使不同业务部门的 监控数据存入指定的监控数据表，充分发挥了数 据字典的灵活性，使查询代码量大为减少，提高了 管理员分析监控数据的速率。监控数据字典构建 流程如图1 所示。 1 3 4 6化工自动化及仪表 第4 2 卷 开始 执行配置动态性能视图计划 创建监控系统所需的v 一$ 视图以及v $ 同义词 户模式中检查监控视图是否配置完 创建不同业务部门所需的不同操作监控表 定义字段关系和s e s s io n id 主键 赋予管理员访问监控视图和表的权限 生成C a t a lo g s q l数据字典脚本 在S Y S 胄| I 户下初始化执行 结束 图l监控数据字典构建流程 2 3 数据库实时监控和监控数据查询调用 2 3 。1 用户操作数据监控 笔者所开发的数据库监控系统允许将单个的 D M L 语句连同数据库用户提交的确切语句一起 进行审计。除了简单地跟踪代码之外，该技术还 通过在每次用户选择特定的数据集时执行数据库 O r a c le 数据库 哎芝里步 一一丽鑫朱 送壅空少 】I!：一 返回错误O R A 一0 0 9 4 2 内部代码。将监控数据利用上文所提及的步骤自 动添加到S Y S 最高管理员权限下名为F G A L O G $ 的系统表中。其中记录了监控事件的时间戳、 执行操作的数据库用户I D 、操作对象表的名称和 所有者，最后还有确切的D M L 语句S Q L 代码。 用户操作数据监控流程如图2 所示。 监控服务 二 二 动态细粒度审计 确定用户操作行为 磊操侄三) 一N D M L 否为操侄三：； 一 提交审计数据集至监控 数据字典结构化分析 存人监控数据表中 图2用户操作数据监控流程 2 3 2 系统信息监控 仅开发基于O r a c le 的细粒度审计数据监控还 不足以满足油田数据库监控应用系统的要求。要 全方位的获取应用系统的使用情况还需要清楚数 据库用户确切的系统信息，如I P 地址、登录数据 库时间及退出数据库时间等。为了获取数据库用 户操作的系统信息，笔者构建了一个具有系统权 限的触发器。当触发事件发生的时候，可以启动 该触发器。通过调用系统事件函数( E v e n tA t t r ib u t eF u n c t io n s ) 来获取系统信息，利用数据库自带 函数S Y S C O N T E X T 来追踪系统事件。通过触发 器的即时监控，用户可以进行包括审计、把对象 第1 2 期任伟建等基于O r a c le 数据库的油田数据库实时监控系统 P I N 入共享池及进行一些维护等操作。 L o g o n L o g o f f 触发器。L o g o n L o g o f f 触发器可 以用来记录用户在数据库中的活动时间。在使用 系统级触发器前，首先要确认系统参数一s y s t e m t r ig _ e n a b le d 是否设置为T R U E 。在用户登录和退 出数据库时，触发系统监听函数，通过数据库底层 脚本编写触发器并构建标准结构的用来记录系统 监控信息的数据表。 关联触发器。由于O r a c le 数据库是关系型数 据库，笔者通过构建关联触发器将数据字典中用 户操作监控数据表与触发器触发监控生成的系统 信息监控表相关联。将用户操作监控数据表中的 操作内容S Q L 语句、数据表名、时间戳字段和系 统信息监控表的用户名、I P 地址字段分别提取出 来关联到一张数据表内。具体操作步骤如下： a 在s Y s 用户下构建A F T E R 触发器，在用 户操作后执行该触发器代码； b 声明变量，用于存储监控信息内容，数量 和类型要与监控表中字段类型一致； C 利用s e s s io n id 、时间戳这两张表中共有 的字段作为相关查询条件，将相同时间两张表中 需要的字段信息提取出来； d 将提取出来的字段信息赋给之前声明的 变量，利用S Q L 代码统一插人到一张新的数据表 中，作为相关业务部门的监控数据表。 这样就将两张数据表中的不同字段信息通过 触发器统一关联到一张新的数据表中了，在查询 分析时方便快捷，所需查询时间很少。而直接在 数据库中通过嵌套查询的复杂S Q L 语句关联查 询多表也可以实现这个功能，但是计算量过大，所 需时间以分钟为单位，用户体验极差。 在获取到用户的操作信息和I P 地址系统信 息之后，笔者应用A S P N E T 技术M 娟1 编写链接数 据库字符串，以B S 架构的方式将监控信息可视 化展现在浏览器端。设置时间段等智能查询方式 便于管理员有针对性地查询。 3结束语 笔者所开发的数据库监控系统是基于O r a c le 数据库细粒度审计技术与数据库触发器触发监控 技术相结合的混合式监控技术。该技术已经在油 田数据库中试运行了一段时间，通过实践证明，该 监控系统能够有效地监控数据库用户在应用系统 中对数据库进行的一切操作和数据库用户在数据 库中的详细系统信息。通过定义监控策略及构建 监控数据字典等步骤将大量监控数据结构化存 储，进行了有效的管理，便于管理员查看和调用。 通过分析监控数据，管理员可以对数据库中的所 有被监控用户和应用系统的重点表进行全方位的 掌控，从而避免某些应用系统数据维护不及时及 冗余操作过多等现象发生，对数据库的管理和性 能调优非常有必要。 参考文献 1 张立奎，闫子熙基于L o g M in e r 的O r a c le 数据库日 志分析 J 计算机与网络，2 0 1 3 ，3 9 ( z 1 ) ：1 4 5 1 4 7 2 支馨悦触发器在实现数据库安全方面的几种应用 J 林区教学，2 0 1 1 ，( 5 ) ：9 5 9 6 3 钟亚妹触发器在S Q LS e r v e r 数据库开发中的应用 与研究 J 电脑知识与技术，2 0 1 l，7 ( 1 1 ) ：2 4 9 2 2 4 9 4 4 韦晨艳，杨键鸣，姚斯立S Q L 数据库中存储过程、 触发器的应用研究 J 中国信息界，2 0 1 l，( 6 ) ：5 9 6 0 5 刘晓华企业数据字典标准化管理平台解决方案探 讨 J 武汉工程大学学报，2 0 0 8 ，3 0 ( 1 ) ：lO t 一1 0 3 6 尚肖飞基于A S P N E T 高职院校教务管理系统的 设计与实现 D 哈尔滨：黑龙江大学，2 0 1 1 7 “TH ，F e n gW D e s ig na n dI m p le m e n t a t io no fB lo o d M a n a g e m e n tS y s t e mB a s e do nB S J J o u r n a l o fC a p - it a lM e d ic a lU n iv e r s it y ，2 0 1 0 ，3 1 ( 6 ) ：8 2 1 8 2 3 8 向才风，张岳衡基于A S P 。N E T 的企业进销存管理 信息系统的设计与实现 J 中国管理信息化， 2 0 1 1 ，1 4 ( 3 ) ：3 5 3 6 R e a lt im eM o n it o r in gS y s t e mf o rO ilf ie ldD a t a b a s eB a s e do nO r a c leD a t a b a s e R E NW e i- j ia n l，W A N GZ i w e il，H U O F e n g c a il，Y UB o w e n l，Z H US h a n l，S U NH u i2 ( 1 S c h o o lo f E le c t r ic a lE n g in e e r in ga n dI n f o r m a t io n ，N o r t h e a s tP e t r o le u mU n iv e r s it y ，D a q in g1 6 3 3 1 8 ，C h in a ； 2 N a t u r a lG a sB r a n c hC o m p a n yo fD a q in go ig w t aC o ，l_ , t d ，D a q in g16 3 0 0 0 ，C h in a ) ( C o n t in u e do nP a g e1 3 5 2 ) 1 3 5 2 化工自动化及仪表第4 2 卷 7结束语 针对叉车的转向要求，设计了一种叉车转向 轮转角模糊控制策略。在分析线性二自由度整车 模型的基础上，推导出与传动比相关的变量，设计 了基于车速和方向盘转角的模糊变传动比控制方 法，仿真结果表明，基于模糊控制的变传动比控制 方法，既满足了叉车转向要求，也提高了叉车操作 的稳定性。为加快叉车的响应速度，引入横摆角 速度模糊P I D 反馈控制方法。仿真结果表明，增 加横摆角速度模糊P I D 反馈控制，缩短了叉车的 响应时间，提高了叉车转向的灵活性。 2 参考文献 郑宏宇，宗长富，田承伟，等基于理想转向传动比 的汽车线控转向控制算法 J 吉林大学学报( 工学 版) ，2 0 0 7 ，3 7 ( 6 ) ：1 2 2 9 1 2 3 5 田杰，高翔，陈宁基于分数阶微积分的线控转向系 统的控制研究 J 机械科学与技术，2 0 1 0 ，2 9 ( 9 ) ： 1 1 7 2 1 1 7 6 于蕾艳，林逸，施国标线控转向系统的角传动比研 究 J 农业机械学报，2 0 0 7 ，3 8 ( 8 ) ：1 9 0 1 9 2 B a s la m is liSC ，P o la rI ，K o s eIE G a inS c h e d u le dA c t iv eS t e e r in gC o n t r o lB a s e do naP a r a m e t r icB ic y c le M o d e l C I n t e llig e n tV e h ic le sS y m p o s iu m I s t a n b u l： I E E E ，2 0 0 7 ：1 1 6 8 1 1 7 3 刘志远，周洪亮，陈虹汽车横摆的动态模型 J 控 制理论与应用，2 0 1 1 ，2 8 ( 8 ) ：1 1 4 5 一1 1 5 0 于蕾艳，林逸，施国标线控转向系统的主动转向控 制策略 J 农业机械学报。2 0 0 8 ，3 9 ( 1 ) ：4 6 徐小东，张冰战基于模糊逻辑的混合动力汽车控 制策略研究 J 合肥工业大学学报( 自然科学版) ， 2 0 1 2 ，3 5 ( 6 ) ：7 2 5 7 2 8 王述彦，师宇，冯忠绪基于模糊P I D 控制器的控制 方法研究 J 机械科学与技术，2 0 1 1 ，3 0 ( 1 ) ：1 6 6 1 7 2 R e s e a r c ho nF u z z yC o n t r o l S t r a t e g yf o rS t e e r - b y - w ir eS y s t e mo fF o r k lif t Z H A N GQ in g - lin l，X I A OB e n x ia n l，G U O J u n - lia n 9 2 ，F A NJ in 2 ，F A N GZ i- j ia n 2 ( 1 S c h o o lo fE le c t r ic a lE n g in e e r in ga n dA u t o m a t io n ，H e f e iU n iv e r s it yo fT e c h n o lo g y ，H e f e i2 3 0 0 0 9 ，C h in a ； 2 H e f e iM o v e dE a s yT e c h n o lo g yD e v e lo p m e r itC o ，L t d ，H e f e i2 3 0 0 0 1 ，C h in a ) A b s t r a c tI nv ie wo ft h ef o r k lif t Slo w s p e e d ，f r e q u e n ts t e e r in ga n dd e m a n d in gf o rh ig h e rs t e e r in gp e r f o r m a n t e ，af u z z yc o n t r o ls t r a t e g yf o rf o r k lif t Ss t e e r in gw h e e la n g lew a sp r o p o s e d ；a n dt h r o u g ha n a ly z in gt h elin e a r t w o d e g r e e - f r e e d o m v e h ic lem o d e la n dc o n s id e r in gt h ef o r k lif t ss t e e r in gr e q u ir e m e n t s ，b o t hv e h ic lev e lo c it y a n ds t e e r in ga n g le b a s e df u z z yv a r ia b let r a n s m is s io nr a t ioc o n t r o lm e t h o dw a sd e s ig n e d A n a ly z in gt h ed a t ao f T E 6 0p a lle tf o r k lif ts h o w st h a tt h ef o r k lif t St r a n s m is s io nr a t ios u p p o r t e db yt h ism e t h o dc a nk e e pt h es t e e r in g f le x ib lea tlo ws p e e da n dd u lla th ig hs p e e da n dc a nr e d u c e dd r iv e r Sw o r ks t r e n g t h S im u la t in gt h isf u z z yc o n t r o ls t r a t e g yw h ic hc o m b in in gt h ef u z z yv a r ia b let r a n s m is s io na n dt h ey a wv e lo c it y Sf u z z yP I Df e e d b a c kc o n t r o l p r o v e sit se f f e c t iv e n e s sinim p r o v in gb o t hf le x ib ilit ya n ds t a b ilit yo ft h ef o r k lif t ss t e e r in g K e yw o r d sf u z z yP I D ，f o r k lif t ，s t e e r - b y - w ir e ，t r a n s m is s io nr a t io ，y a wv e lo c it y ，s e n s it iv it y ( C o n t in u e df r o mP a g e13 4 7 ) A b s t r a c tF o rp u r p o s eo fr e a l t im em o n it o r in gt h eo ilf ie ldd a t a b a s ea n din v e s t ig a t in gin t ot h em a in t e n a n c eo f s y s t e md a t aw it h o u td e la y ，t h eh y b r idd