数据库安全维护系统保障数据库安全稳定、提升支撑能力.doc

成果上报申请书（同2010年）成果名称数据库安全维护系统保障数据库安全稳定、提升支撑能力成果申报单位 黑龙江省公司成果承担部门/分公司 业务支撑中心项目负责人姓名项目负责人联系电话和email成果专业类别*业务支撑所属专业部门*业务支撑线条成果研究类别*现有业务优省内评审结果*（按填写说明4）关键词索引（35个）数据库 维护 安全应用投资0万元（指别的省引入应用大致需要的投资金额）产品版权归属单位 中国移动通信集团黑龙江有限公司对企业现有标准规范的符合度：不涉及业务流程改变，适用范围为oracle数据库如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：成果简介：数据库承载着所有用户数据和应用程序数据，当营业库发生故障时，将会影响全省的前台业务办理、客服查询、计费、停开机，是所有业务的核心。同时，数据安全也需要保障，发生敏感数据泄露等情况将严重影响我公司的社会形象。为保障数据库的稳定和安全，构建数据库安全维护系统。系统由4个域、25个子模块构成，可以实现对数据库的访问控制，操作控制，自动维护优化，常见故障的自动处理与分析。目前该系统已经在营业库中进行应用，有效控制了数据库故障的发生、保障了数据安全。省内试运行效果：目前该管理体系中的各项方案均在黑龙江移动营业数据库得到了应用，并取得了积极的成果，其中数据库安全操作界面、历史数据自动清理程序、数据库未绑定变量抓取程序达到了较好的应用效果，在降低数据库故障发生的方面效果显著。以下是各个模块设计目的与取得的效果分类模块名称设计目的取得效果访问控制敏感字段访问限制在不增加系统负担和维护人员负担的情况下保护系统内敏感数据无敏感数据泄漏问题发生数据库异常登录短信提醒避免了因账号泄露、账号共享导致的数据库问题发生上线后此类问题没再发生数据库程序用户登录限制个人用户无法使用程序用户登陆数据库篡改数据上线后此类问题没再发生操作控制数据库安全操作界面实现了对数据库大事务操作和误操作的控制，降低了数据库维护操作引发数据库故障的风险极大地减少了数据库误操作和大事务操作关键业务表的ddl保护防止出现操作人员、应用程序、或程序上线脚本中，误删系统重要表的情况出现上线后误删除系统重要表问题没再发生数据库权限动态管理回收自动权限控制，定时回收权限，防止出现误操作和数据篡改上线后无因权限问题导致的系统故障关键业务表的dml保护只允许指定人员帐号修改部分关键业务表上线后无关键业务表被篡改的问题发生使用dg进行数据误删除的恢复当出现数据误删除的情况可以迅速的进行数据恢复使用dg恢复数据2次自动化维护优化历史数据自动清理程序对数据库空间进行清理，将历史表迁移至历史库，并提供查询界面累计节约存储空间超过130t数据库自动表分析程序定时定期筛选需要进行分析的表进行不同粒度的表分析，提高系统内语句执行效率sql语句执行计划得到优化数据库僵死进程自动清理防止僵死进程占满数据库连接导致应用程序无法正常连接的现象发生上线后此类问题没再发生定期高水位回收提高表访问效率，释放多余的数据库空间相关业务性能得到提升、数据库空间得到释放数据库监听检测与守护防止短时间内连接数过多导致数据库监听异常终止的情况上线后此类问题没再发生数据库归档空间自动清理防止出现数据库归档满导致数据库挂起的情况发生上线后此类问题没再发生优化的数据库归档备份策略通过调整过的数据库归档备份策略，同时满足归档备份及时性及数据库故障恢复及时性的要求满足要求数据库临时空间管理程序防止出现个别程序占用大量临时空间导致其他程序异常上线后此类问题没再发生性能分析与问题抓取未绑定变量自动抓取程序实时抓取未绑定变量信息并分类归档记录，定期生成报告交给集成商进行优化累计提交未绑定变量问题语句800余个数据库等待事件记录程序抓取数据库异常等待事件分析处理为系统故障分析提供依据数据库pa性能分析与抓取抓取系统性能数据并提取需要优化的语句累计提交语句优化300余条数据库进程自动记录程序抓取数据库异常进程并分析处理为系统故障分析提供依据数据库回滚空间监测模块防止应用程序引发的大事务操作问题或回滚空间满问题出现导致系统故障上线多次监控到大事务操作问题，及时处理，数据库未引发较严重故障perfstat性能分析与抓取抓取系统性能数据并提取需要优化的语句累计提交语句优化300余条sga共享池碎片监控与告警防止出现未绑定变量问题引发的共享池碎片问题结合合理的优化策略，2010年后系统未发生未绑定变量问题引发的数据库故障文章主体（3000字以上，可附在表格后）：数据库安全维护系统保障数据库安全稳定、提升支撑能力1、立项背景（不超过800个汉字）数据库是业务的底层支撑系统，存放着海量的用户数据和程序执行信息，一旦出现故障影响非常严重。目前所有核心业务都与数据库存在交互，如果数据库出现故障会影响以缴费、开户、业务变更、开关机为代表的95%以上核心业务无法受理，在影响公司收入和客户感知的同时，也会影响计费系统、帐务系统及集团考核等多个方面。目前业务支撑中心使用的数据库系统均为oracle，随着业务的不断拓展，支撑系统日益复杂，用户数量不断攀升，目前数据库维护主要存在以下六方面困难：一、业务量大：目前数据库总连接数接近1万，活动连接数接近500，数据库繁忙，出现故障难以定位和处理。二、影响因素多：导致数据库故障出现的因素很多，主机、存储、网络、应用程序设计、维护人员操作、数据库空间、数据库参数等都会对数据库产生影响。三、数据量大：目前营业数据库容量已经突破了16t，系统内的一些关键表数亿行。数据库内存放大量敏感信息，需要重点保护。四、数据库对象多：目前营业数据库内存在表和视图49000余张，数据库对象63万。五、逻辑结构复杂：随着系统的不断建设，部分系统核心表同时被大量业务调用，这些表的数据变化会产生较大影响。仅2010年上半年就完成系统需求上线150余个。六、维护人员操作量大：统计2010年8月维护人员进行非查询类数据库维护操作2900余次。如果按照误操作概率为1%、每10次误操作出现一次严重错误的方法估计，每个月会产生3次左右因维护操作引发的数据库故障。2010年1月-6月间，数据库故障引起业务中断或业务积压11次，其中6次是由于维护人员错误进行大事务操作引起的。针对以上问题，构建了数据库安全维护体系，对数据库的各种故障进行有效的防范和控制，并对部分维护操作使用了程序进行自动处理，减轻数据库维护人员的工作量并减少了误操作情况的发生。同时设计并部署了数据库安全操作界面，实现了对数据库大事务操作和误操作的控制，降低了数据库维护操作引发数据库故障的风险。2、 详细业务服务内容（不超过1000个汉字）构建数据库安全维护体系，主要从以下四个方面来实施：访问控制、操作控制、自动化维护优化、性能分析与问题抓取。一、访问控制：通过各种访问控制手段，降低出现账号共享，账号盗用，个人使用程序用户进行危害系统安全的操作、窃取敏感数据等情况的发生，保证数据库安全。二、操作控制：通过对数据库维护操作的控制和限制，避免影响数据库稳定的误操作发生，预先防范可能出现的数据库故障。三、自动化维护优化：对一些日常数据库维护工作编写shell脚本，数据库程序，减轻数据库维护人员的工作量并减少了误操作情况的发生。四、性能分析与问题抓取：数据库优化是一个持续渐进的过程，应遵循发现问题、分析问题、解决问题的步骤，并形成闭环。性能分析与问题抓取是数据库优化工作的重要环节，通过不断抓取影响数据库性能和稳定的问题语句并进行优化，使数据库系统的性能不断提升。同时通过一些监测模块提前发现问题，在系统出现故障前预先进行优化。下面是数据库安全维护体系结构图：其中黄色部分为在技术上具有优势的程序模块：一、数据库安全操作界面：为了解决数据库的误操作、大事务操作等严重影响数据库稳定的问题，开发了数据库安全操作界面，通过该界面执行的语句可以限制其dml操作条数，减少了因误操作及大事务操作引发的数据库故障。将数据库安全操作界面在bomc系统中实现，使操作人员能够网管平台帐号进行操作，在提高了使用便捷性的同时降低了开发和维护成本。二、历史数据自动清理程序：编写了程序实现了历史数据的按月清理，配合开发了前台界面实现了历史数据的生命周期管理和流水表在线清理。07年构建历史数据库，累计迁移历史数据超过10t，释放表空间及索引空间超过17t，因为生产库存在容灾环境3套，开发环境4套，因此节省空间为1：8的关系，累计节约存储空间超过130t。三、数据库未绑定变量抓取程序：数据库未绑定变量是会严重影响到数据库性能的问题，如果不及时处理可能引发数据库bug而宕库，而未绑定变量的监控和提取是困扰数据库管理者的重难点问题，通过编写数据库未绑定变量抓取程序，实现了实时抓取未绑定变量信息并分类归档记录，定期生成报告交给集成商进行优化，形成有效的优化流程。累计提交未绑定变量问题语句800余个，结合合理的优化策略，2010年后系统未发生未绑定变量问题引发的数据库故障。四、敏感字段访问限制：通过在数据库内设置特殊角色hlj_mnt_tab并根据配置表进行自动的细化权限控制，实现了对敏感数据字段的访问限制，目前维护操作人员在数据库内无法察看密码、话单对端号码、用户隐私信息等敏感数据。五、数据库自动表分析程序：不及时进行表分析可能会影响到涉及该表的语句的执行计划、导致语句执行效率低下，轻则影响相关应用的性能、重则影响数据库的性能导致其他业务都受到影响，而我们存在49000多张表，全部分析需要消耗大量的时间和系统资源，并且难以及时完成。针对以上问题，开发了数据库自动表分析程序，定时定期筛选需要进行分析的表进行不同粒度的表分析。六、数据库ddl限制：通过使用触发器对数据库内的ddl操作进行限制，防止出现操作人员、应用程序、或程序上线脚本中，误删系统重要表的情况出现。七、数据库异常登陆短信提醒：维护人员账号在异常ip登陆数据库时发送短信提醒，避免了因账号泄露、账号共享导致的数据库问题发生。3、 主要业务服务创新点（不超过800个汉字）数据库安全操作界面采用的dml转换技术为国内首创，此前并无同类产品及应用出现。而历史数据自动清理程序、未绑定变量抓取程序、敏感字段访问限制、自动表分析程序、ddl限制及数据库异常登陆短信提醒等技术均处于国内领先水平。数据库安全操作界面： 如果想解决数据库的误操作、大事务操作等问题，就需要在操作前对执行的语句预先进行判断与解析，确定语句附加条件正确并且dml语句（数据修改语句）执行的条数在规定数目之下。进行实现的具体思路就是分别分析dml语句的操作情况，并通过重新生成查询语句确定dml语句涉及到的记录数，判断记录数符合要求才可以继续执行。在执行dml语句前增加对目标表的校验环节，并与执行用户工号信息进行综合查询判断，确认是否有权限对目标表进行操作。下图为程序基本流程图：下图为dml转换关系示意图：现在的处理原则是根据人员的使用习惯逐步添加处理规则，目前系统能够对实际使用中的dml语句正确响应。update语句处理规则1. select count(*) from替换update 2. 将set后where前的语句清除掉3. 清除return之后的语句转换后语句为 delete语句处理规则l 情况1：1. select count(*) from 代替delete (from) 2. 清除return之后的语句转换后语句为insert语句判断规则l 情况1：1、如果存在values 关键字，则照常执行；以上语句不需要进行select判断l 情况2：1. 将insert into 替换为select count(*) from (2. 并在语句末尾追加)转换后语句为敏感表及特殊权限控制表处理：提取目标表，对目标表进行校验并与执行用户工号信息进行综合查询判断，确认是否有权限对目标表进行操作。下面是流程示意图提取目标表的方法：update语句：获得update关键字后set关键字前的单词delete语句：获得delete关键字或者delete from关键字后，一个单词或者中间存在.符号的两个单词。insert 语句：获得insert into关键字后，一个单词或者中间存在.符号的两个单词。4、 应用情况（不超过800个汉字）目前该管理体系中的各项方案均在黑龙江移动营业数据库得到了应用，并取得了积极的成果，其中数据库安全操作界面、历史数据自动清理程序、数据库未绑定变量抓取程序达到了较好的应用效果，在降低数据库故障发生的方面效果显著。“成果上报申请书”的填写说明：1、“成果专业类别”指：核心网、无线、传输、ip、网管、业务支撑、管理信息系统、市场研究、数据业务、数据网络、通信电源、空调、其他。2、“成果研究类别”指：超前研究、新产品开发、相关网络解决方案、现有业务优化、其他。3、“所属专业部门”指：完成该成果的单位在省公司或地市分公司所属的专业部门线条。可填写：规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条、其他。4、“省内评审结果”指：优秀、通过。5、“对企业现有标准规范的符合度”指：列举该成果使用并符合的中国移动统一发布的企业标准的名称和编号，详细描述该成果在现有的企业标准基础上所需新增的