37060410陈健毕设答辩

1、前兆网络观测系统中统一数据访问平台的设计与实现指导老师：马世龙教授学生：陈健（3706410）2011年6月目录v 课题背景与研究目标v 系统总体设计v 系统各模块设计与实现v 测试与分析v 总结与展望 课题背景与研究目标课题来源本课题来源于北京航空航天大学软件开发环境国家重点实验室与中国地震局合作开发的“中国数字地震观测网络前兆数据管理系统”项目（十一五工程）针对项目中数据统一访问平台进行研究系统拓扑v 底层数据汇聚到区域中心，区域中心汇聚到国家中心，国家中心再分配给学科中心v 数据采集，数据交换，学科中心各种应用以及其他地方应用等多样化的上层应用 课题背景与研究目标系统分析统一的数据资源访

2、问方式复杂的应用模块对平台提出不同需求数据统一访问视图如何统一管理？地异方构区数域据自治资性源导的致集底层成数方据式有差异据库访问模数据库访问库访问模块模块数块数据异构数据资源异构数据资源异构数据资源异构数据资源异构数据资源异构数据资源 课题背景与研究目标系统目标v 建立数据访问中间件，建立应用主题视图和统一访问视图，屏蔽底层数据库细节v 设计ORM架构，建立统一对象存取标准v 为上层特定应用模块提供所需数据服务，支持事务性、数据变更记录的数据访问管理v 系统需要有良好的扩展性和移植性目录v 课题背景与研究目标v 系统总体设计v 系统各部分设计与实现v 测试与分析v 总结与展望 系统总体设计系

3、统架构错误处理对数据库资源的访问进行控制和管理调度任务执行在映射管理的基础上进行任务的解析构造相应的数据库命令执行结果集成统一结果集返回为上层复杂应用提供统一的数据访问接口提供事务接口和数据变更管理通过三层视图 二级映射屏蔽底层 日异构数据，对上集 志成应用所需的数据 管理实现对全局视图的统一管理 系统总体设计数据访问流程 应用主题请求数据访问对象调用数据访问接口 任务调度 任务解析 开始事务处理 开始事务处理数据访问对象 SQL任务 执行数据库操作缓存操作提交 查询结果处理返回执行结果 事务结束 接口数据生成 结果返回返回结果 返回结果 目录v 课题背景与研究目标v 系统总体设计v 系统各部

4、分设计与实现v 测试与分析v 总结与展望映射视图执行引擎应用接口 映射视图视图映射架构为不同的上层应用提供对应的应用视将应用视图下的应用主题视图 数据采集图主，题保视证图应用和视图数据交对换象主和题属视性图映射到统统一访问视图松耦合。 应用视图映射在国家中心，区域中心，学科中心全局统一，在全局范围内提供统一的底层资源视图，屏蔽数据库本地数差据异资。源映射一视图中的虚拟表和字段将统一访问视图下的虚拟表和字段映射到实际的数据库表和字段OracleMysqlSQLServer 映射视图映射规则定义数据源信息lue=驱动程序包名称” DRIVER va/ DBSource应用视图映射规则本地数据资源映

5、射规则目录v 课题背景与研究目标v 系统总体设计v 系统各部分设计与实现v 测试与分析v 总结与展望映射视图执行引擎应用接口 执行引擎执行引擎的工作流程数据平台访问命令执行线程调度数据平台访问结果线程1执行线程调度闲线程3空线程2命令解析任务执行统一命令解析事务管理映射视图管理触发机制SQL生成任务结果重构数据资源访问 执行引擎任务调度过程0. 新任务到达任务调度线程1. 查询执行状态2. 报告状态：空闲3. 分配任务执行线程 1执行线程 2执行线程 3执行线程池空闲满足并发访问需求，提高效率 执行引擎任务解析SQL生成对象检查检查任务对象是否符合规范语义验证查看任务对象的内容是否正确解析任务

6、类型， 任务内容，生成SQL任务 执行引擎任务解析统一任务对象， 包括操作类型，操作对象名，列，条件， 返回值等信息最终生成的SQL 语句。SQL拼装对象实现SQL语句的自动生成任务对象通过Uniform视图查询转 换，构通造过SQ视L拼图装映对射转 象换生成的上层应用对象的元数据字典，包括具体的表、列信息 执行引擎任务执行定时器说明类型日志表的ID，用于表示日 Number志记录添加的顺序，在交换取索引时通过ID排序，记录交换进度AME该条日志所代表操作变更Nvarchar2的表名LKEY该条日志所代表操作变更Nvarchar2实际记录的逻辑主键PE该条日志所代表操作变更Nvarchar2列

7、名abstractAbstractExecutor发#uniformObject : UniformObject #con : Connection#errorInfo : StringBuilder-端1-端2#con : Connection#ao : AppObject stractExecutor连接是 +abstractpreExe() : boolean11 闭+abstractexecute() : ResultObject#insertTrigger() : boolean #addCondition() : boolean #rollBack() : boolean #wri

8、teLog()查否连接空闲且超出最大空闲时UpdateExecutoreExecutor-updateSql : UpdateSql-deleteSql : DeleteSql+preExe() : boolean+preExe() : boolean+execute() : ResultObject+execute() : ResultObj-triggerInserts() : boolean -triggerInserts() : bo an -exeUpdateWithClob() : boolean -exeDelete() : boolean olean数下r的SQL类型tean变

9、更发生的参考时间Ti到数量ID定时触Executor-iexe : Executor关是遍历每个连接的状态否已删除改+Executor()+getIexe() : abstractAb连接+preExecute() : boolean+execute() : ResultObject状态检间是关闭连接DeletTABLEN检查连接的数量InsertExecutor-logicalKey : StringGICALO-insertSql : InsertSql+preExe() : boolean+execute() : ResultObject-buildInsertSql() : boole

10、-exeInsertWithClob() : boect oleanSelectExecutor-selectSql : SelectSql+preExe() : boolean+execute() : ResultObject+getSql() : String-exeSelect() : booleanSQLTY小于连接限TIMInsertOrUpdateExecuto是-deleteSql : DeleteSql+preExe() : boolean+execute() : ResultObjecE-triggerInserts() : bool-exeDelete() : boolea

11、n新建连接达下限mestamp目录v 课题背景与研究目标v 系统总体设计v 系统各部分设计与实现v 测试与分析v 总结与展望映射视图执行引擎应用接口 应用接口数据访问接口入任务对象构建任务按照已有的任务规则加对象DBInter.BEGINTRANSACTIONAppObjAppObjDBInter.CLOSETRANSACTION 应用接口统一结果集的设计数据库ResultSet数据平台ResultObject功能介绍Boolean next()Boolean hasNext()Void moveToNextLine()遍历时使用，测试结果集是否到最后，并移动到下一列String getObj

12、Name()获得操作对象名Object getObject(int) Object getObject(String)获得本条记录第n个属性的值获得本条记录name属性的值Clob getClb(String)Clob getClob(int i)Object getClob(String)Object getClob(int i)获得本条记录第n个属性的clob值获得本条记录name属性的clob值List getClobSet()获得结果集中的Clob字段集合List getPropSet()获得结果集中的非Clob字段集合String getErrorInfo()获得操作的错误信息int

13、 getAffectedLine()操作影响条目数boolean isSuccess()操作是否成功目录v 课题背景与研究目标v 系统总体设计v 系统各部分设计与实现v 测试与分析v 总结与展望 测试与分析测试与分析基础操作测试:测试内容测试结果插入1000条数据插入成功删除1000条数据删除成功查询特定条件的记录返回符合相应条件的结果更新特定条件的记录更新符合相应条件的记录插入或更新特定记录在没有冲突的情况下执行插入操作，出现冲突的情况下执行更新操作 测试与分析测试与分析v 异构库访问测试: 可以屏蔽底层异构，实现透明访问。v 事务测试： 事务正常回滚并报错，所有操作均未提交。v 变更记录测

14、试： 平台正常记录数据变更。测试与分析测试与分析连接池最大30 初始550线程并发连接池最大30连接池最大30连接池最大30 连接池最大30 初始5连接池最大20 初始5插入3 2Kcl ob PC本地270221451821对蒙( O _ Q Z _ 2 2 _ D Y U _ H I对象(0 Q 乙 3 5 D Y S L C飞 才， 属 性 ( O, I D )1656163419921934丘 石 丹 邓 娑 t l V _ Q L _ .!. c:I_ Ll L 七）土由 否y 对 象 ( V _ G L _E X C H A N GE _申一名、刃寸要( V Q Z 2 2 D Y

15、 S H I I连接池最大30连接池最大30连接池最大1 0 初始5一一4:1,属 性( O _ S T A RT D A T EB免 ）对劳 ( V _ Q Z _ D I CT _ F A U L连接池最大3。 连接池最大1 0 初始5连接池最大20 初始5连接池最大30 连接池最大30 初始5 连接池最大30 连接池最大1 0 初始5 连接池最大30 连接池最大20 初始5连接池最大30 初始5连接池最大1 0 初始10连接池最大20 连接池最大1 0 初始1连接池最大20 连接池最大20 初始10连接池最大20 连接池最大20 初始10连接池最大20 连接池最大20 初始10连接池最大

16、2。 连接池最大20 初始20 沪霪 性 ( O _ S T A T I O N ID )I I飞 令 属性(0 _p O I N T ID )免 属 性 ( O _ IT E M ID )飞 令 属 性( O _ S A M P LE RA T E飞 令既 性 ( 0 O B S V A L UE )飞 令 属性( O, M D 5 ):： 否 ，） 属 性( O _ N U L L N U M B E王:：飞 令 霪 性 ( O P R O CE S S I N CB名沪 瑾 ( V _ Q Z _ 3 5 _ D I L )百 否h 对 妄 ( .V Q Z 3 5 D Y S H I

17、I否 M 属 性 ( V _ I D )号：f: it 眠 性 ( V _ S T A RT D A T E :心 限性( V _S T A T I O N ID )飞 令 属性( V P O I N T ID )：I I一 的 M 限 性 ( V _ IT E M ID )飞令 属 性( V _ S A M P LE RA TE连接池最大2。 连接池最大20 初始20连接池最大20 初始20连接池最大20 连接池最大30 初始10连接池最大20 连接池最大30 初始10连接池最大20 连接池最大30 初始10连接池最大30 初始20 连接池最大10 连接池最大30 初始20 连接池最大10

18、连接池最大30 初始20 连接池最大10 连接池最大1 0 初始5连接池最大1 0 初始5连接池最大1 0 初始5连接池最大20 初始10连接池最大20 初始10连接池最大20 初始10连接池最大20 初始10对 象 ( O _ Q 乙 3 2 D I L )对 象 ( O _ Q Z _ D I CT _ M ET I对 蒙 ( O _ Q Z _ 3 1 _ D Y S _ L C 对象(0 Q Z C P _ 3 1 1 A G 对 象 ( O _ Q Z _ D I CT _ I N S T I对象( O _ Q Z _ D I CT _ D A T /J 对 象 ( O _ Q Z

19、_ 2 2 _ D Y S _ L C 对象(0 Q Z 2 3 D Y S 卫 I对象( O _ Q Z _ 2 S_ D Y U _ L C对蒙 ( O _ Q Z _ 34 _ D YS _ H I对象(0 Q Z D I CT S T A T对象( O _ Q Z _ 9 2 _ D I L )对象( O _ Q Z _ D I CT _S T A T对象( O _ T E S T )对象( O, G L EX C H A N G E 对 象 ( O _ Q Z _ D I CT _ S T A T对蒙 ( O _ Q Z _ C P _ 3 1 2 _ Q C对象(0, Q Z 34

20、 D Y U L C对 象 ( O _ Q Z _ 4 3 _ D I L )对 象 ( O _ Q Z _ D I CT _ L O G T：否 叭 属 性（又O B S V A L UE )森属 性 ( V _ M D 5 )： ： 一 名 ， 属 性 ( V _ N U L L N UM 8E F/： ： 名气 限 性 ( V _ P R O C E S S I N, c杠否 对 尝 ( V Q Z 2 立 D Y S H I IB免 ）对象 ( V _ Q Z _ D I CT _ S T A T曰 纤 沪兄寸录 ( V _ GL _ ME N U )三L申; 令 刃寸要( V Q Z

21、 卫 I CT S T A T 日否 ，） 对 象 ( V _ G L _E X C H A N GE _ B 名 对 象 ( V _ Q Z _ 4 3 _ D Y U _ H I 勺名 对象( V _ Q Z _ 9 2 _ D Y U _ L O 申 森 对 莹 ( V OZ 9 1 D Y U H I I肛否 对象 ( V _ Q Z _ D I CT _ I NS T I 由召沪寸录( V _ Q Z _ D I CT _ S T A T 日召勺对要( V Q Z D I CT S T A T日 名 对象 ( V _ Q Z _ 2 2 _ D I L )B免 ）对 象 ( V _

22、Q Z _ C P _ 3 1 2 _ 9 0 _m 名 对 象 ( V Q Z C P 4 Y B )p申 否 归 扭 ：（ 又 Q Z D I CT M ET I免 ）对象 ( V _ Q Z _ D I CT _ IT E M :目录v 课题背景与研究目标v 系统总体设计v 系统各部分设计与实现v 测试与分析v 总结与展望 总结与展望总结v 主要完成工作： 设计统一对象模型，并提供了统一应用访问接口 设计并实现了数据访问中间件，实现异构数据源透明访问 实现了事务性支持、数据变更记录、大对象存储 实现本地数据结构与应用的解耦 总结与展望展望v 系统进一步的研究工作： 更多数据类型支持 执行

23、效率提高 配置文件编辑图形化 基于应用优先级的多用户任务调度谢谢！请各位老师指导！课题背景与研究目标执行引擎1_._ _._ n斤监程令线命/.1.1.1.1.1.I1.l.l _l,呈工介线主/. l /命令调度：(线程执行线程1l l I I I检查点管理l l l l lIlIlIlIlIlIlIlIlIlIlIlIIlIIlIIlIIIIlIl. 日志记录2失败原因分析，决定是否回滚或者厘新执行3重新执行次数 记 录 4超时提醒5数据冲突处理是三；. -一一一 一 一 一一I. - -一一一一一一一I 一 一 一 罕 罕一 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - I 课题背景与研究目标国内外相关工作v 现有数据平台不满足的地方（主要是结合hibernate的比较） ： 对于hibernate的select在大量数据操作时的效率很低 hibernate内部复杂，出现问题不易分析调试和更改 对于表结构的变动，hibernate必须重新部署 不能抽象出上层新对象 系统设计大量输出的处理，而hibernate在批量数据处理时，效率低。 对于异构多数据集的支持