可视化数据管理与发布工具VisualDB设计与功能介绍

1、1可视化关系数据库管理发布系统VisualDB中科院计算机网络信息中心 科学数据中心 2报告提纲nVisualDB概述nVisualDB功能介绍nVisualDB应用现状与展望3VisualDB概述n开发背景n设计目标n版本开发历史4开发背景n来源于科学数据库csdb项目n2002年，建库任务的提出n纳米科技基础数据库（10个子库）n中国纳米专利公开库n中国纳米专利授权库n国外纳米专利数据库n纳米成果数据库n纳米课题数据库n纳米专家数据库n纳米测试技术数据库n纳米材料性能数据库n纳米文献摘要数据库n纳米器件数据库5开发背景n功能需求：n增、删、改、查（2）；n概览、细览；n数据之间存在关联；n

2、数据类型的多样性：n文件、字典、日期、链接、图片、音频、视频、HTML数据录入数据录入数据更新数据更新数据检索、浏览数据检索、浏览6开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看n如果面对每个子库进行开发：n10 * (4 * 2 2) = 100页面n数据访问逻辑7开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看XX数据库增加删除查询修改浏览查看配置专利数据库专家数据库成果数据库VisualDB 8VisualDB面对的问题n大量的、异构的关系型数据库需要发布；n不要

3、依赖于某种特定的操作系统以及关系型数据库管理系统； 普适性n如何解决图片、视频、图文混排等非格式化数据的存储与显示？ 不要依赖于物理模型n需要区分数据管理员与数据用户的权限； 用户访问控制n需要满足数据的浏览、检索功能需求； 数据的录入与发布n支持多个子库，并需要提供为子库进行配置的界面； 目录n方案要足够简单、足够笨； 自动化、半自动化9更多的需求n不要让每个子库的显示界面一模一样！定制化n需要开发其它的功能（如：统计）怎么办？能基于VisualDB吗？二次开发接口n数据类型不够用怎么办？类型库及其接口n需要在远程访问VisualDB数据，可以吗？远程访问接口10VisualDB的设计目标n

4、总体目标：n屏蔽差异性：数据库产品差异、存储位置的差异、结构的差异n让数据的访问更加安全n让数据的情况一目了然n让数据对象在网络中自由传输交换11VisualDB的设计目标nVisualDB=DB+?DB访问记帐库数据量（质量）统计库记录索引库WebUIWeb ServicesTools文档资源库用户访问控制库VisualDB+12VisualDB的设计目标n为建库人员：n针对关系型数据库n可视化的、可配置的n数据录入、更新、发布n无需编写代码，即可完成对数据库的内容发布，提供数据的检索和浏览服务n为数据应用开发人员：n模块接口便于扩展（认证、授权模块）n为二次开发提供数据访问接口（API&服

5、务）n每个页面可以灵活定制，并且能够方便的引用到数据13需求分析，概念建模需求分析，概念建模逻辑建模逻辑建模应用开发，数据著录应用开发，数据著录应用开发，数据发布应用开发，数据发布应用开发，数据统计分析应用开发，数据统计分析抽取物理模型抽取物理模型自动生成自动生成数据管理界面数据管理界面自动生成自动生成数据发布界面数据发布界面自动进行自动进行数据统计分析数据统计分析物理建模物理建模配置数据目录配置数据目录传统传统应用应用开发开发流程流程VDB环境环境对应用开发流程的影响14原型系统csdb数据访问层WEB-UDB1.0UDB-HOSTINGWEB-UDB1.220022002年年吴开超、何洪波

6、、吴开超、何洪波、沈志宏沈志宏20032003年年吴开超、沈志宏、吴开超、沈志宏、昝振宇昝振宇20042004年年沈志宏、昝振宇、沈志宏、昝振宇、查新征查新征20052005年年沈志宏沈志宏20062006年年沈志宏、昝振宇、沈志宏、昝振宇、杨新梅杨新梅VisualDB1.0发布版本20082008年年沈志宏、王丙林沈志宏、王丙林重构重构虚拟主机虚拟主机页面定制页面定制稳定版本稳定版本合并合并正式发布正式发布VisualDB1.2发布版本版本历史重构重构20082008年年沈志宏沈志宏VisualDB1.3发布版本重构重构20092009年年沈志宏沈志宏15nVisualDB功能介绍n软件模块

7、n功能模块组成n使用流程n各模块功能介绍n总体特性16Visual DB 软件模块工具接口数据访问核心模块csdb-commons-dbcp/csdb-commons-orm/csdb-jdbcxspring/struts/velocity/taglib/jQuery/ajax/json/EHCache/hessianvdb-ormjdbcxvdb-daovdb-cachevdb-catalogtypelibToTvdb-templatesvdbsecurityvdbaccoutingvdb-service(ws)jsoQuery(json)vdb catalogbuildervdb edit

8、or(DataForge?)vdb publisher(mydb)vdbexplorervdb datasetregistryvalidationrules engineadaptersimport/exportvdbstat.vdb-dbcpREST interfacehessian17模块组成MyDB ：网站前台提供数据的检索和浏览界面DataForge：数据管理提供数据的录入界面CatalogBuilder：目录管理提供目录的配置管理SecurityCenter：安全中心提供数据的安全策略vReports：统计分析对数据、数据访问进行统计18使用流程19操作步骤nStep1. 安装Vis

9、ualDB20操作步骤nStep2. 系统管理员完成目录的配置 21操作步骤nStep3.系统管理员为用户分配权限22操作步骤nStep4.数据管理员进行数据录入23操作步骤nStep5.数据用户进行数据检索24各模块功能介绍nCatalogBuildern目录是VDB的核心所在，系统管理员的大部分工作都在使用CatalogBuildern本地域属性n设置网站的基本属性和框架结构n设置数据集的发布风格n数据集模型n支持一个域多个数据集n设置数据集的逻辑模型（实体、关系、查询）25CatalogBuildern本地域属性设置基本属性基本属性设置设置显示风格显示风格设置设置网站发布网站发布26Ca

10、talogBuildern数据集维护数据集列表，数据集列表，可进行添加可进行添加和删除和删除27CatalogBuildern数据集属性设置数据集基本数据集基本属性的设置属性的设置数据集连接数据集连接属性的设置属性的设置28CatalogBuildern实体设置实体基本属实体基本属性的设置性的设置实体主键实体主键的设置的设置29CatalogBuildern实体包含属性设置实体的属性实体的属性列表：可进列表：可进行修改、删行修改、删除、新增等除、新增等操作操作实体某个属实体某个属性的设置性的设置30CatalogBuildern查询设置查询列表的维护，查询列表的维护，可对查询进行修改、可对查询

11、进行修改、删除、新增等删除、新增等某个查询某个查询基本属性基本属性的设置的设置31CatalogBuildern关系设置一对多关一对多关系的设置系的设置多对多关多对多关系的设置系的设置关系列表的维关系列表的维护：新增、修护：新增、修改、删除改、删除32CatalogBuildern视图设置视图的设置视图的设置33VDB 自定义数据类型34数据库各模块功能介绍nMyDBn浏览：支持分页、排序、多种显示风格n查看：支持多表关联n检索：针对所有可检索字段进行组合查询35MyDB不同的浏览风格显示哪些显示哪些字段由目字段由目录指定录指定36MyDB分页 和排序支持排序支持排序支持分页支持分页37MyD

12、B实体显示实体显示38虚拟实体虚拟实体显示显示MyDB39MyDB详细信息显示字详细信息显示字段可配置段可配置40MyDB关联信息关联信息显示显示41MyDB查询查询42MyDB配置索引配置索引跨库检索跨库检索43各模块功能介绍nDataForgen增加、删除、修改、审批n浏览与检索n数据校验n数据导入导出n日志查看数据库44DataForge多行文本框多行文本框日期控件日期控件文件控件文件控件弹出窗口弹出窗口不同的编辑风格如何显示编如何显示编辑控件由目辑控件由目录指定录指定下拉控件下拉控件45DataForge不同的编辑风格本地文件类型本地文件类型46DataForge不同的编辑风格本地文件

13、显本地文件显示方式：支示方式：支持下载持下载47DataForge基本信息基本信息关联信息关联信息基本信息与关联信息的录入哪些信息哪些信息需关联由需关联由目录指定目录指定标题编辑方式标题编辑方式表格编辑方式表格编辑方式48DataForge客户端校验客户端校验客户端校验客户端校验如何校验由如何校验由目录指定目录指定对数据的校验49DataForge新增记录成功新增记录成功新增记录50DataForge查询框查询框记录浏览记录浏览点击按字段点击按字段排序排序记录的浏览、检索默认排序默认排序方式由目方式由目录指定录指定51DataForge数据导入数据导入记录的导入导出指定字段指定字段数据导出数据

14、导出指定方式指定方式52DataForge记录的删除级联删除一级联删除一对多记录对多记录删除多对多删除多对多关系关系删除主记录删除主记录53DataForge数据访问日志数据访问日志查看日志数据修改日志数据修改日志54各模块功能介绍nSecurityCentern增加、修改、删除用户组信息、管理组内用户、用户组授权n增加、修改、删除用户信息、设置用户组、用户授权55SecurityCenter56SecurityCenter资源过滤器描述系统资源过滤器所有数据表中所有数据本组数据表中本组用户录入的数据个人数据表中个人录入数据自定义资源过滤器自定义可以任意对数据表中记录进行分类比如 select

15、 id from tablename where column100等等57SecurityCenter自定义资源过滤器自定义资源过滤器58SecurityCenter用户管理用户管理用户组列表用户组列表用户组授权用户组授权59SecurityCenter用户组管理用户组管理用户列表用户列表用户授权用户授权60SecurityCenter权限不足提示权限不足提示没权限针对表进没权限针对表进行修改行修改记录的审核、修改、记录的审核、修改、删除都做了权限控制删除都做了权限控制61各模块功能介绍nvReportsn统计分析是VDB的主要功能模块之一；n数据质量指标统计n数据集数据量大小，数据实体数据

16、量大小，记录条数，字段在关系数据库中的空间利用率等 n数据访问统计n数据集访问统计n当日分时段，分访问来源，分日期区间，访问关键字统计，分实体统计，分操作统计，高频访问IP统计等 n数据实体访问统计n当日分时段，分访问来源，分日期区间，访问关键字统计，分操作统计，高频访问IP统计等 62vReports数据质量指标表格显示表格显示利用率细览利用率细览总空间大小总空间大小数据集文件数量数据集文件数量数据集大小数据集大小最后更新时间最后更新时间63vReports数据质量指标历史对比历史对比图表显示图表显示64vReports数据访问统计24小时实时统计小时实时统计增删改查情况增删改查情况日期时间

17、段访问情况日期时间段访问情况65vReports数据访问统计访问来源统计访问来源统计增删改查情况增删改查情况其它主要统计报表其它主要统计报表66总体特性n普适性n采用java平台无关性语言开发，可在Windows/Linux等操作环境下安装运行nVisualDB支持流行的RDBMS（关系型数据库），并有效屏蔽底层数据库的异构性。支持的RDBMS包括：Oracle、SQLServer、MySQL、Access、PostgreSQL、HSQL、SQLite、derby等，此外，VisualDB还支持ODBC数据源。67总体特性n普适性n提供多种主题供用户选择68总体特性n易用性nVisualDB基

18、于流行的B/S结构开发，最终用户只需要IE浏览器即可进行数据的管理和访问n实现零开发，用户通过简单的配置即可以实现数据的编辑和显示、检索、以及字段排序等功能，无需编写一行代码69总体特性n易用性n完全可视化，高度可配置性，用户基本可以脱离后台数据库系统体验数据库的建设，无需专业的RDBMS背景70总体特性n易用性n轻松实现跨库索引71总体特性n易用性n数据导入导出，轻松自如72总体特性n安全性n通过对用户访问控制的增强，提供用户授权机制，更有力的保护数据73总体特性n性能n快速的响应速度，支持每秒至少50+的并发请求处理。74总体特性n可扩展性nRDBMS驱动ntypelib数据类型、编辑器、

19、显示风格n访问控制模型n如何获取可扩展性？n软件升级n二次开发75总体特性n对二次开发的支持n提供服务器端的模板语言，允许开发者使用VTL（Velocity Template Language）定制页面和typelibn提供浏览器端的javascript对象模型，允许开发者在浏览器通过js脚本获取数据n开放的数据集模型，能够导出XML格式，达到与其它应用之间的模型通讯76总体特性n其他特性n脱离物理模型，面向对象建模，更加直观77总体特性n其他特性n记录数据的增、删、改、查、审所有操作，让数据拥有者对数据的使用情况更加放心78总体特性n其他特性n提供数据集的数据量、记录数、字段利用率等信息，数据质量尽在掌握79总体特性n其他特性n通过cache、ORM机制，提供高效的数据对象操作接口 80nVisualDB应用现状与展望nVisualDB应用案例n版本更新计划81应用案例VisualDB纳米科技基础数据库中草药库化学物质毒性数据库高级专家数据库西北人文数据库Brainbank数据库核化生爆数据库数据镜像元数据库政府间关系数据整合分析系统库化学谱图整合数据库II型糖尿病专家库战略规划信息库82应用案例n科学数据库项目n纳米科技基础数据库（国家纳米中心）n中草药库http:/（中科