大型音视频节目数据库建设的总体考虑.doc

大型音视频节目数据库建设的总体考虑 【提 要】本文主要从网上广播的信源建设出发，分析了大型音视频节目数据库建设的难点，通过比较现在经常使用的数据库各自的优点和劣势，运用多媒体数据库建库原理,结合本台建立大型音视频节目数据库的项目建设，就其具有的功能、特点和优势提出了一些设想。【关键词】音视频数据库 网络媒体 信息化 Internet1 前言在当今社会的信息化、网络化大潮里，网络媒体也在日新月异的发展着，传统媒体和网络媒体的融合也成为大势所趋。在传统媒体的大量信息源的支持下，因特网音视频广播作为网络与广播电视结合的有效方式正在大力发展。而在进行有关网上广播的信源建设时，就面临着怎样建立一个与web方式紧密结合的大型音视频节目数据库的问题，因为以前的传统数据库往往着重于事务管理和数据处理，而进行网上广播的主要素材则是海量多媒体数据，数据库的数据模型的建立和索引技术将会大大影响管理和使用的效率。用计算机管理庞大复杂的多媒体(multimedia)数据（包括数值(number)、字符串(string)、文本(text)、图形(graphics)、图像(image)、声音(sound)、视像(video)以及其它计算机所能处理的信息等等）是现代计算机应用领域（CAD、CIMS、CASE、OA、AI等）对数据库管理系统所提出的新要求，未来的数据库管理系统应能有效地管理这些多媒体数据，从而导致多媒体数据库系统的开发。即管理多媒体数据的系统为多媒体数据库系统。 Internet的迅猛发展使数据库应用环境发生了巨大的变化。在网站建设中的电子商务、web 医院、远程教育、移动计算等都需要新的数据库技术支持。因此，对半结构化和无结构数据模型的描述、管理、查询和安全控制等问题的研究已成为新的研究课题，特别是web数据库发展是新热点和难题，要作好网上广播，多媒体数据库的建库和维护是必须重视的。从数据库技术发展的角度看，以前通过浏览器访问数据库的唯一渠道是cgi，随后又出现isapi、nsapi和odbc、jdbc、asp、php、jsp等技术方案，但均没有实现web服务器和数据库服务器的有机结合，让数据库系统和技术成为web的重要有机组成部分。2 当前Internet数据库应用的几大难点2.1文档型和多媒体类型数据的支持问题在Internet应用中，存在大量的复杂数据类型，如各种超文本文档信息，各种图片、声音等多媒体信息资源，如何对这些信息资源进行有效的存储、管理、检索，是Internet数据库必须解决的问题。2.2数据库的全文检索问题在Internet应用中，由于信息资源极其繁多，如何从浩瀚的信息海洋中查找到所需的信息，如何保证所查询信息的全面性和准确性，也是一个Internet数据库应用必须解决的问题。2.3 Internet数据库应用中的查询和检索效率问题作为Internet应用，由于需要面对大量的用户群和大量的瞬时并发数据库查询检索，其数据库查询和检索效率就是一个极其关键的问题。2.4 对现有Internet应用的全文检索支持问题网络数据库系统不仅要能够支持直接上网发布和全文检索，对于传统关系型数据库，如oracle、sybase、sql server、db2、informix等，也应提供导入和链结的支持能力，可以采用导入方式，转换传统关系数据库，进行网上发布和开发全文检索应用；也可采用链结方式，对传统关系数据库构建本地化索引，从而通过本地化索引实现对关系数据库的全文检索支持，网络数据库系统充当关系数据库应用服务器，系统的检索效率也将受关系数据库自身检索效率和应用服务器交互效率的影响。3 Internet数据库方案比较Internet数据库建设到底采用何种数据库，摆在用户面前的至少有三种方案：关系数据库建设方案、非结构化网络数据库建设方案、关系数据库和非结构化网络数据库共存方案。在事务处理和数值计算方面，由于关系数据库经过了多年的发展，其在事务处理、数值计算方面具有强大的能力并已被证实，而非结构化网络数据库目前在事务处理和对于数值计算方面的支持则相对薄弱，因此，对于偏向事务处理和数值计算方面的Internet数据库建设，关系数据库建设方案应该说更有优势。在对于超文本、文档信息管理和数据库全文检索方面，关系数据库通过其memo或text字段等也能实现这种信息的存储，而对于这些信息或数据库的全文检索，关系数据库则显得捉襟见肘。虽然一些网站通过关系数据库构造了一些所谓的“全文搜索引擎”，但实质上，只是在关系数据库中进行基于字段的一种字符串匹配检索，检索时需要对数据库进行顺序扫描，效率极其低下，在数据量较少时尚可胜任，但任何一个Internet应用是不但发展的，随着数据量的不但增大，这种检索方式的必将成为Internet应用的效率及发展的致命的瓶颈。而非结构化网络数据库系统则可以解决网上数据库的全文检索问题，通过其独特的单汉字、单英文词、英文字母的索引方式及b*树索引算法，能够高效地解决数据库的网上全文检索问题，构造出强大的网上全文搜索引擎。因此，在对于超文本、文档信息管理和数据库全文检索方面，非结构化网络数据库建设方案应为首选。对于一些特殊的Internet应用，我们也可以采用关系数据库和非结构化网络数据库两者共存的建设方案，实现两者的无缝集成，以发挥两者各自的长处。4 关于大型音视频节目数据库建设的一些设想4.1. 体系结构 采用当前最先进的客户/服务器总体模型。系统由多个服务器和多个客户机组成, 通过网络连成一体。服务器可以动态随机地增减，客户机也可动态随机地增减，客户机及服务器的角色还可以互换，同一台计算机可以同时充当两种角色，此时客户机与服务器的联系不是通过网络，而是通过机器内的消息通信联系。极端情况下，当系统中每台计算机既是服务器又是客户机时， 就演化为一个典型的分布式数据库系统。客户机与服务器的分工是灵活的，一般情况下服务器运行的核心系统和存储过程并存储数据库；客户机运行各种开发工具及应用程序。在三层结构中，应用程序可进一步分解为领域通用应用程序及特定用户的应用程序，前者放应用服务器，后者放客户机。4.2. 组成 由核心系统 (服务器) ,预编译系统, 数据库应用开发工具三大部分组成。简介如下: 4.2.1核心系统 所有实质性的功能模块,包括查询、插入、删除、修改、并发控制、死锁检测及处理、事务处理、一致性维护、故障恢复、缓冲管理。存储过程及索引机制等全在核心系统中。 4.2.2预编译系统预编译系统分为编译型和解释型两种。 (1) 编译型预编译系统负责对嵌入在高级语言中的SQL语句进行词语分析、语法分析及逻辑查询优化，然后将SQL语句变换成消息，用函数调用代替原来的 SQL语句。函数中包含消息通信提供的用来发送消息和接收消息的例程。这样就把嵌有SQL语句的C程序变换成纯C语句的程序。通过C编译后生成可执行程序，可存取数据库。(2) 解释型SQL预编译系统实际上是一个SQL解释器，负责对各终端交互开发工具所接收的SQL语句进行词法分析，语法分析并负责逻辑查询优化，将SQL语句解释成消息实体，直接发送给服务器，然后接受服务器处理的结果反馈给用户。 4.2.3客户端开发工具 这一部分包括为用户在服务器支持下开发应用程序所需求的各种工具。这些工具分为两大类： (1) 第三方提供的各种流行的开发工具。 这些工具有Powerbuilder 、Delphi 、VB、VC、JAVA、HTML等，这些工具与数据库的联系都是通过ODBC或JDBC实现的，用户也可直接通过ODBC，JDBC函数访问。已经实现了ODBC，JDBC的驱动程序。 (2) 提供的开发工具，分三类： 常用工具 多媒体应用接口工具 地理信息开发工具 4.3数据模型 数据模型是数据库的框架结构，是用户对数据库的逻辑视图，也是数据库管理系统存储，组织管理数据库的物理视图。数据模型不同，DBMS的功能，存取方法及一系列的功能模块就完全不同。目前流行的商用DBMS几乎全是关系模型。关系模型对于常规属性数据或规范数据的处理是十分方便和有效的，但规范关系要求数据必须具备原子性这一条件完全限制了一些复杂对象数据的存储和处理。例如具有层次结构的空间数据和大信息量的多媒体数据，以及CAD、CAM、CIMS领域中的各种应用都不可能由关系模型直接支持。处理这些复杂对象的最好数据模型是面向对象数据库模型，可是OODB尚有许多理论和实现技术都未根本解决，OODB的原型很多,但产品,尤其是用户接受的商品化OODB至今仍然很少。针对这种情况，一些商用DBMS扩展了一种大对象数据类型BLOB , 其中可存放长达2G 的各种多媒体数据或GIS数据，但一律以字符流存放, 无任何语义解释。因此在应用开发时用户仍然要记住他所存储的多媒体类型并作相应处理。 BLOB本质上是以二进制文件方式存储多媒体或是其他复杂数据类型。 因为一切处理全由用户自行解决。这对应用开发是极不方便的。至于空间数据，关系数据库更是毫无能力, 因为空间数据是典型的层次结构，是变长数据，数据量非常巨大。 针对这种情况，只有采取一种关系层次面向对象的混合数据模型。从界面上仍然用SQL语言操作所有的对象，包括多媒体和地理信息都可以使用SQL语句进行多种操作，免去了一种新的语言对用户带来的困难；从物理存储上是层次结构，有上层关系(父关系)和下层关系(子关系)， 这样解决了关系模型只能存原子数据不能存嵌套数据的问题，而且省去了空间关系连接操作，大大提高了效率。 4.4数据类型 上述混合数据模型解决了复杂对象在数据库中的总体逻辑结构和物理结构，但对于复杂对象的各种存取操作必须有配套的数据类型才能使应用开发自然有效地进行。扩展数据类型成为DM2处理复杂对象的一个重要而必须解决的问题。除了提供常规的数据类型外，还扩展了两类数据类型，即多媒体和空间数据类型，加上SQL92标准要求的时间和日期类型，数据类型分为四类： (1) 常规数据类型：整型、实型、字符型 (2) 时间和日期数据类型 日期时间数据类型用于存储日期和时间信息(3) 多媒体数据类型 l 声音数据类型l 图像数据类型l 文本数据类型有了这些数据类型，用户可以象使用常规属性数据类型一样，使用这些数据类型方便地定义、存储、检索、处理空间数据和多媒体数据，并可在SQL语句中使用这些类型的属性名, 从而实现了常规属性、空间属性、 多媒体属性的一体化定义、存储、检索和处理, 大大方便应用开放, 增强了系统功能。 4.5多线程调度 作为一个多用户、多任务的DBMS，宏观上的并发执行是基本状态。对于多用户、多任务的处理可以有两种方式，一种是通过操作系统的进程调度，这种方式在进程切换时要耗去一定的空间和时间，从而总体效率和性能受到较大的影响。另一种方式就是多线程方式，在一个操作系统进程中可以处理多个用户的事务，从而省去了进程切换消耗的空间和时间，从而大大提高系统的总体效率和性能。有些操作系统提供了多线程机制，而有些操作系统中未提供这种机制。在前一种情况下DBMS可直接利用操作系统的线程功能，后一种情况下DBMS要实现多线程机制必须自行解决。基于AT&T Unix及Unixware 2.1版的DM2就是后一种情况。这种情况下，线程是DBMS的一个执行流，它服务于整个DBMS或DBMS的某个用户。DBMS各个线程在逻辑上并行执行它们共存于一个OS进程，共享DBMS的所有资源，线程是该数据库的调度单位。在数据库中，一个线程对应一个消息的完整执行过程。线程因消息接收而被创建；因获得申请的资源而进入就绪状态；因得不到相应的资源而进入等待；因调度而执行；因滞后而进入等待提交；因远程访问而进入远程等待；因磁盘I/O请求而进入I/O等待；因等待事件完成而就绪；最后因执行完成而死亡，或因死锁被杀掉。5 数据库功能5.1分布数据管理功能 作为一个客户/服务器体系结构的DBMS，其服务器组成一个分布式数据库管理系统，服务器为客户机提供透明的分布式数据处理的功能。用户可以选定任何一个服务器作为代理服务器，他通过客户机向代理服务器发出服务请求，代理服务器负责所有的数据处理过程，典型情况下，用户所操作的数据分布在若干个服务器上，所有关于分布式数据查询、更新、死锁检测及排除，分布式事务处理，分布数据一致性维护，分布式故障恢复等一系列问题，全由代理服务器与其它服务器协同工作自动完成，客户机完全感觉不到分布的存在，仿佛他的数据就在客户机上一样。这就是完全透明的数据处理。在系统中还将提供透明的异构型分布式数据库，即在同一分布式系统中，可以有不同的操作系统，不同的数据库管理系统，但用户在客户机上访问数据库时完全感觉不到异构系统的存在。 5.2事务处理与并发控制 5.2.1封锁机制 采用基于消息通信的多线程客户/服务器模型。其DM2事务管理与并发控制的任务和策略是：l 对消息通信区实行互斥访问；l 对系统缓冲区实行互斥访问；l 对用户进程中事务申请的资源（如表、块、视图）实行封锁控制，以防相互干扰；l 并发控制的单位是事务；l 并发调度执行的单位是线程（消息）；在事务管理与并发控制中，对不同的事务更新同一个数据对象采用的是排它封锁。系统除了有效的并发控制（封锁）外，还采用了以下技术。 5.2.2事务私有更新区技术系统中，每个事务都有自已的私有更新区，事务的所有操作都在自已的更新区进行，当事务没有提交时，其它事务是不可能感知的。 5.2.3更新事务滞后提交技术系统允许无竞争读，采用了更新事务滞后提交的方法，来保证数据的一致性。 5.2.4两阶段提交技术对于一个分布式事务，系统采用两阶段提交方法。 5.2.5 死锁检测及处理技术分布式事务采用的是超时检测法，局部事务采用的是避免死锁的方法。 5.2.6完整性维护技术数据库完整性是对数据语义正确性的保证机制，系统提供了多层次、多途径、多机制的数据完整性控制实现策略。(1) 核心层实现了关系模型要求的数据完整性约束条件的定义、检查以及在更新数据时违背约束条件时的处理。主要包括唯一性约束、引用约束和检验约束。(2) 在应用开发工具层，应用生成器FORM提供了数据录入校验和触发器机制。(3) 除此之外，还实现了主动机制，提供了更强的数据完整性维护功能。 (4) 主动数据库技术主动机制包含了规则管理、事件监视和规则执行。主动规则是由用户按需求定义的事件一条件一动作三元组。当事件（如INSERT，DELETE，UPDATE）发生时，计算条件为真则执行动作。实现的主动数据库功能允许用户随时定义、修改和删除主动规则，与用户建表时给出的完整性约束相比功能更强大，使用更加方便灵活。 5.3查询优化 (1) 查询优化 在关系模型的DBMS中，查询的效率一直是一个困难而又非常重要的问题，系统的查询优化子系统有效地提高了核心系统的效率。 优化的主要目的是：减少查询求解过程中的中间关系。减少存取元组的次数。选择适当的连接算法和避免重复计算查询等。 (2) 实现逻辑优化和物理优化。具体包括：提供表达式优化方法。通过估价查询的各种可选路径，采用索引或聚集来完成一个查询。提供对任意嵌套层次的查询进行优化的方法，将某些嵌套查询转化为等价的连接查询，以提高查询效率。 5.4 Bn树索引技术 B+树是一种动态系统自动维护平衡的索引树，性能优良。可同时进行顺序和随时查找，但它的缺限是分裂合并时代价太大，效率很低，而且空间利用率很低，最低时 只有50%。针对这种情况，DM2改进了B+树的分裂合并的条件和算法，采用BN树使得系统判断分裂合并的条件不再是存储空间占有率为1/2，而是n/n+1；B+树在分裂合并时只考虑左右两块内的索引记录数，而Bn树分裂合并是考虑左右各n个结点中的索引记录数（n2）。其索引项移动不是只移一个而是移m(m1)个，使得这些块内的索引记录数达到平衡。 5.5 DM2存储过程 存储过程是将一个访问数据库的程序预先优化和编译后储存在服务器上，使用存储过程可以减少SQL在网络传输上花费的时间，可以加快SQL语句的执行，减少并发锁空的机率。DM2支持存储过程，可以使用API函数，ISQL、PRO*C，或用ODBC驱动程序建立存储过程。DM2存储过程完全按国际标准设计实现。 5.6 开放式互联接口 作为一个C/S结构的DBMS，用户的操作和应用开发都在客户端上。系统除了提供自已的应用开发工具外，还提供了ODBC、JDBC和API接口，使得用户可根据自已的需要选用他新熟悉的开发工具，如Powerbuilder,Delphi, VC, VB,JAVA, 或ODBC 函数调用，或API。因此用户使用无需进行新的培训，只要他用过ORACLE,SYBASE,SQL Sevrver等流行DBMS，就会使用 。另外，开放式接口使数据库系统可以与各种流行系统互连互访，或共存于一个系统中。6 特色和优势 除了具备一般数据库管理系统的基本功能外，还应该发展一些实用的特殊功能。包括： l 三权分立的安全机制 l 多媒体数据管理 l 智能报表 6.1 三权分立 6.1.1三权分立的安全管理体制 在安全管理体制方面与现有的数据管理系统是不同的，把系统管理员分为数据库管理员DBA，数据库安全管理员SSO，数据库审计员AUDITOR三类。真正做到三权分立，各行其责，相互制约，从而更为可靠地保证数据库的安全性。 数据库管理员DBA主要负责数据库的建立、维护自主存取控制；数据库安全员SSO主要行使强制存取控制；数据库审计员AUDITOR主要负责数据库系统的审计活动。 6.1.2安全管理的具体技术措施 l 身份验证l 自主存取控制 自主存取控制通过安全授权和检查机制，使客体受到保护，不会被未经授权的用户存取。自主存取控制包括：系统级权限授予与回收；表级权限授予与回收；行级权限授予与回收；列级权限授予与回收；操作时的安全检查机制。 l 强制存取控制 系统采用多级安全模型，其目的就是防止未被许可的用户访问到具有一定密级的信息。系统中可以定义系统安全级集合，对每个用户、每个基表均可定义一安全级（或叫用户签证和客体敏感度）。当用户存取数据库时，除了必须具有自主存取的权限外，还受到强制存取控制。即必须满足多级安全模型向下读、向上写的原则。“向下读”规定只有当主体安全级中的密级大于或等于客体安全级中的密级，且主体安全级中的范围包括了该客体内容时，该主体才能读该客体。“向上写”规定只有当主体安全级中的密级小于或等于客体安全级中的密级，且主体安全级中的所有范围包含于客体安全级的范围时，该主体才能写该客体。 l数据加密 由用户定义加密和解密函数，并可随时更改。 l审计 审计机制能从数据库系统本身、主体和客体三个