资源库管理系统招标.doc

深圳市教育资源库管理系统项目招标技术要求深圳市教育资源库管理系统开发技术要求一、 深圳市教育资源管理系统的功能要求深圳市教育资源管理系统分为基本功能和扩展功能两大部分。1. 基本功能基本功能部分指系统作为一个独立运行的资源站点，为满足用户使用管理资源的需求所提供的基本服务功能，具体包括资源的浏览、查看、下载、添加、删除、修改、评价、用户管理、计费管理、安全管理、资源统计、资源审核、资源检索等子模块。资源的浏览：资源的浏览方式组合要科学，符合不同身份用户的特点，提供多种浏览切入方式。资源查看：资源查看提供对资源描述属性的详细查看和对资源内容的预览查看。对收费资源提供资源内容片段的查看，如视频内容关键帧的查看。资源的添加：资源的添加方式有单条资源记录的添加和基于文件的批量资源的添加。支持用户远程批量上载。资源的删除：资源的删除提供人工删除和自动删除，并且系统具备回收站功能。资源的修改：资源的修改包括对资源描述属性和资源内容的修改。资源的评价：资源的评价应该包括用户评价和审核专家评价等多种评价方式和评价指标。用户管理：用户管理除具备常规的用户的添加删除修改等管理功能，还具备用户的认证，用户的授权等管理功能。计费管理：计费管理要提供多种计费策略和计费信息的安全保护。安全管理：提供基于SSL的安全网络传输体系。提供安全日志和安全设置。资源统计：资源统计包括对资源使用的统计和资源分布的统计。资源审核：资源的审核包括对内容的审核和对描述属性的审核，并支持多人审核。全文检索：系统资源的数量是海量的，对资源的查询、搜索成为对资源的主要访问途径之一。要求系统能够提供完善的全文检索模块，在使用简单的前提下，能够提供高效准确的检索结果。整个检索模块必须提供国际领先水平的信息检索和中文自然语言处理能力，同时还需要保证卓越的查询性能（在千万级记录的数据库上需要获得秒级查询速度），必须支持GB18030编码，还需要对外部对象（例如MS Office文档， PDF格式的文档）提供过滤检索的功能，支持跨操作系统平台的各种数据库访问。2. 扩展功能扩展功能部分相对于基本功能部分是一些功能相对独立的组件对象。根据各个资源站点的实际需求的不同，选配不同的扩展功能模块，会大大提供资源站点的服务功能和服务性能。扩展功能具体包括：异构数据源的批量数据互换、因特网泛在教育资源的采集整理入库、不同资源站点形成资源网的资源目录的维护更新、高速资源缓存子系统。异构数据互换：能实现在常见关系数据库资源管理平台间进行批量数据的互换。因特网资源采集整理：系统能自动采集整理因特网网上存在的教育资源。资源网目录维护：资源网由不同资源站点组成，资源站点间进行数据共享和数据互访，资源网内维护着不同的资源站点的资源目录的生成和同步更新。高速资源缓存：高速资源缓存子系统能独立运行，内部永远动态保存着当前访问率最高的资源。二、 深圳市教育资源管理系统的技术要求1、平台独立性整个系统的信息分布在不同的平台上，并且以后可能根据需求的变化需要在各种平台上进行简单移植，因此，深圳市教育资源管理系统将具有与操作系统平台无关性。2、功能模块化考虑到系统将来要适用不同规模的应用，我们要求系统把所有的应用分成相对独立的模块，每个模块负责处理一个具体的任务，按照这种方式，理解和维护应用程序就会变得容易。对每个功能模块的设计开发，需要分为不同的层和任务，不同的层还可以再细分，这样方便代码的模块化和功能的独立性，也方便我们对开发过程的监控。为了降低使用成本和培训成本，以及降低维护量，我们需要系统采取典型的B/S构架，客户端不需要安装除浏览器以外的任何软件即可使用系统，应用程序的升级和维护都在服务器端进行。基于这种结构的应用程序开发必须采用当前先进的开发模型视图控制器（Model-View-Controller, MVC）模式。3、符合J2EE应用体系结构为了方便用户管理应用、以及与现有应用和数据的集成，要求资源库管理系统符合J2EE体系结构标准。资源库管理系统的主要业务逻辑要采用EJB体系，这种结构有利于组件的重用，适于将业务逻辑和呈现逻辑分离，方便应用的分布式部署，提供了应用的互操作能力和系统性能的高度伸缩能力，为构建教育资源网这种复杂应用提供保障。4、可扩展性在系统运行过程中，访问用户可能会很大的增长，面对这样的需求，我们需要一个扩展性极佳的系统，在更加有效的利用系统的资源的前提下，不修改系统应用程序，仅仅通过增加硬件资源，就可以满足日益增长的需求。而且，这样也最大程度的减少了系统维护的工作量。5、分布式存储分布式管理由于教育资源的多样性和复杂性，资源数据量的庞大性，系统要对资源实现分布式的存储和分布式管理。6、安全性我们的系统管理的是大量的资源，部分资源不是免费资源，因此，资源信息安全、用户信息安全成为一个主要关心的话题。我们需要系统有有效的安全防护。7、开发过程的可控性我们要求系统是在规范的开发模式下开发出来的。例如，系统必须使用UML对系统功能模块进行详细建模，开发过程中必须有详尽的开发文档，整个开发过程需要设定明确的开发里程碑，便于我们了解、监控开发的整个过程。8、可靠性和可用性因为涉及到部分资源需要收费的问题，我们要求系统具有很高的可靠性。同时，因为面对的是因特网用户，访问系统的用户对系统要求用户界面友好，有很好的可用性。用户界面设计、系统功能的组合都要体现以人为本的原则，简化用户的操作。9、标准化原则资源的建设、属性的描述要遵循教育部制定的“教育资源建设技术规范”。10、数据库需要能够对海量数据进行管理的跨操作平台的大型数据库系统，例如Oracle，IBM DB2。具有良好的可操作性，具有良好的数据备份、恢复功能，能够对海量数据提供优越的查询性能。数据库的安全机制应该得到很好的保证。三、 深圳市教育资源管理系统全文检索系统要求随着计算机应用的大量普及，信息资源的数量呈现爆炸性增长之势，在海量资源中迅速定位所需内容成为信息检索的一个突出问题。深圳市教育资源库是一个TB级的资源系统，为了方便用户基于内容的查询，选择TRS全文检索系统作为资源库系统的支撑平台，对资源库中的海量数据提供准确高效的全文检索能力。在资源库管理平台中，资源检索是一项重要功能。信息检索的常见方法是基于分类的检索，但从检索技术的发展看，基于主题词的检索应用已越来越多。资源库管理平台提供两大类检索方法，一种是基于分类的浏览式检索，另一种是基于外部特征和内容的检索。其中第二种检索方法的关键技术就是全文检索。全文检索是在海量非结构化信息中快速、准确获得用户所需信息的必备功能。TRS全文检索中间组件的核心功能是对非结构化信息提供全文检索功能，该系统可以独立于关系数据库管理系统独立运行，也可以和关系数据库无缝集成、协同工作，为关系数据库中的非结构化数据提供全文检索功能。全文检索系统的体系结构分为三种类型。一种是基于文件系统的体系，其优点是信息冗余度低，结构简单，算法灵活。缺点是信息安全性差，难以同时支持结构化和非结构化两类数据，数据管理软件需要自行开发；第二种是基于数据库的体系结构，优点是可同时支持结构化和非结构化两类数据，信息存储安全可靠。缺点是数据冗余大，对长字段数据检索效率低下，尤其是针对以文档性应用为主的数据库系统；第三种体系是数据库和文件系统相结合的系统结构。一般索引子系统由自行开发的专用数据库实现，而文档数据由商业数据库管理维护。1、TRS的主要特点如下：组件结构l 分布式体协结构，可以建立多个TRS Server并在应用层实现透明访问l 支持数据库一对多的单向镜像l 多线程设计，支持SMP体系结构，支持大量并发用户访问l 支持三层结构(Data Server, Application Server和Web Server)应用，每一层均可扩展中文自然语言处理l 支持GBK编码，支持BIG5编码l 内嵌汉语自动分词系统（TRS V4.5版升级了分词系统，更换了词典，并统计建立了大量歧义排除规则，有效提高了分词准确性l 支持按词索引、按字索引、按关键词索引，适应不同应用环境的需求数据管理和空间膨胀l 支持中文、英文和中英文混合数据l 支持多种数据类型（如日期，字符串，文本和二进制类型）l 支持常用格式文件和入库和检索，如TEXT, HTML, RTF, Office,PDF,S2/PS2/PS，MARC, ISO2709等)l 支持多媒体数据的管理l 高效的数据和索引压缩, 实现了低空间膨胀率（-0.21.0）l 支持字段的唯一（Unique）特性l 支持数据库纪录的增删改操作l 不同操作系统平台之间，库结构自由拷贝，方便管理员操作l 管理员可设置“定时优化”的时间， 降低系统管理的成本l 修改记录时，保存记录号的移动轨迹，能够使用移动前的记录号读取记录，确保数据维护的正确和安全检索功能l 支持中英文混合检索l 支持结构化数据和非结构化数据的混合检索l 允许使用文中的任意字、词、句和片段进行检索l 多种检索手段l 基于成本优化的查询算法(索引分区技术, 多线程并行运算技术, Bigram技术等), 使得G级数据库查询速度达到亚秒级l 完善的CACHE技术（包括检索词/短语/表达式的一级/二级缓存技术），从而支持更多的并发用户访问，并大大提高综合查询速度l 提供索引的直接访问功能，以支持数据的关联性处理l 提供根据docid的直接访问功能，以支持bookmark的处理l LIFO：后进先出的快速排序l 支持对检索结果的各种排序l 支持命中词的反显智能检索l 可以根据主题词典进行扩展或相关检索l 内置分词词典，主题词表等，且这些词典可维护l 支持禁用词典的使用和维护开放性l 支持所有主流RDBMS(Oracle, DB2, SQL Server,Sybase, Informix),与RDBMS无缝集成的领先方案：既能保证事务处理的一致性，又能保证检索性能。l 支持各种主流操作系统、支持各种Web应用服务器、支持各种Web服务器2、主要性能指标有关数据库和用户以及索引数据等性能指标如下：项目性能指标备注数据加载和索引速度每小时250M测试环境：PentiumIII 933单CPU,1G内存，10000转硬盘，MS Windows NT4.0用户组数/用户数多达65535个用户组/用户用户类型(1) 超级用户(SYSTEM)。(2) 系统数据库管理员(DBA)。(3) 用户组数据库管理员(GDA)。(4) 系统资源用户(RESOURCE)。(5) 系统登录用户(CONNECT)。支持的字符集(1) 简体中文(GB2312、GBK)(2) 繁体中文(BIG5)(3) 纯英文(ENGLISH)支持中英文混合数据库数/视图数多达数十亿个数据库/视图数据库大小每个数据库可加载42亿条记录，能够容纳4G到6G字节的原始数据(即支持NT下的4G文件)指32位字长的机器。对于64位字长的机器能够支持更多的记录数及数据量镜像数据库大小镜像数据库总的原始数据大小最大为2G指32位字长的机器，对于64位字长机器没有此限制视图包含的数据库个数每个视图中可包含1到64个数据库数据库包含的字段个数每个数据库可定义1到1023个字段同时检索的数据库个数可跨50个数据库检索字段类型(1) DATE 日期型字段(2) NUMBER 数值型字段(3) CHAR 字符串型字段(4) PHRASE短语型字段(5) DOCUMENT 全文型字段(6) BIT 二进制型字段3、系统配置要求深圳市教育资源管理系统的运行开发环境要求配置以下TRS工具：编号名称数量1TRS 全文检索服务器（无限并发、最新版本）12TRS 客户端工具（最新版本）13TRS GATEWAY FOR DBMS（最新版本）14TRS 4.1应用开发接口及工具（最新版本）15TRS Internet信息采集系统（最新标准版）1四、 深圳市教育资源管理系统数据库平台及应用服务器要求数据库系统是深圳市教育资源库的重要数据管理平台。广东省资源库系统是一种基于WEB的大数据量和多用户数的应用，要求数据库支持大容量、高并发和负载均衡，支持INTERNET计算。用户可以使用数据库轻松开发和部署基于互联网的应用，并以最低的总拥有成本管理所有信息。要求数据库系统具备优秀的系统可用性、可伸缩性和安全可靠的在线应用。为了支持对INTERNET、INTRANET和企业应用有效地开发应用程序。要求数据库服务器拥有内建的Java虚拟机，使开发人员能够在数据库中安全地写入、存储和执行Java代码，从而实现更快速、更安全和更可靠的应用。要求数据库系统可以在不相关的不同操作系统中完成管理数据的任务。通过组合数据库功能和传统文件系统的易用性，允许最终用户简单地将各种类型的文件直接拖放到数据库中。可以直接将互联网主页、电子表格、字处理文件、图像以及其它传统文件存储到数据库之中，并通过互联网浏览器或其它应用程序来查找和显示这些信息。1、 数据库技术要求（1） 支持大数据表的分区技术。将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的，单独的对象进行管理。分区(partitoning)是一种“分而置之”的技术，它为大量数据提供了可伸缩的性能。分区通过将操作分配给更小的存储单元，减少了需要进行管理操作的时间，并通过增强的并行处理提高了性能，通过包含故障的影响还增加了可用性。分区还提高了数据的可用性。当部分数据由于故障或其它原因不可用时，其它分区内的数据可用不收影响继续使用。分区对应用是透明的，可以通过标准的SQL语句对分区表进行操作。（2） 支持并行处理和机群。在群机环境下实现多机共享数据库，可以保证应用的高可用性。同时可以自动实现并行处理及均分负载，还能实现数据库在故障时的容错和无断点恢复。群集系统或大型并行系统中的多个节点共享同一物理数据库可以自动进行负载平衡、故障修复和规划停机时间，以支持高可用性应用程序。这一特点还能显著提高大型数据仓库和决策支持系统的性能。与并行查询选件结合，可以提供节点间并行性和节点的并行性，以得到更高的性能。（3） 能够支持各种运行平台，包括从支持移动用户的膝上电脑到拥有兆兆位数据和/或数千用户的大型并行系统。这样可以利用一个数据库满足所有的各种规模的应用需求，从而极大降低了费用，有效地发挥了人员技能。（4） 多媒体扩充能力。要求数据库具备多媒体对象扩充