基于云存储的教学资源共享平台的设计与实现.docx

信息技术蒋漪涟,等基于云存储的教学资源共享平台的设计与实现基 于 云 存 储 的 教 学 资 源 共 享 平 台 的 设 计 与 实 现蒋漪涟 ,刘晓丹 ,张路通( 陕西工商职业学院 a. 计算机与信息管理系; b. 工商管理系 陕西 西安 )摘 要:为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度, 对云平台中教学资源的存储结构、融合 和 两类数据库优势的混合式数据库系统 以及基于 中主流 框架的 系统进行设计,使用 的分布式文件系统来存 储教学资源,实现了一个基于 的云教学资源平台。关键词:云教学资源平台; 分布式文件系统; 框架中图分类号: 文献标志码: 文章编号: ( )Design and Implementation of Teaching Resource Sharing Platform Based on Cloud Storagea. Computer and Information Management Departmentb. Business Administration Department ShanXi Business College Xian ChinaAbstract In order to solve the bottleneck of the traditional platform resource storage and to improve the teaching resources which meet the needs for users in mass refrieval information the storage structure of the teaching resources in the cloud platform is de- signed combined with HBase and MySQL hybrid database system and WEB system based on J EE mainstream SSH framework and Hadoop distributed file system is used to store the teaching resources so that the cloud platform of the teaching resources is im- plemented based on Hadoop.Keywords cloud teaching resource platform Hadoop distributed file system SSH framework: 机械制造与自动化0引言网络教育就是指学生和教师以及学生和教 育 组 织 间 利用多种媒体方式进行系统教学和通信联系的一种教育 形式 现代网 络 教 育 是 在 计 算 网 络 技 术 通 信 技 术 和 多媒体技术兴起后产生的一种新型教育形式 运用多媒体 和多种交互方式使老师与学生进行教学和通信 联 系 网 络教育是远程教育的主要形式 也是高职教育的一个辅助 教学形式随着计算机网络技术和通信技术的发展 许多学校开 发了自己的网络学习平台 其中包含有大量优秀的教育资 源 但由于我国现有的学习系统之间缺乏有效的 互 通 互 连 造成了许 多 教 育 资 源 的 闲 置 和 浪 费 由 于 教 育 资 源需要占用较大的存储空间 而存储设备的购置和维护又 需要大量的财力和人力 因此学习系统的建设成 本 较 高 云存储技术的发展 可以解决当前网络学习系统建设维护 成本高 资源共享率较低 资源管理不规 范 等 问 题 将 现 有的网络教学资源整合到云存储这一全新的存储模式中 来 构建一个拥有海量教学资源的 教育云 从而将大 量的计算和存储工作交给后台服务器来完成 大大降低了 网络学习系统对终端设备的配置要求本系 统 利 用 的 分 布 式 存 储 以 及 与组成的混合数据库 设计一个结构合理且体系完整的云教学资源平台 系 统 采 用 分 布 式 技 术 和 一 库 共 建 共享型资源库 多系统 资源管理系统 在线学习系统等 应用模式 为教 师 和 学 习 者 提 供 云 端 存 储 和 云 端 学 习 服 务 以推动教学与学习方式的创新 本系统的云存储平台 采用开源的 分 布 式 文 件 系 统 使 用 数 据 库 来存储用户信息 使用 来存储资源文件 信 息 釆 用 关系型数据库和分布型数据库相结合的方式 既提高了检 索效率 也实现了对不同类型学习资源的存储和管理基于云存储的网络教学系统可提高资源 的 共 享 率 和 管理水平 降低网络学习平台的建设和维护成 本 实 现 对 海量教学资源的有效和规范管理1云存储系统关键技术1.1云存储技术云存储是由云计算延伸出来的 一 个 新 的 概 念 云 存 储利用虚拟化技术 将一些异构的硬件存储设备整合为一 个资源池 从 而 根 据 实 际 的 需 求 来 分 配 这 些 资 源 云 存储主要是通过将庞大的数据拆分为多个较小的数据 块 之后交给集群中的多个存储设备进行分布式 存 储 云 存 储的核心是将应用软件与存储设备相结合 通过应用软件基金项目:陕西省教育厅年研究课题 陕西工商职业学院 年度科研项目 陕西广播电视大学年度科研项目作者简介:蒋漪涟女 陕西西安人 副教授 硕士 研究方向为计算机网络技术 信息技术来实现从设备到服务的转变 为用户提供灵活方 便 按 需 分配的云存储服务云存储相对于传统的存储模式具有成本较低 扩展性 强 容错性强 数据迁移方便等优势 因此云存储都采用分 布式的方式进行数据的管理 当前主流的云存储 系 统 主 要有 谷 歌 的 和 的 由 于 是 一个开源的 软 件 框 架 因 此 本 系 统 云 存 储 服 务 架 构 体 系选择建立在 上 在 的 基 础 上 设 计 和 实 现 教学资源共享平台的云存储体系架构1.2 Hadoop 框架平台是 由 基 金 会 开 发 的 一 个 运 行 在 廉价 机上的 分 布 式 集 群 系 统 架 构 能 够 对 大 量 数 据进行可靠 高 效 地 分 布 式 处 理 它 实 现 了编程范式 即将应用程序分割成许多小的子程序 每 个 子 程序都能够在集群中的任意一个或多个节点中执行或重 新执行 同时提供了分布式 文 件 系 统 用 来 存 储 所有节点的数据 这不仅扩宽了整个集群的带宽 还 使 得 整个框架具备自动处理节点故障的能力 其结构 图 如 图 所示PigCascading HiveZooKeeperApplica onMapReduceHBaseHadoop DFS图 1 Hadoop 框架结构图1.3 HDFS 结构集群是一 种 典 型 的 主 从 式 架 构 的 分 布 式 文 件 系统 采用分 块 存 储 的 方 式 一 个 文 件 被 划 分 为 一 个 或若干个数据块 这些数据块被分别存储在不同的中 节点之间可以通过相互通信来完成数 据块的修复和备份 当客户端访问文件时 首先向节点发起元数据操作请求 由 节点向 节点发起块数据操作请求 并将存储该文件所有数据块的 地址 信 息 反 馈 给 客 户 端 客 户 端 就 可 以 直接与相应的 节 点 进 行 交 互 来 执 行 具 体 的 读 写操作1.4 Hbase 数据库是一个稀 疏 的 面 向 列 的 分 布 式 数 据 库 能 够 对海量数据 实 现 随 机 实 时 的 读 写 访 问 不 同 于传统的关系型数据库 它适合于存储非结构化 的 数 据 是一个典型的 型数据库在分布式数据库 中存在着若干个区块服务器 每个区块服务器都含有若干个的区块 区块是数 据 存 储 的主要承担者 每一个数据表一开始都只有一个区块 随着数据的增多 一个数据表的区块会自动分裂为 个等分 新区块 每个区块都有 个核心 构 件 区 块 内 存 缓 存 区 块日志和区块存储 由三者联合完成对数据库表的存储1.5 存储虚拟化技术存储虚拟化是指利用虚拟卷映 射 流 数 据 定 位 数 据 快照 虚拟机等 技术 将多个异构的存储设备整合成一 个虚拟的 存储 池 进 行 统 一 的 管 理 存 储 虚 拟 化 屏 蔽 了不同存储设备之间的差异性 向用户提供统一的访问接 口 同时 存储虚拟化将应用程序和用户的数据存储操作 与具体的存储 控 制 分 开 充 分 利 用 了 异 构 平 台 的 存 储 空 间 从而达到最优化的存储效率1.6 分布式存储技术分布式存储技术 是指将网络上分布的存储设备集 中起来 形成一个对外统一的虚拟存储设备 将 数 据 分 散 的存储在每个独立的存储设备中 分布式存储技术的 核心在于对网 络 中 分 散 的 设 备 进 行 集 中 管 理 具 有 成 本 低 容错性强 高速存取 易于管理等优势2 系统的设计与实现2.1 云教学资源平台总体框架设计云存储教学资源平台利用 强大的存储能力和 灵活的扩展性 将教学资源 数 据 存 储 到 基 于 的 云 端资源库中 云教学资源平台除了能够存储教学资源 在 不断累积教学资源的基础上 还能够支撑多样 化 的 学 习 能够在资源的使用中不断优化资源 本系统的 总 体 结 构 框架如图 所示文件系统 的分布式文件系统作为云平台 的文件存储物理层 是云教学资源的实际存储 地 址 平 台 里所有的教学资源都存储在文件系统上数据访问系统 云 平 台 的 数 据 库 系 统 由 非 结 构 化 数据库 和关系 型 数 据 库 共 同 组 成 这 样 可 充分发挥两种不同数据库的优势 为前台应用提供更好地数据访问性能 负 责 存 储 数 据 量 大 的 表 或 者 信 息 变更频繁的数据表 用于存储访问量不大 信息修改少的数据 并为数据库中的大表建立表索引 云平台中 用户所需要的教学资源 都存储在的大规模集 群 中 而 不 是存储在本地云平台中资源数据访问由 大模块完成 教学资源文 件数据读取与存储的模块 负责对将教学资源数据写入和 读出平台的分布式文件系统 由教学资源数据写入功能的教学资源存储模块接口和教学资源从平台文件系统中 读 取功能资源数据接口 个部分组成控制系统 控制系统采用的 是 的 主 流 开 发 框 架 实 现 的 模 型 视 图 控 制框架 在 开 发 框 架 中 作 为 视 图 层其内置的 过 滤 器 与 栏 截 器 机 制 负 责 对 请 求 信 息依据用户自定义在配置文件 中预先规定的映 射关系 将请求转发给对应的处理 程序 运 行 时 调 1NM? /NM, /# NM C$ +M 1NM FE /NM, /# NM C$ +M AL+MC$ / O+M . NM AL+MC$ / O+M . NM 11*NM, /F NMC$1* 11*NM, /F NMC$1* + C$ + C$ 云教学资源平台的展示模块需要从数据访问层中提 供的统一对外接口读取教学资源 从这些接口中读出的资 源通过浏览器或者其他客户端对外进行显示 资 源 数 据 的读取包含 种类型 数据列表读取和实体数据读取 整 个资源的访问流程如图 所示Web 客户端向对外开放的服务器发送文件信息请求 请求 会被服务器自动分配到空闲的节点上进行处理 若是获取 资源的文件列表信息则通过调用 包中提供的 统 一数据库接口 查询 和 组成的混合数据 系 统就可以对请求做数据列表返回处理 若是进 行 资 源 文 件数据的下载 在数据库系统中查询到文件信 息 后 先 由 文件系统客户端判断所需文件是否有副本保存在当前 节 点上 有则将数据从中下载到本地 并生成数据 流 返 回 给 浏览器 若当前 处 理 节 点 没 有 保 存 资 源 文 件 副 本 则 由 对发 出 请 求 进 行 数 据 文 件 位 置 定位 定位成功后将数据下载到当前节点 然后进 行 与 数 据 在本节点同样的操作5 AL Common / A L#0 + EMySQL HBase B 1.C$ B5.F C$ 12. #F #06. EBMySQLHBase HDFS 35图 2 云教学资源平台总体结构框架RequestAc on2.B+5 DFSClieRequestAc on7.B+5 DFSClieDownLo adAc on11. E10.F ntCommonntDataNode用业务逻辑层 对象进行数据处理 业务逻辑层是平台系统中数据处理的重要部分 并负4.F 3.9 9. 5 1* B F 责对全部的业务进行跳转调度 调度数据模型来处理浏览器端的请求 前端页面表单的数据模型和后台业 务 处 理 模型对请求做出反应 同时调用相应的数据模式的业务逻 辑对象 生成结果后按照既定的反馈路径给浏览器端2.2 系统相关设计资源存储展示设计云平台资 源 存 储 访 问 模 块 基 于 的 实8.F MySQL HBase图 4 教学资源请求流程数据库设计NameNode现 整个教学资源平台资源存储访问的架构如图 所示 1#? 本系统融合关系型数据库 和分布式非关系型数据库 的混合式数据库系统 在 和 原有的 上进行包装 为上层数据存储和查询提供接口与 的关系及系统数据读取过程如图 所示 +0 AL ALHDFS 35DatanodeDatanodeDatanode M?B MySQL , M?3 B HBase , M?B HBase , DataDataData图 3 教学资源存储访问集群架构MySQLMySQL图 5 MySQL 与 HBase 关系及数据读取过程数据库用于存储数据结构多变且属性可选填 类的数据 加之 基于集群 能够处理爆发式 数 据 访 问 特别是发生并行访问某一类数据时能够轻松应对 结 合 框架能 够 建 立 倒 排 索 引 可 提 升 数 据 检 索 的效率 数 据 库 优 势 在 于 结 构 化 数 据 存 储 和 查 询 因而用于存 储 数 据 结 构 固 定 访 问 量 不 多 的 数 据 表 此外 表之间 的 关 系 比 较 相 对 较 弱 建 立 索 引 的 量 相对较大 因而 的 另 一 个 重 要 的 职 责 是 存 储 表 之 间的关系以及部分表索引 以提高 进行按字段范围 查询的效率数据据表有 用 户 表 资 源 信 息 表 公 告 信 息 表 等 数据库 表 有 管 理 员 信 息 表 资 源 索 引 表 专 业 表 课程表等云教学资源平台系统设计基于 的 应 用 系 统 中 通 常 采 用 分 层 架 构 从有利于代码管理的角度出发 云教学资源平台应 用系统分成 层架构 表示层 持久 层 业 务 层 和 模 块 层 各层之间相互独立 利用开放接口进行通讯 减少 了 层 与 层之间的代码依赖 在功能上与其他层不重叠 利 于 平 台 的代码维护和 扩 展 根 据 分 层 架 构 的 特 点 表 示 层 由负责 业务层和模块层由 负责 持久层由 负责基于云存储的移动学习系统主要有学生用户 教师用 户和管理员 类用户 另外为了保证系统的 安 全 稳 定 运 行 本系统设置了 位平台功能管理员 负责 整 个 系 统 的 监控和管理 系统功能模块设计如图 所示 , C$ 本系统在实验室搭建完成 本文提出的和 实 现 的 技 术目前只是在小规模的集群上进行了测试 尚未在大规模 的机器集群里运行过 因此下一步需要探究该系统在真实 云平台下的运行情况3结语本系统以云存储为基础 设计并实现了云教学资源平 台 对云教学平台中的功能模块进行了分层设计 云存储 技术是当今世界最具发展潜力的新兴技术之一 云存储技 术和传统的存储技术相比 在资源共享平台系统中其最突 出的优点在于能够对海量的教学资源进行有效地管理 和 存储 基于云存储的资源平台系统突破了采用 传 统 存 储 方式的局限性 使得优质的资源能够被更多的 人 学 习 并 大大降低了移动学习系统的构建和维护成本参考文献:张琳 终身教育视角下开放大学数字化资源建设 职教论 坛高宏卿 汪浩 基于 云 存 储 的 教 学 资 源 整 合 研 究