各个模块的实现方式.doc

各个模块的实现方式1 视频采集压缩1.1 功能描述1、把摄制的教学视频通过采集卡进行采集，采样频率可变，可根据教学要求进行摄制（主要满足后续分析的需要），实现数字化视频数据的生成；2、压缩教学视频。支持摄制多种压缩格式：能实现多种视频格式的相互转换。1.2 技术实现1.2.1 软技术部分（一）海量课堂视频材料收集机制 本研究需要海量的课堂视频材料，因此短时间内收集大量的、符合研究需要的视频资源是首先要解决的问题。 主要实现机制构想：1、合作研究。通过北师大211工程重点研究课题“网络环境下的基础教育跨越式发展实验研究”项目、教育部重点课题“全国学科四结合教学改革试验研究”项目等课题中覆盖全国的超过600多所学校的先天优势和条件，进行教学过程视频材料收集；2、建设一个视频素材资源收集网站，集信息发布、资源收集等功能于一体。系统直接面向个体教师，通过注册会员、积分回报等手段进行互动式资源收集。这种方式费事较长，由于缺少行政干预力量，通常质量、有效性、实名性等也难以保证；3、与K12、国之源等资源类企业合作，从其长期的资源积累中筛选出符合条件的课堂教学视频材料，以较低的价格购买，只用于研究领域；4、其他实现机制。各种实现机制需要进行对比、筛选，或者多头并进，具体细节（运营方式、运营机制、审核机制、计费策略、激励机制、推广拓展等）还需要进一步细化，以使其更具有可操作性。 （二）课堂视频材料质量要求和拍摄规范 首先，视频材料必须能够记录完整的课堂教学过程，并且画面和声音清晰，视音频同步；其次视频材料还必须从不同视角、不同的侧面全方位的再现教学过程，这样才能在后期分析过程中给出综合性的计算机辅助量化评估。1.1.2 硬技术部分（一）视频数据采集技术 主要实现数字化视频数据的生成，可以采用如下机制实现： 1、数码摄像机； 2、模拟摄像机视频采集卡技术； 3、各类视频文件之间的格式转换技术；（二）海量数据传输技术 主要应对大数据量的视频文件的传输与存储，可采用如下机制实现： 1、光盘。以光盘的形式进行刻录、邮寄、拷贝与存储；2、网络传输。包括FTP工具和HTTP传输工具，需要在服务器上构筑相应服务，并涉及到读写授权、漫游认证等机制；（三）海量视频数据管理技术、属性标注技术、编辑技术这部分主要实现对于海量视频数据的查询检索、备份转存、查毒等；通过界面，以“所见即所得”的方式进行课堂视频材料的批量标注；实现对原始课堂视频材料的裁剪、编辑等操作，以得到可用于教学过程数字化可视分析的课堂视频材料。可采用如下机制实现： 目前，市面上的各种各样的非线性编辑系统很多，大都可以满足本系统采集、压缩和编辑的需要。本系统的实现有两种成熟的方案可供选择，一种是单机版的非线性编辑系统，如：Canopusr的DV Storm XA 实时非线性编辑系统，DPS VelocityQ非线性编辑系统。另一种是网络版的非线性编辑系统，其突出的特点是支持在线协同式非线性编辑。如：奥维迅DSX100数字非线性编辑系统。这两类产品，可根据使用需要和资金情况选择一种均可实现对不同来源、不同格式的教学视频的采集、接收、预处理和标准化入库功能。满足教学视频数字化可视分析系统的需求。2 视频存储管理2.1 功能描述（1）海量视频数据的的多级存储和管理；（2）视频数据的多种属性标注；（3）从教学过程特征的角度生成摘要和索引；（4）多维度的查询和检索；（5）其他，包括数据消重、备份/恢复、统计、容灾、片断提取等。2.2 技术实现2.2.1 软技术部分 课堂视频材料属性描述规范：对收集的课堂视频材料加注属性（元数据，Meta-Data）描述，可以有助于分类存储、高速查找等操作，本部分就是要建立一种视频材料属性描述的规范，要求：属性标注尽可能全面，至少包括课程名称、简介、主讲教师、教师职称、地域、学校、学校性质、教学过程描述、主要教学模式、收集时间、上课时间、课堂时间等；属性标注的结果可以用于分类存储、建立索引、高级查找等；建议把视频文件的磁盘存储路径作为其中属性之一，以有助于数据的取送与快速定位；对视频材料的属性描述规范需要在项目组综合讨论的基础上，并参照CELTS、IMS-MetaData等相关标准的基础上，整合本项目组研究的特定需求而制订出来的。2.2.2 硬技术部分（一）海量视频数据管理技术 海量视频数据管理包括以下功能操作： 海量数据存储； 海量数据查询、检索、索引； 海量数据备份、转存； 海量数据查毒操作；（二）视频数据属性编辑技术对收集的课堂视频材料加注属性（元数据，Meta-Data）描述，需要以可视化的界面、以“所见即所得”的方式进行，主要有：1、为属性信息库添加分类索引功能，以便于查找和定位；2、属性描述数据本身与后面论述的教学过程信息库相联系，保持数据的一致性；3、通过界面，以“所见即所得”的方式进行；4、支持课堂视频材料的批量标注，即一次性的标注多个视频材料的同类属性，例如同一目录下的视频文件的“存储路径”属性一次性进行标注；5、设置好各类各种属性（元数据）的缺省值，便于操作；6、可以采用为每个视频数据文件构建一个XML描述文件的方式进行，并且使该描述文件与视频文件同名或同目录，便于文件读取、解析、定位与传送。（三）视频数据编辑工具视频数据编辑工具实现对原始课堂视频材料的裁剪、编辑等操作，以得到可用于教学过程数字化可视分析的课堂视频材料，该工具主要功能有：1、对原始视频材料进行裁剪、内容查找、内容定位、复制、粘贴、修复等编辑操作；2、可分离并编辑与视频相对应的音频数据；编辑字幕数据；3、编辑视音频，使之同步；4、可剔除原始视频文件中损坏或者明显不合格的数据部分；以上这三个部分的实现机制为：此模块包括教学视频仓库和教学视频管理服务两个部分。教学视频仓库负责存储和管理所有视频文件及其相关信息，包括内容文本、内容对象、内容索引、内容关联结构数据库集等；教学视频管理服务主要提供教学视频维护及查询检索服务，支持基于XML标准的检索、输入和输出。内容管理服务还实现教学视频仓库的备份、恢复、监控、审计等。目前，有关教学视频仓库硬件技术比较成熟，用一个专用的存贮服务器配上磁盘阵列就可以解决问题。市面上成熟的存贮服务器和磁盘阵列有多种，如：IBM 8862系列产品、HP DL580G2等服务器；IBM DS4300、HP 7110等磁盘阵列。目前，市场上的多媒体资产管理系统很多，主要采用C/S模式。虽然不同的系统针对的用户不同，对媒体文件再加工的功能不同，但他们所采用的技术是十分有价值的，是可移植的。如TRS媒体内容管理解决方案8已用应用到了新华社、CCTV、南方报业等众多客户。能够实现这一功能的市场的产品有：同方视讯、TRS媒体内容管理解决方案、Interwoven发布内容管理平台Interwoven 6、HP数字博物馆解决方案。3 视频分析处理3.1 功能描述对教学视频的分析和处理是本系统的最重要的部分，也是最难做的部分。其总体目标是对经过采样、编码等自动化处理的教学过程视频材料进行统计、分析和数据挖掘等操作，以发现教学过程中所蕴含的教学行为之间的关系和普遍原则。本质上是对教学视频基于教育意义上的理解。即一种借助信息技术手段，对课堂教学中丰富而又复杂的师生交互过程的信息进行处理和分析的过程。视频分析处理系统的运行大致包括以下几个过程：1、教学视频的预处理这部分可能是一个“手工+半自动化”性质的工作。主要包括：（1）视频格式的转换、大小切割等操作；（2）视频材料中的音频信息的提取；（3）对视频材料中的音频信息的语音识别，形成对应的文本信息；（4）对视频、语音、语音文本三个要素形成关联并进行存储。2、课程教学信息编码。编码面向的对象是视频、音频、语音文本三个对象，编码目标是以教学过程分析理论为基础，以某种可识别和计算的规则为手段，建立视频、音频、语音文本这三个对象之间的内在联系，输出为经过编码的可以用于分析的源脚本（SCRIPT），文件格式自定，但需要能够被分析软件所读取。3、对所形成的编码进行统计分析、数据挖掘。目标是对已进行编码的脚本（SCRIPT）进行解析、统计和数据挖掘，以得到数量化的信息。3.2 技术实现3.2.1 软技术部分（一）教学过程的数字化编码理论1、编码理论。编码系统完成课堂教学过程中相关要素的分类和细类情况，并能够枚举所有要素、变量的状态、变化情况，并分别给予唯一编码码号。2、数字化采样技术。以时间为轴，按照某固定时间间隔（n）进行取样，对每个样本都按照编码系统的规则和分类信息赋予编码码号（该码号在教学过程信息库中进行定义），这样某课堂教学过程将被离散为课堂总时间/时间间隔（n）个编码，这些编码按照时间轴顺序代表着教学过程中相关要素的相关事件或者事件的变化，并对这些离散事件的变化趋势、统计信息、相关性信息等进行分析和研究，就可以对课堂教学的结构、教学与学习活动、教学风格、学习风格、学习效果进行测定和预估。3、教学过程信息库建设。采用数据库技术构建教学过程信息的二维矩阵，以配合教学过程的采样、量化、统计、分析等。（二）教学过程的数字化可视分析理论对教学过程的数字化可视分析理论主要从三个维度进行，其一是“学习与教学活动量化分析理论”；其二是“课堂教学模式的量化分析理论”；其三是“学习过程因素与学习效果的关系分析理论”。其中，以学习与教学活动量化分析为主线，其累积程度的测量和衡量机制构成了“课堂教学模式的量化分析理论”，而学习活动、教学活动与学习效果之间的质和量的关系研究构成了“学习过程因素与学习效果的关系分析理论”，三者密不可分，与时间因素一起构成了教学过程的四维空间。3.2.2 硬技术部分（一）视频材料采样技术针对“教学过程的数字化编码理论”，提供相应的工具予以支持教学过程视频材料的采样，采样的结果即是把连续的教学过程转变为离散的量化的数字表征，为后续的教学过程可视分析提供基础。具体的基于视频材料的采样技术方案和实现机制需要HP公司实验室相关技术人员提出并予以实现。（二）视频材料样本的自动化编码技术在对视频材料采样后，需要随后进行自动化编码。以教学过程信息的二维矩阵为基础，对每一个离散的样本（通常按照时间轴进行采样）进行自动化编码，这种编码的自动化是以计算机系统对所采样（离散）出来的视频材料样本的自动化理解技术为基础和条件的。具体的基于视频材料样本的自动化编码技术需要由北师大和HP公司相关人员一道，抽象出实现逻辑和机理，并予以实现。（三）视频材料样本的自动化理解技术视频材料样本的自动化理解是实现视频材料所采样样本的“教育学解释”、“心理学解释”、“定位和归类”等功能，这需要一个庞大的教学过程特征库作为支撑。分析教学过程的特征，把每个教学过程微单元的特征（色调、像素、帧结构以及其他可以量化的信息）记录入数据库，在执行过程中，把样本特征信息进行抽象和量化后，进行搜索并匹配相应特征。（四）语音识别技术目前该方面已经有了一些成型的技术，如TRS系统中内容提取、内容摘要生成和关键字提取的办法3；IBM公司的语音系统中语音的理解和分析方法。这些现成技术移植过来有助于分析系统对教学过程的更深层次的分析。目前，计算机对自然语言的理解取得了一定的成就，它在特定的领域内对人的语言的理解准确率达到了96%左右45，但把它用在课堂上,由于环境比较复杂，人员较多，噪声也比较多，它的识别正确率通常都低于86%。所以，对课堂教学视频的语音处理过程中，需要人的干预，才能保证在语音转化为文本后，文本的正确性。（五）海量视频数据样本的统计分析技术可以统计海量数据的变化趋势、各类别相关性模拟、数据统计等功能。可以采用SPSS、SAS等统计分析工具，但是否能够满足项目需要，还需要进行评估。4 教育教学指导模块4.1 功能描述 形象