（教育技术学专业论文）flash组成元素的内容特征提取与标注研究.pdf

硕 士 学 位 论 文 论文题目 flash 组成元素的内容特征提取与标注研究组成元素的内容特征提取与标注研究 学科专业名称 教育技术学 申 请 人 姓 名 邵长侠 导师姓名 孟祥增 教授 论文提交时间 2012 年 4 月 16 日 单位单位代代码码 10445 学学号号 2009020273 分 类分 类 号号 g434 研究生类别研究生类别 全日制硕士全日制硕士 独独 创创 声声 明明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果， 也不包含为获得 （注： 如没有其他需要特别声明的， 本栏可空） 或其他教育机构的学位或证书使用过的材料。 与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解 学校学校 有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。 本人授权 学校学校 可 以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、 缩印或扫描等 复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本授权书） 学位论文作者签名： 导师签字： 签字日期：20 年 月 日 签字日期：20 年 月 日 目录目录 摘要摘要 . i abstract . iii 第一章第一章 绪论绪论 . 1 1.1 研究背景与选题意义 . 1 1.2 基于内容检索的研究现状 . 2 1.2.1 基于内容的多媒体分析检索现状 . 2 1.2.2 基于内容的 flash 分析检索现状 . 3 1.3 论文的研究方法与内容创新点 . 4 1.3.1 论文的研究方法 . 4 1.3.2 论文的内容创新点 . 5 1.4 论文的章节安排 . 5 第二章第二章 flash 动画的动画的文件结构及组成元素参数描述文件结构及组成元素参数描述 . 7 2.1 flash 动画的存储结构 . 7 2.1.1 flash 动画的文件头 . 7 2.1.2 flash 动画的文件主体 . 9 2.2 flash 动画的形成原理 . 11 2.3 flash 组成元素的内容特征描述 . 13 2.4 本章小结 . 14 第三章第三章 flash 组成元素的视听觉特征提取与标注组成元素的视听觉特征提取与标注 . 15 3.1 flash 动画的图形特征提取与标注 . 15 3.1.1 flash 动画图形的定义方法 . 15 3.1.2 flash 动画图形的填充样式 . 18 3.1.3 flash 动画图形的边线样式 . 20 3.1.4 flash 动画图形的形状记录 . .21 3.1.5 flash 动画图形的颜色分类识别 . 23 3.1.6 flash 动画图形的特征提取与标注 . 25 3.2 flash 动画的图像特征提取与标注 . 26 3.2.1 flash 动画图像的存储方法 . 26 3.2.2 flash 动画图像的特征提取与标注 . 28 3.3 flash 动画的声音特征提取与标注 . 29 3.3.1 flash 动画声音的定义存储结构 . 29 3.3.2 flash 动画声音的压缩算法 . 32 3.3.3 flash 动画声音的特征提取与标注 . 34 3.4 flash 动画的声画蒙太奇 . 35 3.5 本章小结 . 36 第四章第四章 flash 组成元素的组成元素的动态效果提取与标注动态效果提取与标注 . 37 4.1 flash 动画的影片剪辑特征提取与标注 . 37 4.1.1 flash 动画影片剪辑的定义播放 . 37 4.1.2 flash 动画影片剪辑的特征提取与标注 . 40 4.2 flash 动画的形变特征提取与标注 . 41 4.2.1 flash 动画形变的定义方法 . 41 4.2.2 flash 动画形变的特征提取与标注 . 42 4.3 flash 动画的动作脚本特征提取与标注 . 44 4.3.1 flash 动画动作脚本的定义 . 44 4.3.2 flash 动画动作脚本的特征提取与标注 . 47 4.4 本章小结 . 50 第五章第五章 flash 动画组成元素动画组成元素内容特征提取内容特征提取平台与索引数据库建设平台与索引数据库建设 . 51 5.1 flash 动画组成元素内容特征提取平台开发 . 52 5.2 flash 动画组成元素内容特征索引数据库建设 . 55 5.3 实验结果及分析 . 59 第六章第六章 总结与展望总结与展望 . 64 6.1 工作总结 . 64 6.2 展望 . 65 注释注释 . 66 参考文献参考文献 . 68 攻读硕士学位期间攻读硕士学位期间的学术成果的学术成果 . 70 致谢致谢 . 71 i flash 组成元素的内容特征提取与标注研究 摘要摘要 flash 动画是一种重要的网络多媒体教育资源，在教育教学中应用非常广泛。flash 动 画利用人的视觉暂留的生理现象和动感视错觉的心理现象，将图形、图像、声音、文本等 多媒体元素、 形变、 蒙版等动态效果以及按钮等用户交互集于一体。 随着网络技术和 flash 动画的不断发展，数字化学习对 flash 教育资源的需求进一步扩大，flash 动画教育资源 建设亟待加强。作为重要的多媒体教育资源，flash 动画的获取效率与应用程度直接影响 到信息化时代学习者的学习效果。如何在浩瀚的 flash 动画网络资源中快速准确地检索到 我们所需要的 flash 动画教育资源，成为多媒体教育研究领域的新课题。 本论文立题研究 flash 动画组成元素的内容特征提取与标注，从 flash 动画的格式出 发，分析 flash 动画的内部文件结构，对 flash 组成元素中视听觉特征的表达元素图形、 图像、声音进行了详细解析并提取相关特征参数，将提取的特征参数写入 flash 动画组成 元素的索引数据库中； 提取表达 flash 动画动态效果的影片剪辑、 形变、 脚本的内容特征， 完善 flash 动画组成元素的内容特征提取标注平台。 通过分析 flash 动画中图形、图像、声音的定义存储结构，提取图形、图像、声音的 基本属性特征，根据 flash 动画中控制标签对组成元素的调用，分析组成元素的实际应用 属性特征，建立 flash 动画图形、图像、声音的内容特征提取与标注平台。根据 flash 动 画文件格式说明中图形的定义结构，提取图形的填充样式、线条样式，将图形的颜色填充 定义为 25 种，包括位图填充、渐变填充和 23 种纯颜色填充；分析图像的存储定义方法， 实现了图像的内容特征提取；解析 flash 动画中事件音频、流式音频的定义存储结构，建 立声音特征提取平台；另外总结介绍了 flash 动画中视听觉结合的声画蒙太奇特殊效果。 通过对 flash 动画组成元素影片剪辑、 形变和动作脚本的内容特征提取， 完成对 flash 动画文件动态效果的分析。本文根据 flash 动画中影片剪辑的定义、播放方式，提取影片 剪辑的帧数、位置、大小、运动、缩放、颜色变换等属性特征；从形变的定义方法出发， 分析形变的填充样式、线条样式的定义与存储，完成对 flash 动画形变特征参数描述；解 析 flash 动画文件中的动作脚本，通过对 swf3 动作模型、swf4 动作模型的详细介绍， 明确动作脚本的定义与存储，完成对 flash 动作脚本的分类，另外总结比较了硕思闪客精 灵、flash decompiler trillix 和 action script viewer 三类应用广泛的 flash 动画反编译软 件对 flash 动画动作脚本的提取分类，为进一步对动作脚本的研究提出参考。 ii 本论文使用 visual c+6.0 程序开发工具， 基于 windows xp 操作系统开发了 flash 组 成元素视听觉与动态效果特征提取与标注平台程序模块， 通过各个组成元素相应的提取与 标注模块将元素的内容特征提取出来并标注到对应的索引数据库中，为基于内容的 flash 动画检索系统服务。 【关键字】flash 动画；视听觉特征；动态效果；提取与标注 【分类号】g434 iii research on the extraction and labeling of content feature of flash elements abstract as an important network multimedia educational resources, flash animation is widely applied in education and teaching. making use of human eyes persistence of vision effect and dynamic visual illusion, flash animation contains graphics, images, sounds, texts, and other multimedia elements, shape morphing, masking and other dynamic effects as well as buttons and other user interactions. with continuous development of network technology and flash animation, the demand for flash educational resources expand further in e-learning. thus flash animation educational resources construction should be strengthened. as an important multimedia educational resource, flash animations acquisition efficiency and application degree directly affect the effect of learning in information age. it is essential to carry out new researches in the field of educational multimedia, so as to retrieve the desirable flash animation efficiently and accurately from massive network resources. the present research focused on the extraction and labeling of content feature of flash animation elements. started from flash animation format, the researcher analyzed the internal file structure of the flash animation, and illustrated graphics, images, sounds which belong to expression elements of visual and auditory characteristics of flash. the researcher also extracted its relevant characteristic parameters. the extracted feature parameters were written to the index database of the composed elements of flash animation. the researcher also extracted the content features of the dynamic effects expression of flash animation that including movie clip, the contents of the characteristics of the shape morph, and the action scripts. so as to improve the extraction annotation platform of the content feature of flash animation elements. through the analysis of the definition storage structure of the flash animations graphics, images and sounds, the researcher extracted the characteristics of the basic properties of graphics, images and sounds. according to the use of the flash animation control tags on elements, the researcher analyzed attributes of the practical application of the elements, so as to create a flash animation graphics, images, sounds content feature extraction and labeling platform. according to flash animation file format specification description of graphical iv definition of the structure, the present paper extracted the graphics fill style, line style, and the fill styles including bitmap fill, gradient fill and 23 kinds of pure color fill. through analysis of image storage definition method, the present study completed the extraction of image content feature. with the analysis of definition storage structure of the flash animation event audio, streaming audio, the present study established sound feature extraction platform. in addition, the present paper introduced flash animation audio-visual special effects of sound and picture montage. based on the content feature extraction of flash animation elements of movie clips, shape morph and action script, the paper completed the analysis of the dynamic effects of the flash animation file. according to the definition and playing mode of movie clip, the paper extracted the characteristics, such as the frames of the movie clip, position, size, movement, scale, color transformation. starting from the definition method of shape morph, the paper analyzed the morph fill style, morph line style, and completed description of the morph characteristic parameters of the flash animation. through the description of swf3 action model and swf4 action model in detail, the paper defined the action script clearly,and completed the flash action script classification. in addition, the present study summarized and compared the extraction classification of flash animation action script of three widely used flash animation software compiler ,such as sothink swf decompiler, flash decompiler trillix and action script viewer, so as to offerd reference for further study of the action script. the present paper used the program development tool visual c+6.0. based on windows xp operating system, the researcher developed the platform program module for the extraction and labeling of flash elements of audio-visual and dynamic feature. through extraction of and labeling of composing elements, the module can extract elements content features and label them to the corresponding index database, so as to provide index service to the content-based retrieval system of flash animations. key words flash animation; visual and audio feature; dynamic effects; extraction and labeling; category g434 山东师范大学硕士论文 1 第一章第一章 绪论绪论 1.1 研究背景与选题意义研究背景与选题意义 随着多媒体技术的发展和网络应用的普及，作为教育信息化基础的多媒体教育资源日 益丰富，多媒体教育资源的建设越来越受到国家和各学校的重视。在教育技术时代，多媒 体教育资源已经渗透到现代教育的各个领域。目前，网络已成为全球最大的多媒体教育资 源库。根据中国互联网络信息中心 2012 年 1 月 16 日发布的第 29 次中国互联网络发展 状况统计报告1，截止 2011 年 12 月底，中国网站总数经历 2010 年的大幅下降之后，目 前稳步回升至 230 万个，整体质量得到进一步提高，网页数量增加到 866 亿个，比 2010 年同期增长 44.3%，搜索引擎用户规模达到 4.07 亿，在网民中的渗透率为 79.4%，成为仅 次于即时通信的第二大网络应用。由此可以看出互联网络已经成为了人们获取生活服务信 息和学习资源的主要工具。 网络多媒体教育资源是通过互联网将文字、图形、图像、声音、视频、动画等多种传 统教育资源以数字化的形式进行加工和再创造而形成的新形式教育资源2。随着信息时代 的发展，网络信息越来越多，大量虚假信息、垃圾信息充斥网络，造成网络教育资源的混 乱无序和质量良莠不齐，网络教育资源建设迫在眉睫。教育资源建设是教育公共服务体系 建设的重要内容，是为了满足信息环境下学习者的多元化需求。现在网络多媒体教育资源 中主要以文本、图形、图像为主，在下载的各类多媒体资源中，文本的数量远远超过图像、 视频和动画，而另一方面对教师的网络多媒体资源需求的调查结果则表明教师对动画、视 频等素材的需求远远超过文本， 60%以上的教师特别需要动画和视频资源， 只有 7%的教师 表示需要文本资源3。网络多媒体教育资源建设的目的，除了要满足广大教师和学生的现 有需要之外，更重要的是进一步发展和引导其新的需要，即以学为中心的教育教学模式的 需要，这就更加需要加强网络多媒体教育资源的建设。 flash 动画作为重要的网络多媒体教育资源应用非常广泛， 它是利用人的视觉暂留的生 理现象和动感视错觉的心理现象， 将各类媒体元素、 动态效果、 用户交互集于一体， 将 flash 技术与艺术相结合， 通过内部对象及其属性特征表达丰富的语义信息。 flash 动画是一个基 于矢量的交互式影片格式，有文本、图形、图像、声音、影片剪辑、蒙版等多种媒体元素 组成，是一种与网络传播共栖共生的技术系统与艺术形式，已经成为活跃在互联网、移动 手机通信、 数字宽带电视网络的重要工具。 flash 动画能够生动活泼地描述枯燥的教学内容， 动画模拟不但可以彻底改变传统教学中的凭空想象、难以理解之苦，同时还能充分激发学 山东师范大学硕士论文 2 生学习能动性，化被动为主动，培养学生自主学习能力。flash 动画已经成为当代网络虚拟 空间的重要构成要素，是一种重要的多媒体教育资源。随着网络技术和 flash 动画的发展， 数字化学习对 flash 教育资源的需求进一步扩大，flash 动画教育资源建设亟待加强。 作为重要的多媒体教育资源， flash 动画的获取效率与应用程度直接影响到信息化时代 学习者的学习效果。目前，学习者主要通过百度、yahoo、tom 等搜索引擎检索并下载多 媒体教育资源，但这类通用的搜索引擎多是采用关键字搜索，主要针对文本、图形、图像、 音频的检索，对 flash 动画的检索特别匮乏。另外，基于内容的多媒体检索研究领域针对 图像、音频和视频的研究非常多，并且都很深入，而对基于内容的 flash 动画检索研究却 相对非常少， 这严重制约了 flash 动画教育资源的应用， 也造成了 60%以上的教师缺少 flash 动画教育资源。因此，基于目前的形势，我们必须开发准确、有效、有针对性的网络 flash 动画检索系统，完善网络 flash 动画教育资源的建设。 本论文立题研究flash动画组成元素的内容特征提取与标注， 以flash动画的格式为本， 分析 flash 动画的内部文件结构，对 flash 组成元素中视听觉特征的表达元素图形、图像、 声音进行了详细解析并提取相关特征参数，将提取的特征参数写入 flash 动画组成元素的 索引数据库中；分析 flash 动画中的影片剪辑、形变和脚本，对这些动态效果的体现元素 进行特征提取与标注， 进一步完善 flash 组成元素的索引数据库。 本研究是基于本体的 flash 内容管理和搜索引擎系统的研究与开发工作的一部分，对于快速准确地检索 flash 动画教 育资源具有重要意义。 1.2 基于内容检索的基于内容检索的研究现状研究现状 基于内容的检索 （content-based retrival） 主要是利用各类媒体对象的内容语义及其上 下文联系进行检索，直接对图像中的颜色、纹理、形状，视频中的镜头的运动、片段、场 景，声音中的音调、音色、响度等进行分析和特征提取，利用这些内容特征建立索引并进 行检索。 1.2.1 基于内容的多媒体分析基于内容的多媒体分析检索现状检索现状 多媒体就是文本、图形、图像、动画、视频和声音等多种媒体元素的集成系统。基于 内容的多媒体检索4区别于基于文本的传统多媒体检索，它直接对多媒体图像、音频、视 频内容进行分析，抽取多媒体内容的特征和语义建立索引、进行检索，即利用多媒体对象 的语义、视觉特征、听觉特征和文本信息来进行检索。这种检索摈弃了常规数据库检索中 的精确匹配方法，通过采用相似性匹配的方法获得检索结果，它能对大型多媒体数据库进 行快速检索，同时满足人机交互的智能检索。 山东师范大学硕士论文 3 基于内容的图像检索是通过分析图像的内容，提取其颜色、形状、纹理以及图像中子 图像对象的空间位置等信息，建立特征索引，存储于特征库中。在检索时，用户只需描述 对图像的模糊印象，就可以通过多次的近似匹配，在大容量图像库中查询到所需图像。 基于内容的视频信息检索是通过对非结构化的视频数据进行结构化分析和处理，视频 除了具有静态图像的特征外，还有动态性，例如镜头运动的变化、运动目标的大小变化、 运动轨迹等。 视频分割、 动态特征提取和代表帧的判定是基于内容的视频检索的关键技术。 基于内容的声音信息检索是利用声学的主观特性进行检索，分为基于语音技术的检 索、音频检索和音乐检索三类。声音的一些感知特性，如音调、音色、响度等，与音频信 号的测量属性非常接近，在音频数据库中记录这些特征，并利用这些特征进行示例和指定 特征值查询。 由 ibm 公司开发的 qbic 系统是基于内容的检索系统的典型代表， 它通过友好的图形 界面提供了颜色和纹理模式、草图和图画、镜头和目标运动等多种检索信息，可以对文本、 图像、视频和语音进行检索。 1.2.2 基于内容的基于内容的 flash 分析检索现状分析检索现状 虽然 flash 动画已经成为网络上最流行的多媒体格式， 但是由于 flash 动画文件结构复 杂、 动态效果变化多样和特有的交互性等因素， flash 动画内容分析与管理的开发研究还很 少，还没有一个完整的基于内容的分析和管理平台。2008 年 7 月 adobe 公司发表声明称， 将于谷歌、雅虎合作优化 flash 播放器技术，将 flash 中的内容用于搜索引擎检索，使得 flash 内容在搜索结果中以文本和链接的方式返回。 然而， 到目前为止一直没有新的研究报 告或应用系统出现5。google 虽然已经建立了基于文本的 flash 检索，可以根据关键字进 行检索， 但是该系统还是根据 flash 动画所在网页中的文本信息和 flash 文件元数据信息进 行检索，无法表达 flash 动画中丰富的视觉特征和交互特征。 美国卡内基梅隆大学计算机系杨骏博士提出了基于内容的 flash 动画检索的 flame 框架。flame 即 flash movies access and management，按照 flash 动画的对象、事件和交 互三个层次进行内容表征，提出 flash 检索的三层架构从低到高为表示层、索引层和检索 层6。表示层的功能是将 flash 的 swf 文件转化成 xml 文件，便于我们用可读的方式解 析 flash 动画的存储结构和内容信息； 索引层的功能是提取 swf 文件中的对象以及对象的 特征属性，并将这些特征属性分别放到各自的数据库中；检索层的功能就是直接与用户进 行交互，处理用户提交的查询请求，返回检索结果。flame 不是基于内容的 flash 动画检 索的系统，它只是定义了构建 flash 检索系统的框架，不能直接用于 flash 搜索。 山东师范大学硕士论文 4 本论文的研究是基于山东省科技攻关项目“基于本体的 flash 内容管理和搜索引擎系 统的研究与开发” ，是在实验室前辈们研究的基础上做的进一步深入研究。刘磊根据 flash 动画文件格式说明对 flash 动画的存储机制、存储方法、压缩方法等进行了分析，并利用 vc+6.0 编写了 flash 动画结构解析程序、flash 动画去保护程序和 flash 动画解压缩程序 等； 刘菲以 flash 动画的发布格式 swf 动画文件为研究对象， 以 swf 动画文件结构和 flash 制作过程为依据，对 flash 动画的场景结构和视觉特征进行深入研究；张敏通过分析 flash 的内部结构，判断关键帧，基于关键帧颜色、边缘特征等因素分割视觉场景，生成动画摘 要，提取场景的画面复杂度和按钮特征信息等；我的研究是对 flash 组成元素图形、图像、 声音、影片剪辑、形变和脚本进行分析、提取，并将相关信息写入各自的关联索引数据库 中，为基于内容的 flash 检索系统服务。我们致力于建立一个检索界面友好、效率高、性 能稳定可靠的基于内容的 flash 动画检索系统。 1.3 论文的论文的研究研究方法方法与与内容内容创新点创新点 1.3.1 论文的论文的研究研究方法方法 本文的研究工作属于基础研究，为基于内容的 flash 动画分析检索系统研究增添了新 的研究内容，带来了新的发展，主要采用的是文献研究法、系统设计法和实验评价法。 文献研究法是根据一定的课题研究目的，通过搜集、查阅、比较、整理、综合分析与 研究课题相关的文献资料，从中选取信息，确定课题研究的主要工作，拟定课题的研究计 划，确认研究目标、内容、创新点等7。文献分析是研究的基础，在研究过程中通过查询 中国知网、维普等数据库中的期刊论文搜集了网络中诸多文献资源，获得了有关基于内容 的多媒体分析文献，比较、整理、综合分析这些文献的内容，从而拟定针对 flash 组成元 素的内容特征分析提取算法。 系统设计法来源于系统科学，把要解决的问题作为一个系统，对系统的各个要素进行 综合分析，找出解决问题的可行性的方法，并付诸实践。本文使用 visual c+开发工具， 应用面向对象的系统开发方法，通过分析 flash 动画的结构和原理，系统设计提取 flash 动 画的各元素特征的算法，实现 flash 动画各组成元素图形、图像、声音、影片剪辑等的提 取与标注模块。 实验评价法。 运用科学实验的原理和方法， 建立了实验样本库， 对样本库中的每个 flash 动画进行图形、图像、声音、影片剪辑的特征提取，并采用查全率和查准率来评价提取和 分类的效果。 山东师范大学硕士论文 5 1.3.2 论文的论文的内容创新点内容创新点 本文根据 flash 动画的结构特点， 对 flash 组成元素的视听觉特征和动态效果进行深入 的分析与标注。本文的内容创