基于Linux的嵌入式多媒体播放器的设计与实现.pdf

分类号：分类号： 单位代码：单位代码：1011010110 学学 号：号： 中中 北北 大大 学学 硕硕 士士 学学 位位 论论 文文 硕士论文封面书脊硕士论文封面书脊 题目： 论文题目用一号黑体字，一行排不下可排两行 基于基于 linuxlinux 的嵌入式多媒体的嵌入式多媒体 播放器的设计和实现播放器的设计和实现 硕士研究生硕士研究生_ _ _ _ _武颖武颖 _ _ _ 指导教师指导教师_ _ _李博（副教授）李博（副教授） _ 学科专业学科专业_ _ _ _ 精密仪器及机械精密仪器及机械_ _ _ 20132013 年年 3 3 月月 3030 日日 基 于 基 于 linux 的 嵌 入 式 多 媒 体 播 放 器 的 设 计 和 实 现 的 嵌 入 式 多 媒 体 播 放 器 的 设 计 和 实 现 武 颖 武 颖 中 北 大 学 中 北 大 学 图书分类号图书分类号_ _ 密级密级_ _ _非密非密_ _ udcudc 注注 1 1_ _ 硕硕 士士 学学 位位 论论 文文 基于基于 linuxlinux 的嵌入式多媒体播放器的设计和实现的嵌入式多媒体播放器的设计和实现 武颖武颖 指导教师指导教师_ _ 李博（副教授）李博（副教授） _ 申请学位级别申请学位级别_ _ 硕士硕士 _ 专业名称专业名称_ _ _ 精密仪器及机械精密仪器及机械 _ _ _ 论文提交日期论文提交日期_年年_月月_日日 论文答辩日期论文答辩日期_年年_月月_日日 学位授予日期学位授予日期_年年_月月_日日 论文评阅人论文评阅人_ 答辩委员会主席答辩委员会主席_ 年年 月月 日日 注注 1 1：注明国际十进分类法：注明国际十进分类法 udcudc的分类的分类 原原 创创 性性 声声 明明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。承担。 论文作者签名：论文作者签名： 日期：日期： 关于学位论文使用权的说明关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括：本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： 学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可 以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学 位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位 论文；学校可以公布学位论文的全部或部分内论文；学校可以公布学位论文的全部或部分内容（保密学位论文在解密容（保密学位论文在解密 后遵守此规定）。后遵守此规定）。 签签 名：名： 日期日期： 导师签名：导师签名： 日期：日期： 中北大学学位论文 i 基于基于 linuxlinux 的嵌入式多媒体播放的嵌入式多媒体播放器器的的设计设计与实现与实现 摘要摘要 随着嵌入式技术的成熟，各种嵌入式设备像智能手机、平板电脑等丰富了人们的日 常生活。嵌入式开发也成了现今电子计算机技术的热门领域。在此契机之下，本文作者 设计并实现了一款基于嵌入式 linux 的多媒体播放器，能够克服传统播放器不容易扩展 功能、支持多媒体格式有限、携带不方便等缺点。 本播放器采用三星公司生产的 s3c6410 arm11 芯片， 硬件平台使用核心板加底板设 计，配备了触摸屏、usb 接口、sd 卡接口、以太网接口。软件方面采用开源的嵌入式 linux 作为操作系统，开源软件 mplayer 作为播放器，并且使用 minigui 为播放器开发了 图形用户界面。 本文的主要内容有： （1） 前期理论学习：包括文献查阅、对嵌入式技术的研究、各种主流音频视频文 件的编解码研究。 （2） 硬件平台设计：了解所用开发板的主要模块，包括 cpu、nand flash、nor flash、sd 卡座、usb 接口、lcd、启动模式等；设计了串口红外接收电路，实现播放器 平台的红外遥控。 （3） 软件平台设计： 在论文中分两个部分给出， 操作系统平台移植和应用软件编 写。操作系统平台移植：给出了建立交叉编译环境的方法；linux 内核的配置和移植； 引导装载程序 uboot 的编译移植；yaffs2 文件系统的制作和移植。应用软件部分，说明 了播放器软件的设计过程与实现；为播放器建立图形操作界面的过程。 关键字：关键字：嵌入式，arm，linux，mplayer，minigui 中北大学学位论文 ii design and implementation of embedded multimedia player based on embeded linux abstract with the maturity of the embedded technology, lots of embedded devices liked smart phone, ipad enriches humans life. in nowadays, the embedded development becomes the popular research subjects of the computer technology. under this background, i designed and realized an embedded multimedia player based on embedded linux. the player can overcome the disadvantages of the traditional player which is difficult of expansion function, limited of support typys and hard to carry. the player observed with s3c6410 arm11 chip produced by samsung corporation. the hardware platform has core board and base board structure. it has lcd, sd interface , usb interface and ethernet interface. ithe player adopted real-time linux operating system as software platform, an open source software called mplayer as the player. the design develop the user interface by minigui. the main research work includes as following: （1） the previous research: including the literature consulting; the study of embedded technology; the study of the main stream image and voice codec. （2） the design of the hardware platform: the study of the boards main modules, including cpu, nand flash, nor flash, sd interface , usb interface, lcd, start-up mode and so on; designed the circuits of infrared receiving. （3） the design of the software platform: divided into two parts: transplanting a operating system and application software design. transplanting a operating system includes building the cross compile environment, the porting of arm linux kernel, the porting of uboot and the porting of yaffs2 root file system. the application software design describes the design and implement of the play software and the realization of graphical user interface. key words: embedded technology, arm, linux, mplayer, minigui 中北大学学位论文 1 目录目录 摘要 . i abstract . ii 1 绪论 . 1 1.1 课题的研究目的和意义 . 1 1.2 研究现状 . 1 1.2.1 嵌入式系统的研究现状 . 1 1.2.2 linux 在嵌入式领域的现状 . 2 1.2.3 arm 处理器简介及现状 . 2 1.2.4 linux 多媒体播放平台的研究动态 . 3 1.3 课题主要研究工作 . 4 1.4 论文结构 . 4 2 相关技术 . 5 2.1 嵌入式系统 . 5 2.2 音频视频文件格式 . 7 2.2.1 mp3 音频. 7 2.2.2 aac 音频 . 9 2.2.3 ac-3 音频 . 11 2.2.4 mpeg 视频 . 13 2.2.5 rm 视频 . 15 2.2.6 flash . 16 3 嵌入式多媒体播放器硬件平台 . 17 3.1 硬件平台总体设计 . 17 3.2 核心板设计 . 18 3.2.1 处理器 . 18 3.2.2 ddr 存储器 . 19 中北大学学位论文 2 3.2.3 nand flash . 20 3.3 底板设计 . 20 3.3.1 启动模式 . 20 3.3.2 nor flash . 22 3.3.3 接口设计 . 22 3.3.4 lcd . 26 3.3.5 红外遥控设计 . 26 4 嵌入式多媒体播放器软件平台 . 28 4.1 嵌入式开发流程及开发环境的建立 . 28 4.1.1 嵌入式开发流程 . 28 4.1.2 建立交叉编译环境 . 29 4.2 引导装载程序 bootloader . 32 4.2.1 bootloader 代码启动流程 . 33 4.2.2 编译 uboot . 33 4.3 linux 内核 . 34 4.3.1 配置内核 . 34 4.3.2 编译内核 . 37 4.4 移植 u-boot 和内核到开发板 . 37 4.4.1 制作用于烧写 linux 的 sd 卡 . 38 4.4.2 烧写 linux 到开发板的 nandflash 中 . 38 4.5 根文件系统 . 40 4.5.1 yaffs2 文件系统. 40 4.5.2 制作 yaffs2 文件系统 . 41 4.5.3 烧写 yaffs 文件系统 . 42 5 应用软件设计. 44 5.1 播放软件设计 . 44 5.1.1 mplayer 播放器原理 . 44 中北大学学位论文 3 5.1.2 初始化播放器 . 46 5.1.3 音频视频解码 . 47 5.1.4 mplayer 的移植 . 48 5.2 minigui 的移植与播放器图形界面设计. 51 5.2.1 minigui 的体系结构与运行模式 . 51 5.2.2 minigui 的移植 . 52 5.3 播放器图形界面开发 . 53 5.3.1 播放器应用程序结构 . 53 5.3.2 图形用户界面设计 . 54 5.4 播放测试 . 54 6 总结与展望 . 58 参 考 文 献 . 59 攻读博士（硕士）期间发表的论文及所取得的研究成果 . 64 致 谢 . 65 中北大学学位论文 1 1 1 绪论绪论 1.1 课题的研究目的和意义课题的研究目的和意义 进入 21 世纪以来，随着计算机多媒体技术和网络技术的飞速发展，嵌入式系统已 经成为电子产品的重要发展方向，使用嵌入式系统的设备从数量上已经远远超过了计算 机。日常生活中随处可见的手机、平板电脑、医疗仪器、汽车，以及工业控制、航天航 空等设备都用到了嵌入式系统。嵌入式技术是当前计算机应用领域最热门的研究方向之 一，移植嵌入式操作系统、开发设备驱动以及应用软件都是嵌入式开发的重点 1。 由于目前人们信息化网络化生活的需要，伴随多媒体压缩技术和网络传输技术的成 熟，开发实时可靠、多功能、数字化、操作简单用户友好的多媒体播放平台是通信、消 费电子的重要发展方向之一 2。本课题研究了网络流媒体技术及音频视频压缩技术，使 用 arm 嵌入式处理器搭配扩展功能模块， 并且通过裁剪移植 linux 操作系统设计实现出 一种新型多媒体播放平台。 这一播放平台体积小、 携带方便、 支持音频视频的格式多样， 克服了传统多媒体播放平台视频格式支持能力不足、扩展功能不足、按键使用不方便、 操作系统简单、开发环境不方便周期较长等缺点。 1.2 研究现状研究现状 1.2.1 嵌入式系统的研究现状 嵌入式系统的硬件方面，已经发展出相当多的成熟的底层硬件平台，各大公司都推 出了各种微处理器芯片，如 intel 公司的 xscale 系列、ti 公司的 c5470/c5471、三星公司 的 s3c6410 等。此外，许多公司还推出了用于学习和研发的各种配套开发平台。 支持嵌入式硬件平台的操作系统也已经发展的很成熟了，主流的嵌入式操作系统有 linux、wince、qnx、vxworks、symbian 和 android 等。我国的科研机构和公司也研发 中北大学学位论文 2 推出了嵌入式软件产品，像中科院的嵌入式操作系统 hopen，科银公司的软件开发平台 deltasystem。 嵌入式系统的产品层出不穷， 已经广泛应用于各个领，如在日常生活中的 mp3/mp4，atm 机、自动售货机；工业领域的工业控制等专用设备；通信领域的移动 通信设备、gps/gprs 等 3。 1.2.2 linux 在嵌入式领域的现状 linux 是类 unix 的操作系统(os)， 2000 年 2 月，red hat 首先发布了嵌入式 linux 的开发环境，标志着 linux 正式进入嵌入式行业。在所有的嵌入式操作系统中， linux 由于本身的种种特性成为嵌入式开发的最佳选择。嵌入式 linux 技术在今天发展得非常 成熟，开发者能够非常方便地定制适合大小的嵌入式 linux 系统，linux 系统支持绝大多 数的嵌入式硬件平台，这些优势使 linux 成为了嵌入式系统的主流。 uclinux是其中一种常用的嵌入式linux系统， 这种嵌入式系统舍弃了内存管理单元， 主要用于没有配置内存管理单元的微处理器，如三星公司的 s3c44box 中。在 uclinux 中，所有程序使用物理地址直接访问内存 4。 1.2.3 arm 处理器简介及现状 arm 微处理器即为采用 arm 技术知识产权(ip)核的微处理器， 目前已经广泛应用在 消费类电子产品、网络系统、通信系统、工业控制等领域。arm 微处理器在所有 32 位 risc 微处理器的市场份额中，占据了 75%以上，处于绝对优势。在中高端嵌入式应用领 域，arm 已经占据了主导地位，全球设计、生产 arm 芯片的公司己超过 50 家。市场上 最常见的arm 芯片有 arm9系列和 arm11系列。 arm 芯片支持绝大部分实时操作系统， 如 wince、linux、ucos、vxworks 等。 目前较新的也是本播放器使用的 arm11 拥有 8 级流水线结构，运行频率达到 500700mhz。根据市场的需求，arm 芯片的生产公司可以根据用户自己本身的需要对 中北大学学位论文 3 芯片进行封装。本播放器所使用的三星公司的芯片就封装了各种用户接口和控制器。 arm 芯片通过封装简化了硬件设计的流程，有效缩短了产品的设计周期 5。 1.2.4 linux 多媒体播放平台的研究动态 现在有三个课题是国内外多媒体播放器主要研究的方向：第一，使播放器更加容易 扩展；第二，设计小规模的专用嵌入式多媒体播放器；第三，向 linux 平台移植多媒体 编码技术 6。下面对上述课题的国内外研究现状进行说明。 1) 使播放器更加容易扩展。具体来说，就是播放器能够很方便地扩展新的媒体类 型和传输协议。目前国内还没有研发出自己的拥有可扩展性的多媒体播放器。国外应用 最广泛的可扩展性播放器主要有 real player 和开源软件 mplayer。在这一类软件中，解 码器以插件形式附着在播放器中工作， 第三方的开发者可以根据插件接口规范开发新的 解码器。但是这些软件只支持扩充新的媒体类型，传输协议无法扩充。 2) 设计小规模的专用嵌入式多媒体播放器。这一课题即为针对不同的客户需要的 媒体格式和协议开发专用的播放器系统。实现这一目的一般方法是配合相应的编码压缩 机制。视频监控系统以及网络直播系统多使用这种嵌入式播放器。 3) 多媒体编码技术的移植。主流的多媒体编码算法，如 rm、asf、wmv、wma、 mov 等，由于不属于国际标准，没有公开，移植存在着许多问题。国内对这一课题还没 有进行相关的研究，国外主要有两种技术路线：第一种是 linux 平台上的播放器使用最 多的方法，具体步骤是使用“win32dllplugin”命令调用 windows 下的 pe (portable executable)格式的解码器。例如遵循 gnu gpl 的播放器 xine 与 mplayer。但是，这种静 态仿真的调用方式缺点也很明显，执行效率较低、可靠性差，发布过程中软件的版权问 题也无法解决。第二种为直接研究流媒体格式与编解码算法，逆向工程(reverse engineering)就是为了这个目的创办的，这已经成为流媒体编码技术移植的发展趋势，但 是难度与工作量较大，实现起来不容易 7。 中北大学学位论文 4 1.3 课题主要研究工作课题主要研究工作 本课题主要研究内容的是利用 arm s3c6410 及 linux 操作系统搭建的一个嵌入式多 媒体播放平台，主要研究工作如下： 1) 研究嵌入式系统的硬件平台，了解目前主流 arm 系列，有针对性地选择处理器 及其他芯片并对其进行研究，根据需要设计周边电路； 2) 建立交叉编译环境，对 linux 系统进行裁剪与移植，包括 bootloader 移植、内核 移植以及根文件系统的制作； 3) 播放软件及其他软件编写与调试、图形界面的开发。 1.4 论文结构论文结构 本文一共分为六章。 第一章， 绪论。 主要介绍了本论文所述课题的研究目的和意义， 国内外的研究现状， 作者所做的工作以及论文内容安排。 第二章， 相关技术。 本章主要介绍了嵌入式多媒体播放平台开发使用到的相关技术， 包括嵌入式 linux 技术及嵌入式开发流程，主流音频视频的压缩标准。 第三章，嵌入式多媒体播放器硬件平台。本章主要介绍了所选用硬件平台的总体结 构以及各个模块的结构功能，红外遥控接收电路的设计。 第四章，嵌入式多媒体播放器软件平台。本章主要介绍了嵌入式多媒体播放器软件 平台的建立过程，包括交叉编译环境的建立，bootloader 移植，linux 内核的裁剪移植， 根文件系统的制作。 第五章，应用软件设计。主要介绍了 mplayer 播放器的编译移植以及 minigui 图形 接口的应用。 第六章，结论。本论文的总结，介绍了论文的工作及得出的相关结论，并提出进一 步发展的方向。 中北大学学位论文 5 2 2 相关技术相关技术 2.1 嵌入式系统嵌入式系统 嵌入式系统是指嵌入式计算机（embedded computer）及其应用系统。嵌入式系统 是以应用为中心，以计算机技术、微电子技术、控制技术和通信为基础，软硬件可以裁 剪的专用计算机系统。嵌入式系统主要由嵌入式微处理器、相关外围设备、嵌入式操作 系统及应用软件组成，见图 2.1。 图 2.1 嵌入式系统的组成 嵌入式系统具有如下特点： 面向用户、面向特定应用。嵌入式系统与通用型系统的最大区别为嵌入式系统 为特定需求设计，这是嵌入式系统的最大优势，体积小、功耗低、专用性强、集成度高。 嵌入式系统的硬件和软件需要进行高效精简的设计，去除冗余，尽可能在相同 的芯片面积上实现更高的性能。 为了提高系统运行速度和可靠性，嵌入式系统的软件一般都不存储在磁盘中， 而是选择固化在片内 rom 或存储器芯片中。 嵌入式系统对代码的安全性要求很高，因为嵌入式设备往往处在无人值守或条 件恶略的环境中。 嵌入式系统不具备二次开发的功能，需要专门的开发工具和开发环境 8。 应用软件 （mplayer 等） 嵌入式操作系统 （linux） 硬件设备 （嵌入式微处理器、外围设备） 中北大学学位论文 6 2.1.1 嵌入式 linux 嵌入式 linux 是指对标准 linux 操作系统进行小型化裁剪之后， 能够固化在容量仅有 几 kb 或者几 mb 的存储器芯片中， 适用于特定场合的专用 linux 操作系统。 嵌入式 linux 和 linux 一样，具有开源、多种硬件平台支持等优点， 为更好地适合嵌入式开发，嵌入式 linux 在 linux 基础上进行了内核结构的改善。 linux 内核采用整体式结构（monolithic），系统的各个部分直接进行沟通，响应速度很 快，但嵌入式系统存储容量小、资源有限，无法使用这样的操作系统。在嵌入式 linux 中，采用微内核（microkernel）的体系结构内核本身只提供最基本的功能，附加功 能根据需求进行取舍。这样可以最大限度减小内核的体积，便于维护和移植 9。 2.1.2 嵌入式系统开发流程 嵌入式系统的开发主要有三个方面，系统总体开发和硬件软件开发，总体流程图如 图 2.2 所示。 图 2.2 嵌入式系统开发流程图 系统总体开发中，首先要进行处理性选择，以更好的满足特定需求。然后进行开发 需求分析 系 统 总 体 框 架 处 理 器 选 定 操 作 系 统 选 定 开 发 环 境 选 定 硬件设计 硬件制作 硬件测试 软件设计 软件实现 软件测试 软硬件集成 功能性能测试 符合要求 产品 系 统 总 体 设 计 硬 件 设 计 制 作 软 件 设 计 实 现 y n 中北大学学位论文 7 环境的选择，包括操作系统的选择和开发工具的选择。本文选择了 arm11 作为处理器， 嵌入式 linux 作为操作系统。 2.2 音频视频音频视频文件格式文件格式 2.2.1 mp3 音频 mp3 是最流行的音频压缩格式之一，全称为 mpeg-1 layer 3。mpeg-1 layer 3 压缩 技术，将音频文件以 1:10 或者 1:12 的压缩率压缩为较小的文件，并且很好的保持了原 来的音质。1mb 经过 mp3 压缩编码的文件能储存一分钟 cd 音质的音乐，如果没有压 缩则需要 10mb 的存储空间 10。 1) 帧 mp3 文件由帧这一基本单位组成，帧的长度并不固定，有比特率、采样率和填充为 决定， 大小从几十到几百字节不等。mp3 帧由帧头、边信息、主数据以及辅助数据组成， 如图 2.3 所示。 图 2.3 mp3 帧格式 帧头：32 位，包含同步信息和状态信息。 sgncword：位于头信息开始，12 位，同步字位串“1111,1111,1111”。 id：1 位，算法标识位。“1”表示是 mpeg 音频；“0”表示保留。 layer：2 位。“11”代表第一层；“10”代表第二层；“01”代表第三层；“00” 表示保留。 protection_bit：1 位，显示音频比特流中是否有冗余。“1”表示有；“0”表示没 有。 bit_rate_index：表示比特率速率，全零值表示“任意方式”。 sampling_frequency：2 位。“00”表示 44.1khz；“01”表示 48 khz ；“10”表示 header side info main data ancillary data 中北大学学位论文 8 32 khz ；“11”表示保留。 padding_bit：1 位。“1”表示在 mp3 的一帧中含有一个额外的数据片，用来根据 平均比特率调整采样频率；“0”表示其他情况，且该位在采样率 44.1 khz 下有效。 private_bit：2 位，iso 专用使用位。“00”表示立体声；“01”表示增强立体声模 式或混合立体声模式；“10”表示双通道，“11”表示单通道。 mode extension：表示加入立体声的编码方式。 边信息 crc_check：16 位奇偶校验字，检测任意错误。 主数据 allocationsb：表示子带 sb 中采样点的比特个数，对两个模式下的子带有效，有效 的模式为单声道的子带和加入立体声模式的子带。 scalefactorsbgr：是一个无符号整数，由六个比特组成，表示子带因子，这些因 子要与子带 sb 中重量化采样点相乘，是用来检索子带因子表的一个索引。 scalefacsbgr：定标因子，染色量化噪声。 haffman_code_bits：霍夫曼码字。 辅助数据 ancillary_bit：辅助位。用户自行定义。 2) 编解码 mp3 的编码过程如图 2.4 所示。 图 2.4 mp3 编码过程 首先，将由一个声道出入的 pcm 音频信号送到多相滤波器组，分成等带宽的 32 个 pcm 音频 信号 32 子带滤 波器组 fft 1024 点 mdct 滤波器 心理声学 模型 失真控制 环 非线性量 化率控制 环 霍夫曼编 码 边带信息 编码 比 特 流 格 式 化 编码音频 信号 中北大学学位论文 9 子带，其中每个子带信号