[硕士论文精品]基于fpga的jpeg编解码芯片设计

摘要近年来，随着微电子技术的高速发展，数字图像压缩编码技术的逐渐成熟，实时图象处理在多媒体、FIDTV、图像通信等领域有着越来越广泛的应用，图像压缩解压的IC芯片也已成为多媒体技术的核心，实现这些算法芯片的研究成为信息产业的新热点。本文基于FPGA设计了JPEG图像压缩编解码芯片，通过改进算法优化结构，在合理地利用硬件资源的条件下，有效地挖掘出算法内在的并行性。在JPEG编码器设计中，改进了JEONG的DCT变换算法，采用流水线优化算法解决时间并行性问题，提高了DCTIDCT模块的运算速度；设计了基于查找表结构的定点乘法器，便于在设计中共享乘法单元，以适应流水线设计的要求；依据HUFFMAN编码表的规律性，采用并行查找表结构，用较少的存储单元完成HUFFMAN编解码的运算，同时也提高了编解码速度。在JPEG解码器设计中，根据HUFFMAN码字本身的特点和PEG标准，设计了一种HUFFMAN码字分组结构，基于该结构提出分组HUFFMAN查找表及地址编码的设计方法，进而完成了新的快速HUFFMAN解码算法及其模块设计。整个设计及其各个模块都在ALTERA公司的EDA工具QUARTUSII平台上进行了逻辑综合及功能和时序仿真。综合和仿真结果表明，基于FPGA的JPEG图像编解码芯片消耗很少的FPGA硬件资源，达到了较高的工作频率，在速度和资源利用率方面均达到了较优的状态，可满足实时JPEG图像编解码的要求。在逻辑设计的基础上，该设计可以进一步作硬件仿真和实验，将源代码烧录进FPGA芯片，作为独立器件或有自主知识产权的JPEGIP模块，应用于可视电话、手机和会议电视等低成本7PEG编解码系统的实现。关键词IC设计；IP模块；FPGA；JPEG；DOTIDOT变换；流水线；HUFFMAN编解码；分组查找表ABSTRACTINRECEUTYEARSWITHTHEFASTDEVELOPMENTOFELECTRONICTECHNOLOGYANDIMAGECOMPRESSIONTECHNOLOGY，REALTIMEIMAGEPROCESSINGISWIDELYUSEDINTHEFIELDOFMULTIMEDIA,HDTVANDIMAGECOMMUNICATIONATTHESAMETIME，THEICSOFIMAGECOMPRESSIONDECOMPRESSIONBECOMETHECOREOFMULTIMEDIATECHNIQUES，WHILETHERESEARCHABOUTTHEALGORITHMUSEDTODESIGNICSISTHENEWKEYPOINTININFORMATIONINDUSTRYTHISPADERPRESENTSANICDESIGNOFJPEGIMAGECOMPRESSIONDECOMPRESSIONBASEDONFPGATHROUGHIMPROVINGALGORITHMSANDOPTIMIZINGSTRUCTURESWITHCONDITIONSOFEFFICIENTLYUSINGOFHARDWARERESOURCE，THEUTILITYOFTHEPARALLELEDGORITHMISEXPLOITEDMOREOFFICIONYINTHEDESIGNOFJPEGCODER，JEONGALGORITHRNONDCTTRANSFORLNISIMPROVED，TLLEPROBLEMOFTIMEPARALLELISRESOLVEDWITHPIPELINEOPTIMIZATIONALGORITHMANDTHESPEEDOFDCTIDCTMODULEISACCELERATEDACCORDINGTOTHEORDERLINESSOFHUFFMANCODINGTABLET11EOPERATIONOFHUFFMANCODINGCALLBEFINISHEDUSINGLCSSSTOREUNITBASEDONPARALLELLUTLOOKUPTABLE，ATTHES032QETIME，THESPEEDOFCODINGISIMPROVEDINTHEDESIGNOFJPEGDECODER，ACCORDINGTOTHECHARACTERISTICSOFHUFFMANCODEANDJPEGSTANDARD，ACLUSTERINGSTRUCTUREOFHUFFFNANCODEISDESIGNEDBASEDONTHESTRUCTURE、ADESIGNMETHODFORLUTOFHUFFMANCODEANDADDRESSCODINGISGIVEN，血ENTHEDESIGNSOFANEWALGORITHMABOUTFASTHUFFMANDECODINGANDTHEHARDWAREMODULEBASEDONTHEALGORITHMAREWORKEDOUTTHEFULLDESIGNANDEACHMODULEARESYNTHESIZEDINLOGIC，T量LENARESIMULATEDINFUNCTIONANDTIMINGONQUARTUSIIEDATOOLDESKOFALTERACORPTHERESULTOFSYNTHESISANDSIMULATIONINDICATETHATTHEICDESIGNOFJPEGIMAGECOMPRESSIONDECOMPRESSIONBASEDONFPGACANGIVEABETTERPERFORMANCEONSPEEDANDRESOURCEUSINGWIMLESSHARDWARERESOURCEANDAHI曲ERFREQUENCY，ANDCANMEETTHEREQUIREMENTOFREALTIMEAPPLICATIONOFJPEGIMAGEPROCESSINGBASEDONTHEDESIGN，H缸DWARESIMULATIONCANBEDONEINTHENEXTSTEP，ANDTHENTHESOURCECODECARLBEDOWNLOADEDINTOFPGA。ASASEPARATEDJPEGDEVICEORIPMODULE，THEDESIGNCANBEAPPLIEDTOLOWCOSTSYSTEMOFJ'PEGCOMPRESSIONDECOMPRESSION，SUCHASCELLPHONE，VISIONPHONEANDCONFERENCETVKEYWORDSICDESIGN；LPMODUIE；FPGA；JPEG；DCTIDCTTRANSFORMPIPELINEHUFFMANCODINGDEEODING；CIUSTERINGLUTII茎±盟翌坚塑坚旦苎苎燮1绪论随着多媒体技术在计算机领域的广泛应用，用户在其应用程序中要求更大的图形容量和更高的图像质量，这导致了数据量的迅速增大。因此，在数字电视广播、可视电话通信、数字图像处理等多媒体技术领域中，碰到的首要难题就是数据量太大，无论是进入计算机处理、还是保存图像数据都非常困难，尤其是图像传输困难就更大了。近十年来，数字图像视频压缩技术取得了突破性进展，但是，图像压缩技术主要还是在通用计算机或DSP芯片上利用软件实现，而软件的串行性已不能满足实时处理对速度的要求，图像压缩越来越成为实时处理系统提高运行速度的主要瓶颈。于是，图形图像处理芯片的研究开始成为多媒体技术发展的核心。这样，实时处理的速度问题可以从并行性出发来解决，在合理地利用硬件资源的条件下，有效地挖掘出算法内在的并行性，往往能够在较低的主频下获得很可观的执行速度。这种速度的提高来自于器件的可定制，是多个处理单元并行处理的结果。这显然是另外的软件实现方式所不能比拟的。JPEG标准作为图像压缩编码的一项重要技术，不仅适用于静止图像的编码，其分支MJPEG也适用于低成本场合的运动图像编码。现在的图像显示卡已发展到高速处理3D图像的水平，但是对静止图像JPBG压缩的评测仍是一项基本指标。可见，JPEG图像压缩技术是图像处理的一项重要技术，它的发展对图像处理，尤其是图像压缩技术的发展具有重要意义。而且，在一些移动平台图像压缩传输的场合，信道衰落严重，为避免误码扩散引起图像质量劣化，经常采用无帧间预测的MJPBG算法，希望图像分辨率和帧率可根据信道情况改变。为同时满足图像压缩的实时性、可靠性和灵活性要求，需用专用集成电路来完成JPEG算法。事实上，关于JPEG图像芯片完整结构的论述是并不多的。从一些可得到的商用图像芯片的相关信息中，我们可以看出要做的工作还是很多的。例如，这类芯片的通用性较强，速度和面积达到了较优的配置，但由于其功能过于强大，在某些特定的领域，通用芯片往往得不到充分的利用，许多功能被闲置，造成资源浪费、成本增加。因此，利用已有的高密度FPGA器件和BDA工具，在较短的时间内开发出高质量的相关IP知识产权INTELLECTUALPROPERTY模块和高性能的专用芯片，灵活适应市场要求，是有一定实际意义的。本文自行设计的JPEG编解码芯片可以自成系统满足JPEG图像相关应用，也可以作为独立的IP模块，应用到其他含相关算法的专用图像处理芯片中。下面将简要介绍一下本文可能用到的相关技术、标准及其发展和应用背景。11多媒体数据压缩技术及相关标准随着现代通信技术的飞速发展和通信业务的不断拓展，多媒体通信已经成为通信业务发展的必然趋势，并已经曰濒成为人们进行信息交流的基本方式之一。传统的语音服务已经不能满足需求，图像信息传输已经成为现代通信系统所应提供的基本服务。人们一直期盼实现远距离的图像通信，通过可视电话、手机和会议电视等形式实现话音和图像的同步传输。但是，图像所含的数据量大大超过了语音的数据量，传输带宽也大大超薹量旦坠塑翌望叁堡堡堇笪垦盐一过语音的传输带宽。随着数据压缩技术的发展，使经过压缩处理后的图像信号带宽大大减少，从而可以在一般的通信系统中传输图像。数字视频和图像压缩编码技术的研究，已历经半个世纪，在理论和工程上都取得了很多成果。迸入20世纪90年代，在国际标准化组织ISOINTERNATIONALSTANDARDIZATIONORGANIZATION和国际电信联盟ITUINTERNATIONALTELECOMMUNICATIONUNION等国际组织的协调下，对视频和图像编码的成果进行了收集、整理、综合和加工，制定了几个通用的压缩编码标准，包括适用于二值图像的JBIG、用于连续灰度和彩色静止图像的JPEGJOINTPICTUREEXPERTSGROUP、用于64K视频传输的H261、面向15M数字视频和音频传输及存储的MPEG一1MOVINGPICTUREEXPERTSGROUP，面向高品质数字视频和音频传输及存储的忡EG一2，以及适于低码率视频编码的H263。这些标准的算法主要由四类技术混合构成，即正交变换、量化、熵编码和运动补偿。1JPEG标准JPEGJOINTPHOTOGRAPHICEXPERTSGROUP是联合图像专家小组的英文缩写。这个小组开发研制除连续色调、多级灰度、静止的数字图像压缩编码方法，这个压缩编码方法称为2PEG算法，被确定为JPEG国际标准。它是以DCT变换和变长编码为基础的。JPEG标准不仅适用于静止图像的编码，也同时适用于运动图像的帧内图像的编码，是数字视频和图像压缩编码技术发展的基础。2H261建议和H263建议H261。1标准是由ITUT第十五研究组为在窄带综合业务数字网NISDN上开展双向声像业务会议电视、可视电话而制定的，它是视频压缩方面提出的第一个标准，目标是把数字视频速率压缩到64KBS2048胁S。H261只对CIF和QCIF两种图像格式进行处理，编码算法由DCT离散余弦变换、运动补偿和霍夫曼编码组成，由于该标准用于实时业务，为减小编解码延时，它的帧间预测只采用了前向预测即P帧预测。为了满足近年来在普通公用电话网和移动电话网上进行可视电话通信的需要，即视频压缩信号速率小于64KBS，ITUT在H261建议基础上进行改进，于95年提出了H263建议。3一“甚低码率通信的视频编码”。它与H261的主要区别就是引进了半像素精度的运动估计，添加了一些可选项，如双向预测的B帧、用基于句法的算术编码代替霍夫曼编码等等。3MPE5标准MPEG委员会的活动始于1988年，其目标是对视频及其伴随的音频，对数字存储媒质制定一个标准。MPEG一1于1992年正式发布，它的主要指标是在数字存储介质中实现对活动图像和声音的压缩编码，编码码率最高为每秒15兆比特，标准的正式规范在ISOIECILL72中。MPEG一1是一个开放的，统一的标准，在商业上获得了巨大的成功。尽管其图像质量仅相当于VHS视频的质量，还不能满足广播级的要求，但已广泛应用于VCD等家庭视像产品中。MPEG一2”。可理解为MPEG1的进一步发展，它选择的速率是4LOMBS，MPEG一2的成2基于FPGA的JPEG编解码芯片设计功之处在于开发了通用的压缩编码方法，是一种规范化的全系统，可满足不同的图像分辨率和存储成本和处理速度的需要。MPEG一2主要应用于广播电视、DVD以及高清晰度数字电视HDTV，还可应用于交互式的点播视频VOD，此外，还能适配于ATM这种新兴的宽带通信网。MPEG2是视频和音频信号数据压缩国际标准MPEGI的扩展，直接面向高数据率的广播格式，提供了有效的隔行视频信号编码算法，支持宽范围的比特率。MPEG一46】为多媒体应用标准1999年发布，它在MPEG一2基础上作了很大的扩充，主要目标是多媒体应用主要侧重于对多媒体信息内容的访问。MPEG一4标准是一种适用在低带宽下进行信息交换的音视频处理技术，可以解决MPEGL和MPEG一2在码率很低时的图像失真问题，它能够动态侦测图像各个区域变化，利用很窄的带宽通过帧重建技术压缩和传输数据，从而能以最少的数据获得最佳的图像质量，因此非常适用于动态图像、互联网、实时多媒体监控、移动多媒体通信、可视游戏、DVD上的交互多媒体应用等应用。它的主要特点是对图像中的内容进行编码，其具体的编码对象就是图像中的音频AUDIO和视频VIDEO，称为AV对象。高效率地编码、组织、存储、传输AV对象，是MPEG4标准的基本内容。MPEG一4具有开放的编码系统，可以随时加入新的有效算法，为多媒体数据提供了一个更为广阔的平台，它定义的是一种格式、一种构架，而不是具体的算法。MPEG一7称为“多媒体内容描述接口”，其应用包括数字图书馆DATALIBRARY。图像分档、音乐词典、多媒体编辑等。其目的是生成一种用来描述多媒体内容的标准，这个标准将对信息含义的解释提供定的自由度，可以被传送给设备和电脑程序，或者被设备或电脑程序查取。MPEG7并不针对某个具体的应用，而是针对被MPEG一7标准化了的图像元素，这些元素将支持尽可能多的各种应用。建立MPEG一7标准的出发点是依靠众多的参数对图像与声音实现分类，并对它们的数据库实现查询，就象我们今天查询文本数据库那样。12集成电路技术发展及其现状自1958年美国德克萨斯仪器公司TI、仙童公司独立发明第一块半导体集成电路以来，经过四十多年的发展，微电子产业已成为当代高新技术产业群的核心和维护国家主权、保障国家安全的战略性产业。在市场需求与技术进步的不断推动下，微电子技术已由初始的小规模集成SSI发展到当前的巨大规模集成GSI，其影响己渗透到国民经济和社会的各个领域。由于微电子产业发展的拉动，以计算机、通信、网络为代表的信息产业得以迅猛发展，使得美国经济保持持续增长，日本发展成为世界第二大经济大国，韩国、新加坡与我国的台湾地区也取得经济飞速发展的奇迹。121LC技术的发展及重要地位自20世纪60年代中期集成电路产业在工业发达国家形成以来，集成电路技术的发展一直遵循著名的摩尔定律，即每18个月芯片集成度大体增长一倍。随着集成电路技术的不断发展，集成电路产品经历了从传统的板上系统SYSTEMONHOARD到片E系统SOCSYSTEMONACHIP的过程。集成电路产业为适应技术的发展和市场的需求，产业结构经历了三次大的变革，直接导致了集成电路设计业的形成。基于FPGA的JPEG编解码芯片设计第一次变革；以加工制造为主导的IC产业发展的初级阶段。70年代，集成电路的主流产品是微处理器、存储器以及标准通用逻辑电路。这一时期IC制造商IDM在IC市场中充当主要角色，IC设计只作为附属部门而存在，这时的IC设计和半导体工艺密切相关。70年代后期，以美国为代表的半导体厂商为了降低成本，将所需劳力较多而技术含量又较低的封装与测试工序分离出来，转移到远离本土的欠发达国家或地区生产加工如韩国、台湾地区，集成电路产业开始逐步形成封装业单独分列的局面。第二次变革FOUNDRY公司与IC设计公司的崛起。80年代，集成电路的主流产品为微处理器LPU、微控制器MCU及专用ICASIC。这时，无生产线的IC设计公司FABTESS与标准工艺加工线FOUNDRY相结合的方式开始成为集成电路产业发展的新模式。在这一阶段，随着微处理器和PC机的广泛应用和普及特别是在通信、工业控制、消费电子等领域，IC产业已开始进入以客户为导向的阶段。为了改善系统的速度和简化程序，各种硬件结构的专用集成电路如可编程逻辑器件FPGA、标准单元、全定制电路等应运而生；此外，随着EDAELECTRONICDESIGNAUTOMATION工具的发展，PCBPRINTEDCIRCUITBOARD设计方法引入IC设计之中，设计开始进入抽象化阶段，使设计过程可以独立于生产工艺而存在。有远见的整机厂商和创业者包括风险投资基金纷纷开始成立专业设计公司和IC设计部门，从而一种无生产线的集成电路设计公司或设计部门得到了迅速的发展，同时也带动了FOUNDRY的崛起。第三次变革四业分离的IC产业。90年代，随着INTERNET的兴起，IC产业跨入以竞争为导向的高级阶段，国际竞争由原来的资源竞争、价格竞争转向人才知识竞争、密集资本竞争。人们逐渐认识到，越来越庞大的集成电路产业体系并不有利于整个IC产业发展，分才能精，整合才成优势。于是IC产业结构向高度专业化转化成为种趋势，开始形成了设计业、制造业、封装业、测试业独立成行的局面。当今世界经济已从工业化进入信息化的发展阶段，微电子技术是高科技和信息产业的核心技术，成为当前新经济时代的基础产业。它在国民经济、国防建设以及现代信息化社会中起着极其重要的战略意义。国际微电子发展的趋势是集成电路的特征尺寸将继续缩小，集成电路IC将发展为系统芯片SOC。微电子技术和其他学科相结合将产生很多新的学科生长点，与其他产业结合成为经济增长点。芯片是信息时代最重要的基础产品之一，如果把石油比作传统工业“血液”的话，那么芯片则是信息时代IT产业的“心脏”和“大脑”。无论是小到日常生活的电视机、VCD机、洗衣机、移动电话、计算机等家用消费品，还是大到传统工业的各类数控机床和国防工业的导弹、卫星、火箭、军舰等都离不开这小小的芯片。122我国集成电路产业的发展现状我国的微电子产业至今已整整走过了30多个春秋，近10多年来，重点项目建设和广泛的国际合作，使产业的技术水平、生产规模和应用领域迅速提高和扩大，实力大为增强，然而与同期内突飞猛进、日新月异的世界微电子产业相比，我国微电子产业的技术水平还比较落后，产业内部结构不合理，设计企业规模太小，制造企业难以开展规模4基于FP趴的”EG编解码芯片设计化经营。此外，前些年我国的电子产品虽然发展很快，但几乎所有国产大型家用电器的关键芯片、国产手机的核心芯片、国产计算机的主要芯片，大都不是国产的。其中的原因是，我国在集成电路IC领域里最能体现核心竞争力的IC设计相对十分薄弱。尽管九十年代以来，我国集成电路设计业得到了长足发展，产业化规模已初步形成，但是设计人才特别是高级人才的极度匮乏的问题日益突出。抓住当前世界微电子产业发展的机遇，在世界范围内积极争取技术、资金和管理要素投入中国，是我国信息产业发展的当务之急。我国政府非常重视IC设计产业的潜力与未来发展，将IC设计产业列为国家高科技重点发展产业，给予各种优惠等政策，在2001年发布的十八号文件J中，也特别强调加速包括IC设计与软件产业发展，并号召在美国硅谷发展的人才回国创业，以丰富IC产业的实力。众所周知，集成电路芯片设计是整个集成电路产业链中最关键的一环，是体现芯片创意、知识产权与专利技术的最重要的载体。在我国加入WTO后，以集成电路为核心的电子产品行业必然面1昕一轮更加激烈的竞争，目前我国许多整机企业主要还是以组装形式组织生产，关键技术主要依赖国外公司提供的芯片和产品设计。面对这种尴尬的局面，着手进行核心芯片及其应用产品的自主开发，徽到从芯片开发着手，拥有自主的知识产权从而真正掌握市场竞争的主动权，已是刻不容缓。中国集成电路设计企业目前设计研发产品主要分布在以下领域EDA软件工具、IC卡专用集成电路电话IC卡、身份证卡芯片等、家用电器类专用集成电路MCU芯片、MPEG2芯片、EVD芯片等、计算机通讯领域芯片手机SIM卡，3G芯片、嵌入式CPU、数字视频处理芯片、MPEG4芯片、无线局域网芯片等。其中重点开发产品应该有数字视音频产品，包括数字电视DTV、DVDSVCDVCD，机顶盒STB、高清晰度电视IIDTV；网络产品主要是指INTERNET接入和接出设备；通讯产品，如GSM、CDMA手机、BLUETOOTH产品等。123IC技术在多媒体方面的应用众所周知，人类通过视觉获取的信息约占其总信息量的70，视频信息具有直观性、可靠性等一系列优越性，在技术进步和用户需求的推动下，人们对信息通信和存储的要求已不仅仅限于传统的语音和文本信息，图像静止和视频活动图像信息的存储与传输己经成为各种渭费类电子、通信和计算机领域的应用热点。但是隧着图像处理数据量的增大，用软件实现图像数据的编解压已经不能满足图像的实时处理要求，用硬件实现图像处理算法已经成为必然趋势。图像压缩标准的建立以及超大规模集成技术的发展使图像编解码算法的硬件实现成为可能。鉴于3G手机多媒体是今后几年信息产业和通信产业高速增长的一个热点，多媒体处理器将广泛应用于高清电视机，影碟机，摄像机，智能终端等信息家电和互联网络。图像压缩解压的IC芯片已成为多媒体技术的核心，世界各大电子研究机构都致力于实现这些算法芯片的研究。我国是世界上最大的传统电视的生产和消费国，但电视中的关键部件和芯片，主要依赖国外进口，有的甚至直接使用国外芯片的开发板进行生产。因此，虽然生产厂家很多，产量也很大，但产品的技术附加值很低，不能掌握其关键技术和设计思想，很难形成我国拥有自主知识产权的信息产业。中国2001年开始制定数字电视标准，2005年将进行数字电视的商业播出，2008年用数字电视转播奥运会，2015年停播模拟信号。2008年北京奥运会数字奥运基于FPGA的JPEG编解码芯片设计的电视转播将大量采用数字化方式，而且我国现有数字卫星电视接收机将来允许普通用户接收后，数字电视也会大量发展。在数字电视接收机的芯片组中，核心芯片是信道接收芯片和信源解码芯片。其中信道接收芯片是集中反映我国自主知识产权核心技术和体制标准特点的关键芯片，自然必须由我国自行设计和研制。而信源解码芯片是用途广泛，模式多样，控制灵活，最具开发价值和市场潜力的关键芯片，它不仅可用于国内市场，而且还可用于国外市场。为此，我国必须形成基础平台的设计与实现能力。综上所述，数字电视相关多媒体芯片的设计开发工作，是自主发展我国电子行业的必由之路，也是振兴我国消费电子产业的关键一步，是真正实现数字电视产业化的实质和根本。它对于打破国外的技术垄断和振兴我国的民族产业都具有极为重要的现实意义。因此从某种意义上来说，数字电视产业发展的意义在于它将引发一场信息技术的革命，从而推动我国电子信息产业的更新换代。13本文主要研究内容和章节安排131主要研究内容近年来，伴随着微电子技术的高速发展，数字图像压缩编码技术的逐渐成熟实时图像处理在多媒体、HDTV、图像通信等领域有着越来越广泛的应用，图像压缩解压的IC芯片也已成为多媒体技术的核心，实现这些算法芯片的研究成为信息产业的新热点。JPEG标准作为图像压缩编码的一项重要技术，不仅适用于静止图像的编码，其分支MJPEG也适用于低成本场合的运动图像编码。而且，在移动平台图像压缩传输的场合，信道衰落严重，为避免误码扩散引起图像质量劣化，经常采用无帧间预测的MJPEG算法，希望图像分辨率和帧率可根据信道情况改变。为同时满足图像压缩的实时性、可靠性和灵活性要求，需用专用集成电路来完成JPEG算法。JPEG图像编解玛器包括离散余弦变换DCTIDCT、量化逆量化、HUFFMAN编解码器等几个部分，每一部分实现的优劣都直接关系到图像的实时解码性能。本文的具体工作主要包括以下内容1DCTIDCT硬件算法，改进了传统的DCT硬件实现算法，采用流水线优化算法解决时间并行性问题，提高DCTIDCT模块的运算速度，减小延迟。设计了基于查找表结构的定点乘法器，便于在设计中共享乘法单元，以适应流水线设计的要求。这套算法本身的乘加次数很少，通过共享和流水线等优化算法，在节约硬件资源的同时大大的提高了处理速度，从而满足了快速、高效JPEG解码器设计要求。2HUFFMAN编码运算，依据HUFFMAN编码表的规律性，采用并行查找表结构，用较少的存储单元完成HUFFMAN编解码的运算，即DCT系数与HUFFRAAN码字的对应转换，在节省硬件资源的同时提高了编解码速度；对设计中的关键路径字长计算单元进行分析，选用选择器编码单元来实现，解决了HUFFMAN编码模块的速度瓶颈问题。3HUFFMAN解码算法由于是变长编码，压缩后产生的码字长度不固定，因而在硬件6茎三坠望堡坠叁竺里堇兰堡生一实现上存在一定难度。本文根据HUFFMAN码字本身的特点和JPEG标准，提出一种HUFFMAN码字分组结构，基于该结构提出分组HUFFMAN查找表及地址编码的设计方法，进而提出了新的快速HUFFMAN解码算法及其模块设计。该解码算法可一次寻址得到行程类别和HUFFMAN码字字长，省去了单独计算字长的时间，内存也得到了优化使用，在速度和资源利用率上找到了较好的结合点。132章节安排论文全文共分六部分第一章为绪论，简单介绍了图像压缩技术及相关标准，国内外集成电路技术发展、现状及其多媒体方面应用。第二章介绍了JPEG图像压缩的基本原理和方法，详细论述了图像压缩中所使用的一些关键技术。第三章重点论述了JPEG图像编解码系统，从整体上对JPEG图像编解码系统和编解码器进行了分析，对编解码器硬件设计中涉及的问题，用到的关键技术分别进行了简要讨论。第四章是JPEG编码芯片设计，在确定了编码芯片总体设计方案的基础上，分别阐述了离散余弦变换模块、量化排序模块、HUFFMAN编码模块和编码整理输出模块的设计实现及仿真。其中重点研究了DCT硬件算法一JEONG算法的硬件实现，定点乘法器设计，以及HUFFMAN编码算法的硬件实现。第五章根据解码芯片总体设计方案，对HUFFMAN解码模块包括码流整理模块、解码模块和解码输出模块三部分、反量化行程模块和IDCT模块分别进行了论述，设计实现并通过仿真。其中详细阐述了一种快速HUFFMAN解码算法的设计，包括码字分组结构和查找表及其地址码设计。第六章论述了JPEG编解码器硬件仿真的必要性，并给出了硬件平台仿真的设计方案，最后对本文工作进行了总结并论述了多媒体芯片未来的发展。基于FPOA的JPM编解码芯片设计2JPEG图像压缩的基本原理和方法21静止图像压缩标准JPEGJPEG是联合图片专家组JOINTPHOTOGRAPHICEXPERTSGROUP的英文缩写，它是国际标准化组织ISO和国际电信联盟ITU的联合技术小组，于1986年底成立，其任务是为连续色调灰度或彩色静止图像压缩制定通用的国际标准。JPEG标准包括图像编码和解码过程以及压缩图像数据的编码表示。在1987年6月用电视测试图像进行了不同方案的主观实验测试后，从12个候选方案中筛选了3个方案，并对其进行了改进。1988年进行了最终测试和评选，结果是自适应的大小为8X8的离散余弦变换DCTDISCRETECOSINETRANSFORM方案最佳。1988年至1990年，JPEG进行了大量细致的工作，于1991年3月正式提交了ISOCDL0918建议草案。随着多媒体应用的不断扩大，尤其是INTERNET应用和无线通信的发展，对于多媒体传输的要求越来越高，而静止数字图像的压缩编码是整个多媒体视频技术的基石，因此，全世界无数的学者专家正不断完善已有标准并开发研究新算法。1997年3月，国际标准化组织ISO国际电工委员会IECINTERNATIONALELECTROTECHNICALCORMISSION第一联合委员会第29分委员会语音、图形、多媒体和超媒体编码委员会第一工作组静止图像编码组又开始征集新一代静止图像压缩标准JPEG2000方案，结果，有22种方案应征参与竞争，180IEC对上述方案进行了测试，从主观方面和客观方面作了比较，同年11月，开始建立验证模型VERIFICATIONMODEL。该验证模型在多次核心实验过程中将不断被修正，最终形成JPEG2000标准。JPEG标准是一个适用范围很广的通用标准，既可以用于灰度图像，又可以用于彩色图像，可以支持各种应用。JPEG系统可采用两种符号编码方法HUFFMAN码和算术码，采用四种工作模式基于DOT的顺序型工作模式，基于DCT的渐进型工作模式，无失真编码工作模式和多分辨率工作模式。JPEG系统分为基本系统和扩充系统，一般JPEG是采用顺序编码方式的基本系统。顺序编码可以使编解码设备的缓冲群降到最小限度，从而降低了设备的价格。基本系统由DCT的顺序型工作模式及HUFFMAN码组成，所有符合JPEG标准的设备必须具备基本系统，扩充系统提供不同的选项，即除基本系统外的其它编码方式，如渐进型编码、算术无失真编码、分层编码等等。本文涉及的是每象素点以8位表示的基于DCT顺序型工作模式BASELINESEQUENTIALCODEC的图像处理，其压缩与解压缩过程都是以88个象素的图块为数据处理单位，熵编码阶段使用HUFFMAN编码方法来降低冗余度。这种方法能提供高达I001的压缩比，且能够保证可接受的重建图像质量，简单且易于交流，所以应用广泛，是基于离散余弦变换DCT和可变长编码VLC压缩技术的最基本最重要的方法。JPEG编解码器系统的结构框图如图21所示。以DCT为基础的编码过程，实际上是在消除图像中的相关性，或者说消除图像中的冗余度，静止图像中的冗余度包括以下三种第一种是编码冗余度。即通过统计码流码字的规律性，采用一定的算法压缩码流。基于FPGA的JPEG编解码芯片设计HUFFMAN嫡编码就是消除编码冗余度。第二种是图像帧内空间冗余度。DCT变换和矢量量化用来消除图像帧内空间冗余，同时，直流系数采用差分编码是消除相邻子图像间的灰度或亮度冗余度第三种是心理视觉冗余度。用量化表去归一化OCT系数，就是利用人眼对各种空间频率，包括亮度，色度，纵横方向的高频，低频的敏感程度不同，从而减少和消除部分数据，达到数据压缩的目的，或降低传输位率，同时又不损害心理视觉对图像的主观评价，充分利用心理视觉冗余度对图像数据进行压缩。0JPEG压缩过程图21JPEG压缩和解压缩过程FIG21JPEOCOMPRESSIONCODINGANDDECODING在编码过程中，首先输入的原始图像被分为一个个含有88像素的小块，JPEG对每个小块进行二维DCT变换后，对数据进行量化。量化的步长与频率有关，量化引入了信息的损失，但带来了较高的压缩率。然后对量化后的直流分量进行小块问的差分编码，对交流分量进行之字形排列，最后，JPEG对直流分量的差分编码进行HUFFMAN编码，对交流分量则先采用行程编码，然后再进行HUFFMAN编码。由于DCT编码有失真，故重建图像不能精确的再现原图像，其图像的失真程度与压缩比密切相关。22FDCT和IDCT变换PEG基本系统是以DCT为基础的，由于采用固定的88的方块，所以标准中采用88点的二维DCT。离散余弦变换DCT是指将一组光强数据转换成频率数据，以便得知强度变化的情形。FDCT和IDCT的公式如下如VI1COCV焉7萎7如Y,COS警7LOCOS枣1竽1眨，叶J；O，；OLOI舳V丢壹XO抓YO帅啪COSL学1COS掣1CZZ，叶DJLOL基于FPGA的JPEG编解码芯片设计式中，CG彤唿手卸从上述公式可知，FDCT与IDCT是非常费时的运算，为了减少FDCT和IDCT算法中乘法和加法的使用次数，各种快速的DCT算法被研究出来，这样大大降低了JPEG计算复杂度。在压缩时，将源图像数据分成许多数据单元，然后经过零偏置将每一个取样值从0255转换到一128127，再做FDCT处理。FDCT将每个数据单元的值转换为64个OCT系数，第一个系数称为直流系数DC，其余63个系数称为交流系数AC。在解压缩时，经IDCT将64个DCT系数转回为88的数据单元，再将带符号的取样值加上128，从而恢复成无符号取样值，以便组合成为完整的数据图像。在JPEG基本系统中，FX，Y为8比特像素，即取值范围为O255。此外，JPEG是开放式的，对于DCT，在应用中可以采用任何一种快速算法。23量化和反量化DCT是一个无损变换，只要正、反变换所用的设备计算精度足够高，且未经量化，那么原始的样值能精确的恢复。经DCT变换后没有压缩数据，反而使原本是整数样值的矩阵变为非整数系数矩阵，因此要对系数进行量化，量化是对DCT系数进行压缩的关键一步，这是利用降低DCT系数精度的方法来去除不重要的系数，从而减少数据量。将DCT系数按比例缩小，并取其最接近的整数值的处理过程称为量化，量化过程就是每个DCT系数除以各自的量化步长并取整四舍五入，得到量化系数。广一，、1鼬V肿L燃05I23LOW，”，J反量化则是在解码器中将量化过后的数据再按原比例恢复为最接近原始DCT系数值的处理过程FF恤，V声B，V24其中S0，V为量化步长。基本系数采用线性量化方法对DCT系数进行量化，直流分量和各交流分量可用不同量化间隔量化，低频分量量化得细些，高频分量量化得粗些。Y、U、V也可用不同的量化表，Y细量化，U、V粗量化。JPEG规范中，Y数据和CB、CR数据各有一个88的推荐量化表灰度图像所用亮度推荐表见表21，根据具体要求可以构造专用的量化表，但量化过程和逆量化过程应使用同样的量化表。量化是在图像文件品质与压缩比例之间做一选择的重要过程，而这也就是JPEG所谓的失真压缩方式，为了提高画面质量，用小的量化值除，然而这时压缩率却降低。相反地用大的值除，因有效位减少，压缩率变大，然而画面质量变差。JPEO通过对每个DCT系数的量化步长的设计，将人类视觉特性结合进压缩的过程。苎三堕塑旦坚塑堑塑苎笪堡盐一根据人跟视觉系统的频率响应，随空闻频率豹增加而下降。补偿选择原则为对于频率较低的系数，由于其方差较大，即动态范围较大，需要较小的量化步长才能以很小的失真代价来表述该系数所包含的信息，同理对于频率较高的系数，步长要大一些。JPEG为亮度推荐了亮度量化表。量化处理是一个多到一的映射，是在图像文件品质与压缩比例之间做一选择的重要过程，由于HUFFMAN编码是无损的，量化是造成DCT编解码信息损失的根源，这种损失是不可逆的，也就是说，反量化后无法补偿，所以DCT压缩编码属于有失真压缩编码一类。表21PEG推荐亮度量化表TABLE21THECOMMENDATOZYQUANTITYTABLEOFJPEG24HUFFMAN编码基于DCT编码的最后一步是HUFFMAN编码，根据量化系数的统计特性，对量化后的DC系数和AC系数作HUFFMAN编码，以进一步获得附加的压缩，这一级的压缩是无损压缩。HUFFMAN编码是一种基于概率统计的无损压缩技术，其算法简单，具有非常接近理论极限的压缩比，一直被广泛地应用于各种压缩场合，如JPEG、搬EG、MP3等。HUFFMAN编码算法将信源符号出现的概率按由大到小的顺序排列，然后按相反的顺序分配码字的长度，在形成码字时，遵循着任何一个长码字都不属于另外两个短码字复合而成；而任四个短码字不允许是一个长码字之前缀妁要求，防止在接牧端产生码字混淆。该方法将欲压缩编码的符号以另一套不定长的即时码表示。按统计结果，出现概率高的符号使用短即时码表示，出现概率低的用长即时码表示，以达到压缩的目的。HUFFMAN编码分为两步，第一步把量化系数转换成可变长度码VLC和可变长度整数VLI的过渡符号序列，第二步把过渡符号转变成数据流，在这个数据流中，符号就不再有形式上可识别的边界，对DC系数和AC系数分别采用不同的HUFFMAN编码方法。因为在连续色调的图像中，本数据块与前一数据块的DC系数的差值多半比原值小，对差值进行编码所需的位数，会比对原值进行编码所需的位数少许多，因此DC采用种称为差值脉冲编码调制DPCM的差值编码法，也就是在同一图像分量中取每个DC值与前一个DE值PRED的差值来编码DIFFDCPRED，DIFF转换成中间符号VLCSSSS和VLIVVVV，VWV就等于DIFF，SSSS表示DIFF的值所需的位数，这可从DC系数分组表得到。一个8X8的信息组有63个AC系数，进行量化后许多AC系数都为零，零值数据一般出现在高频区域，所以，为了让零值数据能够连续出现，AC系数在编码时按照之字156272096556791933O3L09OOL205668I11L941O0877O0204558111L，U246OL8L01224568LL694964781L225689046275851I12357912372542111L2369624484921LL1L247量主翌坠塑旦堕塑坚里至笪垦兰一型ZIGZAG次序扫描，如图22所示。图中左上角DC为直流系数，余下的63个为交流系数AC。其中I为行数，J为列数，I和J技术均由0到7，所以AC系数之字形排列后顺序为ACOT，ACMAC20J，AC77。之字形扫描，用于把二维归一化的量化系数转换为一维数据序列，以便后续进行熵编码。由于量化系数矩阵的左上方为直流和低频系数，右下方为高频A。系数，一般图像的量化系数集中在左上方，右下方的高频系数多数为零，所以左上方的量化系数更为重要。这也可以图22ZIGZAG扫描顺序AC77从亮度和色度量化表中的量化步长看出，左上方的步长小，右上方的步长大。因此在量化系数矩阵中，采用从左上角开始，以之字形方式扫描到右下角，把二维量化矩阵转换成一维数据序列。这种低频在前高频在后的之字形扫描的排列方式也称为带状编码，因为它和频带由低到高成带状一致。这和量化步长逐步提高的方式一致，所以也称门限系数排列方式。表22DCT系数的符号表示法TABLE22THESYMBOLDENOTATIONOFDCTPARAMETER位长SSSDC参数AC参数实际保存值“WV00L一1，1一L。L0，123，一2，233，一2，2，300，0L，10，U37一4。477447000011100ILL415一8，815158，81500000111，1000L】IT5311616，313116，16R“3100000011DO，1000011111663一32，32836332。3263000000LLLLIL71276464T127712764，641277000000011111LL8255一128，128255255128，12825500000000L11ULLL9511256，2565儿511一256，256511000000000111111LL1101023一51251210231023一512。512102300000000001111L1I11L112047”1024，1024204700000000000111111LLLLIAC系数的HUFFMAN编码由AC系数转换而成的中间符号为VLCRRRRSSSS和VLIVVVV，其中VVW等于各个AC值，SSSS表示AC值所需的位数，这可从AC系数分组表得到，RRRR是指在非零的AC之前，其值为零的AC个数。如果连续0的AC个数大于15时，则用150来表示连续16个系数全为零，输出ZRL；而OO称为EOB，用来基于FPOA的JPEG编解玛芯片设计表示其后所剩的AC系数全为零。这就是行程编码RLE，它的作用就是压缩掉矢量中连续的O。假设有一组矢量64个的后63个，这里我们将跳过第一个矢量OC系数，因为它的编码比较特别是5745，00，0，0，23，0，一30，一16，0，0，1，O，0，0，0，0，0。经过行程编码RLC压缩后就是0，57，O，45，4，23，I，一30，0，一16，2，1，EOB，如果这组数字不以0结束，那么就不需要EOB。虽然VLC和VLI都是可变长度编码，但只有VLC是HUFFMAN编码法，VLI则不是。原本HUFFMAN编码法是必须扫描原始数据两次，第一次统计出各个数据的出现频率，第二次再依各个数据出现频率予以编码，而其编码原则是将出现频率高的数据以位数目较少的码字表示，而出现频率低的数据则以位数目较多的码字来表示。由于编制HUFFMAN码表非常麻烦，所以JPEO提供了些HUFFMAN表格，以省去我们必须对原始数据做出现频率的统计。这些HUFFMAN表格是经过许多图像测试的平均结果，可以放心使用。HUFFMAN解码过程是HUFFMAN编码过程的逆过程，编码解码过程与量化逆量化过程一样，必须使用同一个码表。25编码比特率的控制不同的应用目的，可能需要不同豹编码质量或编码比特率。另外，JPEG编码的输出比特率将随图像局部的特性而变化，而大多数传输信道是固定比特率的。为此，要求能够控制PEG的编码质量或编码比特率，以适应用户或信道的需要。JPEG是通过改变量化步长实现这一要求的。设定一个质量控制园子Q，在量化时，用该因子和量化表中的量化步长相乘以后，作为实际的量化步长。这样一来，当要求较高的比特率时，Q取较小的值如01，使量化步长按同一比例减小；反之，Q取较大的值如100。这样，Q应该作为一个编码参数和编码比特流一起传输给解码器。当JPEG用于对活动图像的实时编码和传输时，由于信道是固定比特率的，而3PEG的输出比特流是可变比特率的，需要在编码器的输出端和信道之闻豹接入个数据缓冲器，并实时的按照该缓冲器的情况调整控制因子Q，以保证缓冲器不发生溢出或空出。26小结通过对JPEO基零系统的深入研究，可以了解图像压缩方面的许多原理和知识，并且可以灵活应用到自己的研究项目和软件开发中。JPEO的应用面很宽，因此对所需编码图像的性质，如大小、黑白彩色，彩色分量的数量、编码方式等，均不能预先规定，在具体应用时须靠“通信”临时传递。为了适应各种不同的场合，JPEG提供了几种编码方式以供选用，量化表、码表等也未加规定，仅提供推荐表。若效果不理想，用户可自己定义量化表和码表，并将这些表同数据起传到解码器，供正确解码使用。在本文的后续内容中应用的是每像素点以8位表示的基于DCT顺序型工作模式的JPEG图像压缩算法，其压缩与解压缩过程都是以88的图块为数据处理单位。基于FPGA的JPEG编解码芯片设计3JPE6图像编解码系统在移动平台图像压缩传输的场合，信道衰落严重，为避免误码扩散引起图像质量劣化，可采用无帧间预测的MJPEG算法，图像分辨率和帧率可根据信道情况改变。为同时满足图像压缩的实时性、可靠性和灵活性要求，需用硬件电路来完成M_JPEG算法。一般来说，在图像通信系统中用两种方法可以实现硬件图像编码，一种方法是采用专用编解码芯片以及简单外围电路实现另一种方法则是采用快速DSP芯片和可编程逻辑芯片通过算法实现。尽管前者在实时性和可靠性方面有着明显的性能优势，但是由于编解码芯片的高附加值，使得没有核心技术国内厂商不得不不采用低成本的后者。本文基于FPGA自行设计了JPEG图像压缩编解码芯片，可以作为有自主知识产权的JPEGIP模块，应用于可视电话、手机和会议电视等低成本JPEG编解码系统的实现。31JPEG编解码系统总体设计方案下面介绍JPEG编解码系统的设计，JPEG图像压缩编解码芯片将在后续章节详细介绍。如图31所示，系统主要由JPEG编码器、JPEG解码器、信道编码器和解码器，以及两个缓存，两个码流缓冲和两个比特率控制器组成。其中输入图像为采集并经过数字化处理的数字灰度图像，由于彩色图像相当于3幅灰度图像，所以这里仅研究灰度图像；缓存为片外高速RAIF【，用于完成暂存原始图像或恢复图像的功能；JPEG编解码器用自行设计的可编程逻辑器件FPGA来完成；出码流缓冲、编码比特率控制和信道编码以及入码流缓冲、解码比特率控制和信道解码分别用两个逻辑器件来实现。图31PEG编解码系统FIG3ITHESYSTEMOFJPEGCODINGDECODING设原图像一帧包含8NBM行列个灰度像素，输入到外围的缓存，缓存至少能够存基于FPGA的JPG缓解码芯片设计储帧图像，即容量大于64N1IF8比特，并且按照88块的贩序存储，将像素值按先行后列的顺序输入到7PEG编码单元进行图像压缩。当JPEG用于对活动图像的实时编码和传输时，由于信道是固定比特率的，而JPEG的输出比特流是可变比特率的，需要在编码器的输出端和信道之间的接入一个数据缓冲器，控制码流以固定的比特率输入到信道。为了保证缓冲器不发生溢出或空出，还要增加控制器，实时的按照该缓冲器的情况调整控制因子Q来控制JPEG的编码质量，进而控制编码比特率，以适应用户或信道的需要。这样，Q必须作为一个编码参数和编码比特流一起传输给解码器。解码器接受到输入码流后，解码并输出IDCT后得像素值，存入缓存。外围的显示终端或存储设备可从缓存中读取解码后的恢复图像。32JPEG编解码器总体设计方案本文主要讨论了JPEG编码器和解码器的设计，其他单元将在今后的工作中逐步完善。设计要达到的以下要求保证功能正确采用定的技术以满足性能需求；最小化面积；硬件设计是可重用的。图32FPGA设计流程FIG32THEFLOWOFFPGADESIGN，堡寸枣法采用自顶向下的新兴的EDA设计方法即从系统的总体要求出发，把系统划分为基本单元，自上而下的逐步将设计内容细化，把每个基本单元划分为下一层次的囊苎三坠塑竺塑塑里蔓生堡L一本单元，一直这样做下去直到可以直接用EDA元件库中的元件来实现，最后完成系统硬件的整体设计。它有以下几种特点在设计周期伊始就做好了系统分析，电路设计更趋合理，降低了硬件电路的设计难度；主要设计文件是用HDL语言编写的源程序；采用系统早期仿真，由于设计的主要仿真和调试过程是在高层次完成的，所以能够早期发现结构设计上的错误，避免设计工作的浪费，同时也减少了逻辑仿真的工作量。设计流程如图32所示，其中综合是将软件设计与硬件的可实现性挂钩，是将软件转化为硬件电路的关键步骤。行为和功能仿真是利用综合产生的网表文件进行功能仿真，以便了解设计描述与设计意图的一致性该步骤可以略去。适配则是利用FPGACPLD布局布线适配器将综合后的网表文件针对某一具体的目标器件进行逻辑映射操作，其中包括底层器件配置、逻辑分割、逻辑优化、布局布线。适配报告指明了芯片内资源的分配与利用、引脚锁定、设计的布尔方程描述情况。时序仿真的仿真过程将器件的硬件特性考虑进去，利用计算机进行仿真，在输入端加入输入数据，成为测试矢量，在输出端褥到输出数据，比较输出数据是否达到设计甚标，完成仿真的目的。如果以上的所有过程都没有发现问题，就可以将适配器产生的下载文件通过FPGACPLD下载电缆载入目标芯片FPGA或CPLD中，最后进行硬件仿真与测试。在设计流程中，行为描述采用硬件描述语言VHDL，综合与仿真采用ALTERA公司的QUANTUSLL20EAD工具平台，最后的器件编程与硬件仿真测试选用上海TRAINSILICON公司的OPENFPGA40实验板。使用VHDL语言进行电路设计