数字媒体技术发展趋势.ppt

第十二章数字媒体技术发展趋势,目录,12.1数字媒体技术发展现状12.1.1国内外媒体产业发展趋势12.1.2数字媒体产业技术趋势12.2数字媒体内容处理技术12.1.2数字媒体产业技术趋势12.2.2音视频编转码技术12.2.3内容条目技术12.2.4内容聚合技术12.2.5虚拟现实技术12.2.6数字版权保护技术,2,目录,12.3基于内容的媒体检索技术12.3.1数字媒体内容搜索技术12.3.2基于内容的图像检索12.3.3基于内容的视频检索12.4数字媒体传输技术12.4.1内容集成分发技术12.4.2数字电视信道传输技术12.4.3IPTV技术12.4.4异构网络互通技术,3,12.1数字媒体技术发展现状,数字媒体内容包括数字音频、数字视频、互联网及其他用来生成、阐述和分发数字内容的所有技术。我国已确定了数字媒体内容的主要领域，就是发展面向文化娱乐消费市场和广播电视事业，以视、音频信息服务为主体的数字媒体内容关键技术和现代传媒信息综合内容平台，并确定了数字出版、数字影音等几大重点领域。,4,12.1.1国内外媒体产业发展趋势,目前，数字媒体产业在世界范围内已经成为极具活力、具有巨大发展潜力的产业。欧盟早在1996年就提出信息2000计划，以促进数字媒体内容和服务在教育、文化、信息等公共领域的的发展。爱尔兰政府2002年制定爱尔兰数字内容产业战略，韩国文化观光部于2001年将内容产业订为国家策略发展的重点产业，目标成为全球主要的数字内容生产国家。,5,我国的发展情况,我国十五期间在数字媒体产业方面已经取得了系列成果，已确定将数字媒体产业作为我国产业结构调整的重点产业予以扶持发展，并已进行了一系列的部署和安排。国家广电总局将2004年确定为数字发展年和产业发展年，明确指出数字化是广播影视发展的重要任务。2005年5月13日，国家科技部发布了关于同意组建国家数字媒体技术产业化基地的批复，正式同意在北京、上海、成都、长沙组建国家数字媒体技术产业化基地。,6,我国的发展情况（续）,2005年10月，青岛成为我国第一个数字电视整体转换城市，数字电视用户达到70万户。在国家科技部高新司的指导下，2005中国数字媒体技术发展白皮书于2005年12月26日正式发布，白皮书提出了我国数字媒体技术未来五年发展的战略、目标和方向。2006年4月4日，上海国家863数字媒体技术产业化基地揭牌仪式上，国家科技部领导明确指出在十一五期间，将进一步通过863计划和现代服务业科技专项加大对数字媒体技术及技术产业化的投入，实现我国数字媒体技术从支撑到引领的跨越。,7,我国的发展情况（续）,国家高性能宽带信息网专项在十五期间从应用业务层次为IPTV类业务构建了完整的内容、传输、运营等平台和业务环境，在上海长宁区建设了包括IPTV在内的宽带业务示范区，进行了2万户以上的运营试验，根据新的规划，在以后几年将用户数量增加到百万数量级。,8,12.1.2数字媒体产业技术趋势,高清晰度电视和数字电影高清晰度电视和数字电影影视制作，由于其涉及的视频分辨率高达2k4k，是普通标准清晰度电视的612倍，因而对演播室节目编辑与制作设备要求极高，相应地设备成本也非常昂贵，成为我国发展数字高清晰度电视和数字电影内容产业的瓶颈之一。其关键技术和系统为少数几家国外公司所拥有。国外公司Discreet、Avid、Apple等公司在节目制作领域具有传统优势。,9,高清晰度电视和数字电影（续）,影视节目制作一般包括三部分：一是三维动画制作及处理；二是后期合成与效果；三是非线性编辑。第一部分相对独立，依赖于计算机动画创作系统，合成系统和非线性编辑系统的界限并不是太明显，只不过侧重点有所不同。,10,高清晰度电视和数字电影（续）,由于软件水平的限制，国内公司在上述节目制作系统中的第一类和第二类产品方面尚未涉足。自上个世纪九十年代末开始，以在字幕机开发方面积累的经验为起点，一些国内公司逐渐进入并占领了非线性编辑和字幕机市场。但是，国内公司的工作仅仅局限于标清领域；而且国内公司对核心技术的拥有程度仍处于比较低的层次，上述公司开发的非线性编辑系统最核心的硬件板卡和SDK软件系统均由国外公司提供。,11,12.1.2数字媒体产业技术趋势,网络游戏国内外的研究集中在3D游戏引擎、游戏角色与场景的实时绘制、网络游戏的动态负载平衡、人工智能、网络协同与接口，并已经开发出很多较为成熟的网络游戏引擎目前网络游戏技术除了继续朝着追求真实的效果外，主要朝着两个不同的方向发展，一是通过融入更多的叙事成分、角色扮演成分以及加强游戏的人工智能来提高游戏的可玩性，二是朝着大规模网络模式发展，进一步拓展到移动网和无线宽带网。,12,网络游戏（续）,在游戏引擎技术方面，我国高校在3D建模、真实感绘制、角色动画、虚拟现实等方面已积累了丰富的研究经验，北京大学、浙江大学、上海交通大学等单位还开发完成了原型系统。国内已有一些公司利用开放源码组织或者采用引擎改造的方法开发了一些原型系统，但目前这些原型系统尚停留在实验室阶段。市场上尚未出现自主知识产权的国产网络游戏集成开发环境,13,12.1.2数字媒体产业技术趋势,数字动画国内外对数字动画的研究集中在三维人物行为模拟、三维场景的敏捷建模、各种动画特效和变形手法的模拟、快速的运动获取和运动合成、艺术绘制技法的模拟等，并已经发行了很多成熟的二维和三维动画软件系统，包括Maya、3DMax、Animo、Softimage等。目前在计算机动画研究方面的主要发展方向除了继续研究计算机动画的关键技术和算法外，在软件系统上，二维动画和三维动画技术出现了一体化的无逢集成趋势，并力图支持计算机动画全过程。,14,数字动画（续）,我国在计算机动画系统方面的研发在整体上还比较薄弱，一些公司、高校和科研机构在卡通动画制作的某些环节上做了一些工作，较有代表性的软件如北京大学与中央电视台联合研制的点睛卡通动画制作系统，迪生公司开发的网络线拍系统。在三维计算机动画方面的研究工作包括动画特效模拟、人脸表情动画、计算机辅助动画自动生成、运动捕捉和运动合成等，仍停留在学术研究阶段，目前还没有具有自主知识产权的高水平三维计算机动画制作软件问世。,15,12.1.2数字媒体产业技术趋势,网络出版网络出版产业在国内外已经有了6年多的发展，到目前为止，基于数字版权保护技术DRM的电子图书系统在国内外都有了长足的发展。NetLibrary、Overdrive、Libwise以及Microsoft公司是国外最著名的电子图书技术和服务提供商。这几家厂商提供的电子图书，都不约而同地采用了按本销售数字版权保护的方式，按本销售是电子图书产业界的一个趋势。,16,网络出版（续）,国内基于DRM的电子图书发展也非常迅速，与国际上电子图书的发展相比较，国内的基于DRM的电子图书的发展基本同步。不过到目前为止，只有北大方正集团有限公司的方正Apabi电子图书DRM系统同时支持对个人和对图书馆都按本进行销售。,17,网络出版（续）,经过几年的发展，国内外的网络出版领域虽然形成了一些成熟的技术与运营模式（如按本销售的数字版权保护模式等），但该领域的技术还需要不断发展和完善，包括以下几个方面：高质量电子图书制作的流程化和自动化电子图书的多样化表现形式跨平台的阅读技术数字版权保护,18,12.2数字媒体内容处理技术,数字媒体服务是以视、音频、动画内容和信息服务为主体，研究数字媒体内容处理关键技术，实现内容的集成与分发，从而支持具有版权保护的、基于各类消费终端的多种消费模式，为公众提供综合、互动的内容服务。数字媒体内容处理技术包括音视频编转码、版权保护、内容虚拟呈现等多项技术。,19,12.2.1可伸缩编解码技术,为了适应传输网络异构、传输带宽波动、噪声信道、显示终端不同、服务需求并发和服务质量要求多样等问题，以在无须考虑网络结构和接入设备的情况下灵活地使用或增值多媒体资源为主要目标可伸缩编解码技术的研究应运而生。,20,12.2.1可伸缩编解码技术（续）,目前可伸缩编解码的研究有两条主要途径：以H.264/AVC+精细粒度可伸缩编码技术FGS（FineGranularityScalability）为主要结构的原型框架。以运动估计/补偿技术、小波分解重构以及小波系数编解码技术为核心技术的可伸缩编解码技术。,21,12.2.2音视频编转码技术,国际上音视频编解码标准有主要两大系列：ISO/IECJTC1制定的MPEG系列标准；ITU针对多媒体通信制定的H.26x系列视频编码标准和G.7系列音频编码标准。针对以上格式的转码技术，目前基本停留在学术研究阶段，大部分现有的转码工具主要针对一些非通用的、民间的自定标准和格式进行，例如DIVX，XVID等。全面系统地实现MPEG-2、MPEG-4、H.264/AVC之间的转码还未进入实用阶段。,22,12.2.3内容条目技术,我国的电视节目编目主要是以国家标准为参考（广播电视节目资料分类法等）多种标准并存模式。有以内容性质、专业领域、节目体裁、节目组合方式为标准的分类，也有以传播对象的职业、年龄和性别特征为标准的分类。在编目标准上，国际上，为了方便广电行业各个单位之间的媒体资产交换，SMPTE制定了完善的元数据模式（编目标准），称之为DCMI(DublinCore)。元数据的分类和属性的标准化是非常重要的环节。,23,12.2.3内容条目技术（续）,随着数字媒体内容在网络环境中的广泛传播，各类不同类型、不同风格、不同粒度（素材/片段/样片/成品等）、不同格式的海量数字媒体内容冲击着传统的广电媒体传播途径，造成了媒体内容管理与检索的混乱与困境。在此环境下，研究基于精细粒度元数据表示的数字媒体内容分类与编目索引体系以适应各类不同类型的数字媒体内容的管理与检索成为数字媒体内容管理的一项紧迫任务。,24,12.2.4内容聚合技术,内容聚合以Web2.0的RSS为代表。Web2.0的RSS内容聚合技术的主要功能是订阅Blog和新闻。用户需要搜集自己感兴趣的各种RSSFeed，利用软件工具阅读这些RSSFeed中的内容。Web2.0的RSS内容聚合技术的缺点是功能有限，目前主要支持文本内容的聚合，对推送的信息没有进行语义关联，并且没有利用用户的个性对推送的信息进行过滤。,25,12.2.4内容聚合技术（续）,数字媒体内容的聚合是通过对各类数字媒体内容深层主题信息的检测、挖掘与标注，并利用各类媒体主题语义关联链接，形成丰富的多媒体内容综合摘要，通过用户行为分析与内容过滤为用户定制和推送所关注和感兴趣的主题相关的丰富多彩的数字媒体内容信息服务。目前，在文字、语音、视频内容识别与信息抽取、自动摘要等方面都有一些较为成熟的技术，但尚未完全形成数字媒体内容聚合的概念。,26,12.2.5虚拟现实技术,虚拟现实(virtualReality，简称VR)，又称灵境技术，是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三维现实，人们通过这些设施以自然的方式（如头的转动、手的运动等）向计算机送入各种动作信息，并且通过视觉、听觉以及触觉设施使人们得到三维的视觉、听觉以及触觉等感觉世界。随着人们不同的动作，这些感觉也随之改变。,27,12.2.5虚拟现实技术（续）,它要创建一个酷似客观环境又超越客观时空、能沉浸其中又能驾驭其上的和谐人机环境，也就是由多维信息所构成的可操纵的空间。它的最重要的目标就是真实的体验和方便自然的人机交互，能够达到或者部分达到这样目标的系统就称为虚拟现实系统。简单说来，虚拟现实就是一种人与通过计算机生成的虚拟环境可自然交互的人机界面。,28,12.2.5虚拟现实技术（续）,虚拟现实技术的实现，涉及三大技术：建模技术、显示技术、三维场景中的交互技术。由于虚拟现实在技术上的进步与逐步成熟，其应用在近几年发展迅速，应用领域已由过去的娱乐与模拟训练发展到包含航空、航天、铁道、建筑、土木、科学、计算可视化、医疗、军事、教育、娱乐、通信、艺术和体育等广泛领域。,29,12.2.6数字版权保护技术,媒体内容产业的数字化为内容盗版与侵权使用带来了便利，版权问题正成为制约数字媒体内容产业发展的瓶颈之一。解决盗版问题，需要依靠技术、行业协定以及国家法规协同解决，而数字媒体版权保护与管理技术在内容创建内容分发内容消费整个价值链中实现数字化管理，同时为行业协定及国家法规的实施提供技术保障。,30,12.2.6数字版权保护技术（续）,数字权利管理共性技术包括数字对象标识、权利描述语言和内容及权利许可的格式封装，这是数字权利管理系统互操作性的基础。除了加密、密钥管理以外，DRM系统还可包括授权策略定义和管理、授权协议管理、风险管理等功能。DRM基本信息模型主要包括如下三个核心实体：用户、内容、权利。用户实体可以是权利拥有者，也可以是最终消费者，内容实体可以是任何类型和聚合层次的，而权利实体则是用户和内容之间的许可、限制、义务关系的表示方式。,31,12.2.6数字版权保护技术（续）,DRM系统关键组件一般包含内容打包，许可证服务和客户端等组件。内容打包组件将要发布的内容编码成受DRM保护的格式，在这里要实现内容和权利绑定机制。许可证服务组件负责管理内容加密密钥，用户标识和规则等，然后按照权利描谁语言来生成许可证。客户端主要包括DRM控制组件和播放组件，DRM控制组件负责识别受DRM保护内容，获取许可证，解释并执行许可证，并把解密的内容提交给播放组件进行内容的展示。,32,12.2.6数字版权保护技术（续）,目前，国家音视频标准（AVS）的DRM工作组正结合AVS音视频编码格式制定版权保护的共性技术标准。数字权利管理涉及安全领域的基础性技术包括媒体加密技术和媒体水印技术，针对具体的媒体对象可进行相应优化。我国一些高校在媒体加密和水印方面有一定的研究基础并拥有技术商业化的能力。,33,12.3基于内容的媒体检索技术,随着计算机技术及网络通讯技术的发展，使多媒体数据库的规模迅速膨胀，文本、数字、图形、图像、音频、视频等各种超大规模的多媒体信息检索十分重要。针对这个问题，人们提出了基于内容的多媒体检索方法，利用多媒体自身的特征信息（如图像的颜色、纹理、形状，视频的镜头、场景等）来表示多媒体所包含的内容信息，从而完成对多媒体信息的检索。,34,12.3.1数字媒体内容搜索技术,搜索引擎是最重要的网络信息检索工具，市场上已有许多成熟的搜索引擎产品。但是目前的搜索引擎没有考虑用户的兴趣爱好，搜索出的信息量庞大，经常将与用户兴趣不相关的文档提交给用户。这种现象的发生主要是由于用户所提交的关键词意义不够精确造成，或者是由于搜索引擎对文档发现和过滤的能力有限造成的。目前的搜索引擎普遍在用户界面、搜索效果、处理效率几个方面存在不足：,35,12.3.1数字媒体内容搜索技术（续）,过分强调查全率，忽视了查准率的提高；搜索引擎的查询接口缺乏统一的标准，这使得用户在使用不同的搜索引擎时经常常采用不同的检索策略，增加了用户检索的负担；搜索引擎工作检索机能尚不能满足用户需求：如何处理如此繁重的任务并提高处理效率，是一个优秀的搜索引擎必须要考虑的问题。,36,12.3.1数字媒体内容搜索技术（续）,由于存在以上问题，近年来在搜索引擎研究和应用领域出现了很多新的研究思想和技术：P2P搜索理念、信息检索Agent、后控词表技术、多媒体搜索引擎等。其中，多媒体搜索引擎目的是使用户能够像查询文字信息那样方便快捷地对多媒体信息进行搜索和查询，找出自己感兴趣的多媒体内容进行播放和浏览。,37,12.3.1数字媒体内容搜索技术（续）,为了达到这个目标，就必须把现有的多媒体信息重新进行组织，使之成为便于搜索、易于交互的数据。根据搜索方式的不同可以分为：文本方式和内容方式。与较为成熟的文本内容搜索相比，数字媒体（多媒体）内容搜索目前仍处于技术发展和完善阶段，国际国内都有一些可实用的系统和引擎推出。在此基础上，多种检索方法融合的综合检索和基于深层语义信息关联的检索策略将是其进一步的发展方向。,38,12.3.2基于内容的图像检索,基于内容的图像检索可在低层视觉特征和高层语义特征两个层次上进行其中，基于低层视觉特征的图像检索，是利用可以直接从图像中获得的客观视觉特征，通过数字图像处理和计算机视觉技术得到图像的内容特征，如颜色、纹理、形状等，进而判断图像之间的相似性；而图像检索的相似性则采用模式识别技术来实现特征的匹配，支持基于样例的检索、基于草图的检索或者随机浏览等多种检索方式。利用高层的语义信息进行图像检索是研究和发展的热点。,39,12.3.3基于内容的视频检索,近年来视频处理和检索领域的研究方向和激战，主要针对以下三个主要问题：视频分割：时间上确定视频的结构，对视频进行不同层次的分割，如镜头分割、场景分割、新闻故事分割等；高层语义特征提取：对分割出的视频镜头，提取高层语义特征。这些高层语义特征用于刻画视频镜头以及建立视频镜头的索引；视频检索：在事先建立好的索引的基础上，在视频中检索满足用户需求的视频镜头。用户的需求通常由文字描述和样例组合构成。,40,12.3.3基于内容的视频检索（续）,对视频信息进行处理，首先需要将视频按照不同的层次分割成若干个独立的单元，这是对视频进行浏览和检索的基础。视频分割必须考虑视频之间在语义上的相似程度。已有的场景分割算法考虑了结合音频信息来寻找场景的边界。,41,12.3.3基于内容的视频检索（续）,基于内容的视频索引和检索研究关注不同视频单元的高层语义特征，并用这些语义特征对视频单元建立索引。对于一些更加复杂的语义概念，可以定义一些模型来组合从不同信息源得到的信息。另外，也有很多方法利用从压缩域上的得到的音频和图像特征进行索引和检索，以提高建立索引的速度。,42,12.4.1内容集成分发技术,数字媒体内容的发展趋势是适应多种网络，融合更多服务，满足各类要求。目前，在数字媒体内容集成分发领域，全球仍处于发展阶段，相关体系与标准尚未健全。CDN通常被称为内容分发网络有时也被称作内容传递网络。内容分发和传递一方面可以看作是CDN的两个阶段，分发是内容从源分布到CDN边界节点的过程，传递是用户通过CDN获取内容的过程；另一方面，分发和传递可以看作是CDN的两种不同的实现方式，分发强调CDN作为透明的内容承载平台，传递强调CDN作为内容的提供和服务平台。,43,12.4.1内容集成分发技术（续）,目前，CDN技术已经比较成熟，市场上有许多厂商提供CDN设备和集成的解决方案。从运营角度，CDN的运营商主要分为两类，一类是传统的网络运营商建设CDN并运营，如AT&T、德国电信、中国电信和中国网通；另一类是纯粹的CDN运营商，如国外的Akamai、国内的ChinaCache。,44,12.4.2数字电视信道传输技术,目前，美国、欧洲和日本各自形成三种不同的数字电视标准，分别为ATSC、DVB、ISDB。ATSC成员30个（其中包括美国国内成员20个），我国的广播科学研究院也参加了ATSC组织。从三个数字电视标准的成员数量及分布情况看，DVB标准的发展最快，普及范围最大。三种数字电视标准在信源编码方面都采用MPEG-2的标准，在信道方面则各具特色。,45,12.4.3IPTV技术,IPTV业务涉及IP网传输质量控制、网络组播控制、内容分发、流媒体、视音频压缩编码、数字版权保护等多种信息技术。在广电部门，IPTV是通过CA方式来实现对数字电视节目的加密。但在有线电视网中，由于广播网络中不能提供上行通道以支持服务前端对播放设备的认证，而是依靠播放设备的有条件接收模块实现被动的认证，攻击者只要破解播放设备的有条件接收模块，并将破解后的模块复制到其它播放设备上，就能达到大规模盗看的目的。针对广电CA所存在的缺点，IPTV引入DRM目标是结合认证方式克服广电CA的缺点。,46,12.4.3IPTV技术（续）,IPTV终端有三种基本类型，分别是计算机、手