科技支撑计划项目建议书沈一帆新版.doc

附件1：国家科技支撑计划项目建议书（格式）项目名称：自主体验电视 (TVWe)建议单位： 复旦大学二七 年四月十八日项目概况表项目名称自主体验电视(TVWe)经费需求0.33（亿元）其中国拨0.3（亿元）实施周期3（年）重大项目重点项目所属领域能源资源环境 农业 材料制造业交通运输信息产业与现代服务业 人口与健康 城镇化与城市发展公共安全与其他社会事业项目与纲要的衔接性明确列入纲要信息产业与服务业领域现代服务业支撑技术及大型应用软件、数字媒体内容平台优先主题基本属于纲要 领域 优先主题的范畴其他（请说明）项目与重大工程、重大装备、行业重点业务工作或引进消化吸收项目的结合性是 上海文广影视集团立体互动娱乐平台工程的关键配套技术没有明确的依托工程其他（请说明）项目与部门（地方）科技需求的衔接需求提出单位： 上海文广影视集团 其它（请说明）创新类型原始创新集成创新引进消化吸收再创新项目完成时的应用类型形成自主研发能力形成规模生产能力局部试点示范较大范围推广应用项目组织单位的建议牵头组织单位建议： 复旦大学 其他组织单位建议：上海文广影视集团、上海市幻维数码影视有限公司（列前五个）编写说明1项目建议应符合国家中长期科学和技术发展规划纲要（2006-2020年）（以下简称纲要）重点领域及其优先主题的任务，支撑实施最新或国家重大战略部署，并符合国家科技支撑计划管理暂行办法规定的立项要求。2各有关部门、地方及有关单位结合本行业、本地区等发展需求，提出项目建议，正式行文并同时通过科技部门户网站（）上的“国家科技计划项目申报中心”报送科技部。3报送项目建议书时，应一并附上国家科技计划项目概算申报书。一、项目立项的必要性及需求分析随着现代数字技术与交互技术的迅速发展而逐步出现的互动电视，使电视传播方式发生了革命性的变化，也彻底改变了观众在面对电视信息中的被动地位。作为一种新兴的电视娱乐和信息服务形式，互动电视使被动的电视收看体验变成真正的交互式体验，观众直接可以参与节目的制作中，如虚拟演播室，观众通过动作捕捉设备指挥虚拟角色的运动和表情，作为嘉宾参与到节目中；在观看电视节目中，观众可以按照自己的要求选择不同的观赏角度，如在收看比赛的同时，允许观众选择不同的摄像机角度；除了能够随心所欲地选择电视节目以外，还可以通过电视实现互联网功能，包括电子邮件、网络浏览和信息检索。总之，通过虚拟互动，观众在选择电视节目的过程中不断地将各种信息反馈给节目运营机构，促使他们及时调整节目，从而真正实现观众对电视的个性化需要。目前，国内在立体电视内容制作、电视娱乐互动方式上还存在许多空白，还缺少成熟的专业制作流程和有效的互动实现方案，这已成为下一代电视发展的障碍。全球第一个立体互动娱乐频道今年5月就要在上海文广开播了，其巨大的立体节目需求不言而喻，互动的现实意义也更加突兀。该项目紧贴纲要中“信息产业与服务业”领域中的“现代服务业信息支撑技术及大型应用软件”及“数字媒体内容平台”优先主题。我们希望建立虚拟电视体验中心来解决数字电视平台虚拟体验问题，同时解决基于“角色参与、视频图像检索”为核心的自主实现技术，完成高清、立体、互动的新电视模式，推进三维内容的商务应用和增值服务的开发，为国内外广播电视、互联网等行业新媒体技术的应用、开发提供技术基础和解决方案，支撑上海的现代服务业。随着观众在电视传播过程中主动性的增强，必将对社会的政治、经济等各方面产生巨大影响。譬如2010年上海世博会，对于这样一个国际性的展览、展示盛会，立体互动无疑将发挥高科技的奇特作用。试想人们坐在家里通过立体电视、互动娱乐终端就可徜徉世博场馆、领略异国风情、感受全世界科技文化的精华，那将是让广大百姓体验更高层次的“虚拟现实”，直接感受到“城市，让生活更美好”。 二、项目目标及主要任务该项目的主要目标是搭建一个能让观众真正参与并能体会到“真实场景的”虚拟电视体验中心，同时解决基于“角色参与、视频图像检索”为核心的自主实现技术，完成高清、立体、互动的新电视模式，推进三维内容的商务应用和增值服务的开发，为国内外广播电视、互联网等行业新媒体技术的应用、开发提供技术基础和解决方案，支撑我国的现代服务业。图一是自主体验电视的整体构架。图一图二表示如异地的观众坐在电视机前，通过电视中的虚拟角色交流感情，实现互动。图二主要任务是充分利用并发展计算机图形、视觉等领域的前沿研究成果，构建三维互动内容制作系统。该系统整合了视频生成流水线中的三维图形及视频处理的基本功能和智能互动功能：例如在图形方面，一系列的素材库，包括各类物体、人物、动物和场景；在视频编辑方面，该系统提供智能剪辑、合成功能，同时也包含大量预置的音频、视频及图形特效模块。因此该系统可以满足客户端对实时互动的需求；而对于专业级的服务端而言，由于该系统支持复杂的智能模块，可以在一个统一的平台和标准下进行操作，从而制作出更多视觉感知的内容。本项目的关键技术包括：关键技术一、无接触式动作捕捉和实时动作生成技术技术原理：虚拟角色的互动电视节目制作过程中，通过有效地捕捉用户的动作信息，可以生成表情动作逼真的虚拟形象或表达用户的某种指令、情感，使得电视节目更加的生动有趣。运动捕捉是近年来风靡全球的一项动作生成技术，被广泛的应用于人体工程学、模拟训练、生物力学、机器人学、虚拟现实以及包括游戏、广告、动画、电影在内的一系列娱乐产业中。但是传统的动作捕捉方法往往需要在演员身上贴一些反光球来获得动作信息，并不适合家庭使用。本项目将研究无接触式的动作捕捉技术，主要的技术路线是利用视觉方法配合一些独特的设备(例如装有加速度仪和微型陀螺仪的手柄)来反演出三维空间中的人体运动信息，并将其加载于虚拟模型上，从而使虚拟人物复制用户的动作。用户的动作信息不仅可以在虚拟角色上生成真实感较强的运动，而且还可以用于数值分析及机器学习，从而使人体运动数据的自动分析与合成成为可能。然而，该技术获取到的数据的高维度却为其分析及合成带来了巨大难题。本项目还采用非线性降维思想，从高维运动数据中提取关键特征，并将其映射到低维参数空间。在对低维序列的周期性及变迁规律进行分析后，将运动划分为基本动作单元并建立运动图表，继而通过插值等机制实现动作单元的拼接、合成与预测，从而使动作的过渡无缝，平滑，自然。技术内容：本项目的最终目的是建立一套无接触式的普及型的动作捕捉设备及完成一个动作的实时合成平台。1）利用一些力学传感器配合摄像头反演出观众的动作信息。2）使用流形学习的方法，提取运动中的特征参数，如感情色彩、个人风格等，为后续合成工作中的交互性操作提供可能。3）为虚拟角色建立动作数据库，根据用户的动作信息查找与虚拟人物最接近的骨骼动画。4）在动作与动作的结合部分，利用低维曲线寻找动作单元间的帧对应关系，使用线性插值对动作单元进行时间变形或对齐；随后，使用改进后的偏移映射算法对对齐后的动作单元进行合成，从而实现动作单元间的拼接及融合操作；最后根据需要对合成后的运动序列进行速度或路径的调整。关键技术二、虚拟扮演和虚拟互动演播室技术目标：本部分的主要目标是在观众的客户端上建立起虚拟场景的实时渲染平台，为观众的参与提供舞台。本部分要实现的主要内容有光学渲染子系统、物理模拟子系统，角色动画子系统和场景管理子系统。主要的技术指标是实时的(20帧每秒以上)渲染出有一定真实感的虚拟场景并呈现在用户的电视机上。技术原理：传统的游戏引擎为了平衡图像生成的速度与质量的矛盾，往往通过“画”的方法而非真实的光学模型进行渲染，因此对一些复杂的光学现象很难进行模拟。而随着计算机硬件特别是多核处理器的发展，对真实光学模型进行实时模拟的方法已经出现，这就是实时光线追踪技术。该技术充分利用了多核处理器的超强并行计算能力，能在确保一定帧速率的情况下输出具有非凡真实感的图像。该技术对传统光线追踪的改进主要的体现在如下两个方面：1）通过对光纤束的追踪来加速光线追踪：传统光线追踪的主要瓶颈和计算量在计算每根光线与场景中物体的相交情况上。而利用光纤束则可以一次性判断多根光线与物体的相交情况，这就大大提高了运算效率。2）多核处理器具有强大的并行计算能力，可以同时对屏幕上不同的区域进行渲染。我们也将充分利用这一点来加快运算速度，提高运算效率。技术内容：1）物理模拟子系统：该子系统的主要功能在于模拟场景中的各种物理现象，同时根据力学规律模拟物体的运动。包括场景中物体之间以及物体内部碰撞的检测与反应，柔软物体模拟，粒子系统，流体的模拟等等。2） 角色动画子系统：本子系统的主要功能是让虚拟人物做出用户的动作。其输入为动作捕捉得到用户的动作信息，输出为虚拟人物在每一个时刻的几何信息。这一部分的具体流程如下：虚拟人物的几何信息 用户的骨骼动作信息虚拟人物的骨骼动作信息通过数据库查找3） 光学渲染子系统：本子系统将充分利用多核处理器强大的并行计算能力，利用实时光线追踪算法平衡渲染质量和渲染速度这一对矛盾，从而搭建一个具有非凡真实感的虚拟场景，为观众的参与搭建起更绚丽的舞台，提高用户的视觉感受。关键技术三、基于视频内容的视觉自动标记与检索技术技术原理：关于视频内容的视觉自动标记与检索是当前多媒体研究领域的热点，有着广泛的应用和广阔的发展前景。这不同于传统意义上基于视频的检索技术。它涉及到视频内容分割、物体识别等计算机视觉领域许多研究的难点问题，同时又结合了网络的信息检索技术。用户通过简单的操作，如：在节目中点击所感兴趣的物品，系统便可以搜索到相关信息，供用户浏览。技术内容：图像理解对于计算机来说，是一项非常复杂和困难的事情，但现代科技理论的发展，多种交叉学科的互相促进，还是给解决这个问题带来很多机遇。从学科背景来看，研究内容涉及到计算机视觉、机器人学、人工智能、机器学习、图像处理等多种学科知识，而且有深厚的应用数学背景。物体识别的第一步是图像处理，我们希望得到多尺度图像中的有用信息，并且尽可能地去除噪声干扰；然后对高维的图像数据进行降维，在低维空间中准确、高效的学习到有用的信息。在此过程中，我们需要设计并运用有效的搜索算法，提高识别的准确率和效率。由此可见，研究物体识别技术的过程就是在探讨多种学科如何在计算机视觉领域中进行融合的过程。1） 改进的Shape Context方法：Shape Context对于物体轮廓形状特征有很强的表达能力，但是对于一般的输入图片而言，目标物体总是混杂于背景之间难以辨认。为了提高Shape Context的描述能力，我们从三个方面对其进行改进。首先，Shape Context的输入是图像的边界图，预处理图像可以得到相对清晰的边界图；其次，基于边界连接（Edge Linking）的结果，对轮廓进行分组（Contour Grouping），由此可以大大降低背景边界的干扰，减轻Shape Context描述的模糊性；最后，使用一种带有权重的距离度量来提高形状比较的性能。2） 投票识别方法：采用投票识别策略在图像中识别出目标物体。首先，建立一个关于目标物体的训练库，然后利用训练库中的特征点对输入图片进行投票，从而得到目标物体的假设，最后利用图像底层的分割信息对识别的假设进行验证。3） 智能化的视觉检索方法：突破现有网络检索方法只能由文字描述来进行信息检索的局限。通过对图像的理解，自动生成相应的关键字、标签或直接基于图像内容，通过匹配检索完成由图像到文字，图像到图像的搜索技术。本项目具体的考核指标包括：1、虚拟电视体验区（服务端、客户端）2、高清立体虚拟电视内容制作流程3、跨平台网、试验网的示范节目4、动作捕捉、合成数据库系统利用比较廉价的硬件平台搭建非接触式运动捕捉设备，能够较准确的得到用户的动作信息，并能利用到虚拟角色上，是其在兼顾角色本身的几何特点的基础上较好的模拟观众的动作。在动作的转换期间，虚拟角色的动作过渡流畅，真实，自然。5、虚拟角色电视节目的制作和渲染系统在客户端能以较高的帧速率(20fps以上)实时生成具有较高真实感的场景。场景中的人物能自由的互相交流，并在发生碰撞时能做出逼真的反应。6、基于视频内容的信息提取与检索系统对于视频中的人物及物体能够很好的进行跟踪，不需要过多人工操作。7、技术专利34项8、发表EI、SCI论文57篇三、相关领域国内外技术现状、发展趋势及国内现有工作基础 “数字化”、“高清晰度化”、“立体化”是电视技术发展的3大方向。目前，人们已经不仅仅满足于对二维平面图像的欣赏，希望有更高层次的视觉享受，高清、立体、互动体验在这方面可以满足人们的感官享受，在“身临其境”中，通过虚拟角色的参与达到人们智趣、情感、信息的交流。虚拟电视体验中心可以让人们先行一步，利用现有的电视接收机收看高清、立体电视，根据受众的不同要求，通过选配专用的外设，即可真正参与到节目中，实现虚拟互动体验，引起视觉、听觉方式的变革。目前，国内外在立体电视内容制作、电视娱乐互动方式上还存在许多空白，还缺少成熟的专业制作流程和有效的互动实现方案，这已成为下一代电视发展的障碍。搭建这样一个互动娱乐平台可充分利用现有的有线电视广播网和Internet网，应用幻维数码已有的高清影视制作平台、虚拟动画人物制作平台，结合我们自主研发的计算机图形学、计算机视觉等领域的前沿研究成果，以虚拟现实的方式让观众亲身参与完成高清立体交互内容（节目）的现场制作和实现。复旦大学计算机科学与工程系与上海文广影视集团所属的幻维数码有限公司联合，具有坚实的技术基础和研发力量：1、 幻维数码的专业设备和从事多年的影视节目制作技术：04、05年分获上海市科技进步奖06年被上海公共服务平台管理中心授予上海市数字动漫影视技术公共服务平台06年在幻维数码基地完成上海文广互动电视数字游戏中心的平台搭建代表作品有上海世博宣传片、上海城市形象片、第一财经、东方卫视、加油！好男儿、舞林大会、色拉英语乐园、小鬼别动队、游戏过场片等2、 复旦大学图形图像前沿研究成果：复旦大学沈一帆教授是英国爱丁堡大学博士，他已发表了超过30篇论文，有多篇论文发表在国际顶级会议（IJCAI，ICML，SIGGRAPH，IEEE Visualization，Information Visualization，ICPR）和重要期刊（如Frontiers in Bioscience，IEEE Transactions on Visualization and Computer Graphics）上，在其研究领域具有很高的学术水平；编译著作：3D游戏（上下册）；承担多个科研项目，包括：国家自然科学基金面上项目两项、上海市科委科技攻关项目两项（2005、2007）等。复旦大学信息学院计算机科学与工程系正在积极组建“互动媒体技术研究中心”，组织科研力量，力图攻克互动媒体关键难题。3、 幻维数码隶属上海文广影视集团，与专业电视研发机构有紧密的战略合作，具有数字电视技术与平台建设的专业优势。四、技术、经济效益、推广应用及产业化前景该项目充分利用并发展计算机图形、视觉等领域的一系列前沿研究成果，包括无接触式的动作捕捉技术、实时光线追踪技术、视频内容分割、物体识别以及信息检索技术等。除了技术上的领先优势外，还将对社会的政治、经济各方面产生重大的影响。自主体验电视改变了传统电视节目的单向传输方式，让观众在获得新闻、体育、财经、医疗健康等资讯的同时，还可在观众互动娱乐节目中走进拍摄现场，参与剧情的发展、甚至在某种程度上将剧情发展的决定权交给电视观众，实现真正意义上的娱乐互动。如：场馆介绍、旅游、辩论会、竞猜、选秀乃至电视购物等节目。自主体验电视还可以推进三维内容的商务应用和增值服务的开发，为国内外广播电视、互联网等行业新媒体技术的应用、开发提供技术基础和解决方案，支撑上海的现代服务业，具有良好的产业化前景。五、计划实施年限、经费概算与资金筹措本项目计划在三年内完成，分为三个阶段进行：第一阶段 2007-10-01 至 2008-10-01 实现“无接触式动作捕捉和实时动作生成技术”第二阶段2008-10-01 至2009-10-01 实现“互动性自主实现技术”第三阶段2009-10-01 至2010-10-01 实现“基于视频内容的视觉自动标记与检索技术”经费概算为0.33亿元，其中申请专项经费0.3亿元，上海市科委配套300万元(所得经费全部用于该项目的科研业务)。具体的经费预算参见附件国家科技计划项目概算申报书。六、必要的支撑条件、组织措施及实施方案本项目依托上海文广影视集团，旗下的幻维数码有限公司一直以来受到上海及全国各大电视台和广告界的支持与关注，并在国内的影视媒体和广告制作业享有盛誉，致力于将最新的数码科技及制作理念带入影视创作，具有数字电视技术与平台建设的专业优势，保持了在这一领域的最前沿地位。七、其他说明无。附件一：项目简介（概要阐述项目建议书全部内容，约30005000字）附件二：国家科技计划项目概算申报书附件一：项目简介（概要阐述项目建议书全部内容，约30005000字）“数字化”、“高清晰度化”、“立体化”是电视技术发展的3大方向。目前，人们已经不仅仅满足于对二维平面图像的欣赏，希望有更高层次的视觉享受，高清、立体、互动体验在这方面可以满足人们的感官享受，在“身临其境”中，通过虚拟角色的参与达到人们智趣、情感、信息的交流。虚拟电视体验中心可以让人们先行一步，利用现有的电视接收机收看高清、立体电视，根据受众的不同要求，通过选配专用的外设，即可真正参与到节目中，实现虚拟互动体验，引起视觉、听觉方式的变革。目前，国内外在立体电视内容制作、电视娱乐互动方式上还存在许多空白，还缺少成熟的专业制作流程和有效的互动实现方案，这已成为下一代电视发展的障碍。搭建这样一个互动娱乐平台可充分利用现有的有线电视广播网和Internet网，应用幻维数码已有的高清影视制作平台、虚拟动画人物制作平台，结合我们自主研发的计算机图形学、计算机视觉等领域的前沿研究成果，以虚拟现实的方式让观众亲身参与完成高清立体交互内容（节目）的现场制作和实现。搭建一个能让观众真正参与并能体会到“真实场景的”虚拟电视体验中心，同时解决基于“角色参与、视频图像检索”为核心的自主实现技术，完成高清、立体、互动的新电视模式，推进三维内容的商务应用和增值服务的开发，为国内外广播电视、互联网等行业新媒体技术的应用、开发提供技术基础和解决方案。主要包括三个关键技术：1）无接触式动作捕捉和实时动作生成技术；2）虚拟扮演和虚拟互动演播室；3）关键技术一、无接触式动作捕捉和实时动作生成技术技术原理：虚拟角色的互动电视节目制作过程中，通过有效地捕捉用户的动作信息，可以生成表情动作逼真的虚拟形象或表达用户的某种指令、情感，使得电视节目更加的生动有趣。运动捕捉是近年来风靡全球的一项动作生成技术，被广泛的应用于人体工程学、模拟训练、生物力学、机器人学、虚拟现实以及包括游戏、广告、动画、电影在内的一系列娱乐产业中。但是传统的动作捕捉方法往往需要在演员身上贴一些反光球来获得动作信息，并不适合家庭使用。本项目将研究无接触式的动作捕捉技术，主要的技术路线是利用视觉方法配合一些独特的设备(例如装有加速度仪和微型陀螺仪的手柄)来反演出三维空间中的人体运动信息，并将其加载于虚拟模型上，从而使虚拟人物复制用户的动作。用户的动作信息不仅可以在虚拟角色上生成真实感较强的运动，而且还可以用于数值分析及机器学习，从而使人体运动数据的自动分析与合成成为可能。然而，该技术获取到的数据的高维度却为其分析及合成带来了巨大难题。本项目还采用非线性降维思想，从高维运动数据中提取关键特征，并将其映射到低维参数空间。在对低维序列的周期性及变迁规律进行分析后，将运动划分为基本动作单元并建立运动图表，继而通过插值等机制实现动作单元的拼接、合成与预测，从而使动作的过渡无缝，平滑，自然。技术内容：本项目的最终目的是建立一套无接触式的普及型的动作捕捉设备及完成一个动作的实时合成平台。1）利用一些力学传感器配合摄像头反演出观众的动作信息。2）使用流形学习的方法，提取运动中的特征参数，如感情色彩、个人风格等，为后续合成工作中的交互性操作提供可能。3）为虚拟角色建立动作数据库，根据用户的动作信息查找与虚拟人物最接近的骨骼动画。4）在动作与动作的结合部分，利用低维曲线寻找动作单元间的帧对应关系，使用线性插值对动作单元进行时间变形或对齐；随后，使用改进后的偏移映射算法对对齐后的动作单元进行合成，从而实现动作单元间的拼接及融合操作；最后根据需要对合成后的运动序列进行速度或路径的调整。关键技术二、虚拟扮演和虚拟互动演播室技术目标：本部分的主要目标是在观众的客户端上建立起虚拟场景的实时渲染平台，为观众的参与提供舞台。本部分要实现的主要内容有光学渲染子系统、物理模拟子系统，角色动画子系统和场景管理子系统。主要的技术指标是实时的(20帧每秒以上)渲染出有一定真实感的虚拟场景并呈现在用户的电视机上。技术原理：传统的游戏引擎为了平衡图像生成的速度与质量的矛盾，往往通过“画”的方法而非真实的光学模型进行渲染，因此对一些复杂的光学现象很难进行模拟。而随着计算机硬件特别是多核处理器的发展，对真实光学模型进行实时模拟的方法已经出现，这就是实时光线追踪技术。该技术充分利用了多核处理器的超强并行计算能力，能在确保一定帧速率的情况下输出具有非凡真实感的图像。该技术对传统光线追踪的改进主要的体现在如下两个方面：1）通过对光纤束的追踪来加速光线追踪：传统光线追踪的主要瓶颈和计算量在计算每根光线与场景中物体的相交情况上。而利用光纤束则可以一次性判断多根光线与物体的相交情况，这就大大提高了运算效率。2）多核处理器具有强大的并行计算能力，可以同时对屏幕上不同的区域进行渲染。我们也将充分利用这一点来加快运算速度，提高运算效率。技术内容：1） 物理模拟子系统：该子系统的主要功能在于模拟场景中的各种物理现象，同时根据力学规律模拟物体的运动。包括场景中物体之间以及物体内部碰撞的检测与反应，柔软物体模拟，粒子系统，流体的模拟等等。2） 角色动画子系统：本子系统的主要功能是让虚拟人物做出用户的动作。其输入为动作捕捉得到用户的动作信息，输出为虚拟人物在每一个时刻的几何信息。3） 光学渲染子系统：本子系统将充分利用多核处理器强大的并行计算能力，利用实时光线追踪算法平衡渲染质量和渲染速度这一对矛盾，从而搭建一个具有非凡真实感的虚拟场景，为观众的参与搭建起更绚丽的舞台，提高用户的视觉感受。关键技术三、基于视频内容的视觉自动标记与检索技术技术原理：关于视频内容的视觉自动标记与检索是当前多媒体研究领域的热点，有着广泛的应用和广阔的发展前景。这不同于传统意义上基于视频的检索技术。它涉及到视频内容分割、物体识别等计算机视觉领域许多研究的难点问题，同时又结合了网络的信息检索技术。用户通过简单的操作，如：在节目中点击所感兴趣的物品，系统便可以搜索到相关信息，供用户浏览。技术内容：图像理解对于计算机来说，是一项非常复杂和困难的事情，但现代科技理论的发展，多种交叉学科的互相促进，还是给解决这个问题带来很多机遇