可视媒体几何计算的理论与方法

推荐国家自然科学奖项目公示项目名称可视媒体几何计算的理论与方法推荐单位工信部完成人（及完成单位）：胡事民,黄继武,艾海舟,徐昆,陈韬清华大学、中山大学项目简介：随着信息获取技术和网络技术的高速发展，可视媒体已成为信息处理和信息资源建设的主体。传统可视媒体计算方法一般针对像素等表层元素进行操作，缺乏结构化的高层语义信息，存在较大局限性。可视媒体虽然呈现出无序、分散的特点，然而，其作为视觉元素表达形式，本质上具有内在的几何模式。心理学也表明，几何模式是视觉认知的重要依据。因此，几何模式为实现可视媒体智能计算提供了重要线索。本项目在国家973计划和国家杰出青年基金等项目的资助下，从可视媒体内在几何模式的本质属性入手，揭示了多种几何模式与可视媒体的联系，提出了内嵌几何模式的思想，建立了以几何模式辅助可视媒体计算的框架，形成了可视媒体几何计算的系统理论。本项目涵盖了不同粒度的典型几何模式：包括几何不变量（抽象）、形状几何（粗粒度）、网格几何（细粒度）。主要发现点为：1.建立了可视媒体形状几何的计算体系。提出了图像中形状几何的视觉显著性检测、自动提取和相似匹配算法，大幅提高检测准确率和召回率。进一步提出了基于形状几何的互联网图像合成方法Sketch2Photo，开辟了基于形状几何进行图像合成的新方向，被IEEEFellow、MIT教授WTFreeman评价为“相当好的结果”，被法国Netexplo评选为2009年全球互联网数字媒体领域十大创新技术，视频浏览过百万次，得到国际媒体广泛报道。显著性检测算法在CVPR2011上发表的400余篇论文中引用次数排名第二。2.提出了可视媒体几何不变量的计算模型。揭示了频域均值分量的几何不变机理，提出了图像旋转不变量和几何不变量的计算模型，扩展了不变量抵抗变换的能力，并应用于图像水印生成、人脸检测和人脸跟踪。被曾担任IEEETPAMI副主编的Google公司总监LVincent博士评价为有“印象深刻的效果”，誉为“清华检测器”。获CVPR2007最佳学生论文奖，得到英国皇家工程院院士JChambers教授的正面引用。3.揭示了内嵌网格几何与可视媒体表达的关系。设计了高维层次网格和梯度网格等内嵌网格几何，给出了可视媒体参数化表达，提出了基于内嵌网格几何的可视媒体计算方法，具有保持拓扑和计算复杂度低的优点，首次实现了复杂拓扑条件下图像的梯度域矢量化，极大提升了计算效率，为解决可视媒体计算中的性能瓶颈这一基本难题提供了新的思路。项目成果取得了国际领先的创新突破，获得了广泛的国际学术影响，为发展可视媒体智能计算做出了创造性贡献。项目成果20篇论文共被SCI他引700余次；其中，8篇代表性论文共被SCI他引400余次；在SIGGRAPH等国际会议上做口头报告十余次。以该项目成果作为核心成果的973计划项目《可视媒体智能处理的理论与方法》验收被评为优秀。项目组1人入选第一批国家“万人计划”，2人获国家杰出青年基金资助，2人获CCF优秀博士论文奖，以项目组成员为主的团队入选教育部创新团队。主要完成人情况：（具体报名包括完成人姓名、排名、技术职称、工作单位、完成单位、对本项目技术创造性贡献、曾获国家科技奖励情况）姓名排名技术职称工作单位完成单位创造性贡献曾获国家科技奖励情况胡事民1教授清华大学清华大学提出了内嵌几何模式的思想,建立了以几何模式辅助可视媒体计算的框架；建立了可视媒体形状几何的计算体系,设计了内嵌参数化梯度网格。2011年,特征敏感的三维模型几何处理技术及应用,国家技术发明奖二等奖,排名1；黄继武2教授中山大学中山大学揭示了离散余弦频域均值分量(DC分量)的几何不变机理，并通过实验证明了DC分量相比其他分量的鲁棒性和优越性，构建了可以抵抗多种变换的几何不变量。无艾海舟3教授清华大学清华大学基于宽度优先搜索树结构和启发式粒度空间稀疏特征选择等策略，提出了旋转不变量计算模型；基于多尺度时序观测模型、层级例子滤波和时序概率分析，设计了几何不变量计算模型。无徐昆4副教授清华大学清华大学揭示了内嵌网格几何与可视媒体表达的关系，设计了高维层次网格几何，提出了一种高效的可视媒体编辑传播方法，提出的方法给出了首个在参数化域上的编辑传播解法。无陈韬5助理研究员清华大学清华大学设计了基于形状几何的一致性过滤方案，提出了互联网图像合成方法Sketch2Photo。无代表性论文专著目录论文名称/刊名/作者影响因子年卷页码发表时间GlobalContrastbasedSalientRegionDetection/IEEECVPR/Ming-MingCheng,Guo-XinZhang,NiloyJ.Mitra,XiaoleiHuang,Shi-MinHu/2011年409-416页2011年6月Sketch2Photo:internetimagemontage/ACMTransactionsonGraphics/TaoChen,Ming-MingCheng,PingTan,ArielShamir,Shi-MinHu3.7252009年28(5)卷124:1-124:10页2009年12月Trackinginlowframeratevideo:Acascadeparticlefilterwithdiscriminativeobserversofdifferentlifespans/IEEETransactionsonPatternAnalysisandMachineIntelligence(andIEEECVPR)/YuanLi,HaizhouAi,TakayoshiYamashita,ShihongLao,MasatoKawade5.6942008年30(10)卷1728-1740页2008年10月Efficientaffinity-basededitpropagationusingk-dtree/ACMTransactionsonGraphics/KunXu,YongLi,TaoJu,Shi-MinHu,Tian-QiangLiu3.7252009年28(5)卷118:1-118:6页2009年12月High-performancerotationinvariantmultiviewfacedetection/IEEETransactionsonPatternAnalysisandMachineIntelligence/ChangHuang,HaizhouAi,YuanLi,ShihongLao5.6942007年29(4)卷671-686页2007年04月EmbeddingimagewatermarksinDCcomponents/IEEETransactionsonCircuitsandSystemsforVideoTechnology/JiwuHuang,YunQ.Shi,andYiShi2.2592000年10(6)卷974-979页2000年09月RepFinder:findingapproximatelyrepeatedsceneelementsforimageediting/ACMTransactionsonGraphics/Ming-MingCheng,Fang-LueZhang,NiloyJ.Mitra,XiaoleiHuang,Shi-MinHu3.7252010年29(4)卷83:1-83:8页2010年07月Automaticandtop