2025QECon全球软件质量效能大会：多模态图像生成与质量评价

刘笑宏｜上海交通大学副教授、上海创智学院全时导师个人介绍个人介绍•2018.01–2021.11加拿大麦克马斯特大学博士•2022.01–2024.12上海交通大学助理教授•2025.01–至今上海交通大学副教授•2025.08–至今上海创智学院全时导师成果简述：研究方向为计算机视觉，多媒体信息处理。现已发表国际顶级会议与期刊论文100+CVPR/ICCV/ECCV/NeurIPS上共发表论文23篇，并获得ACMMM’24最佳论文奖提名科研项目：主持国自然青年基金、四川省青年基金、“交大之星”医工交叉研究基金青年项目，承担华为、腾讯、美团、OPPO等企业委托的技术研发项目，并参与国自然重点项目荣誉获奖：入选2022年上海市领军人才（海外）、上海市浦江人才，获得2023年华为难题揭榜火花奖、2024年微软亚洲研究院铸星计划（全球17人）、2025年世界人工智能大会璀璨明星提名奖学术服务：现担任上海市计算机学会计算机视觉专委会副秘书长、CSIG青年工作委员会委员个人主页：/~xiaohongliu/2223322335QiQin,LeZhuo,YiXin,RuoyiDu,ZhenLi,BinFu,YitingLu,JiakangYuan,XinyueLi,DongyangLiu,XiangyangZhu,ManyuanZhang,WillBeddow,ErwannMillon,VictorPerez,WenhaiWang,ConghuiHe,BoZhang,XiaohongLiu,HongshengLi,YuQiao,ChangXu,PengGao.Lumina-Image2.0:AUnifiedandEfficientImageGenerativeFramework,ICCV2025.5QiQin,QiQin,LeZhuo,YiXin,RuoyiDu,ZhenLi,BinFu,YitingLu,JiakangYuan,XinyueLi,DongyangLiu,XiangyangZhu,ManyuanZhang,WillBeddow,ErwannMillon,VictorPerez,WenhaiWang,ConghuiHe,BoZhang,XiaohongLiu,HongshengLi,YuQiao,ChangXu,PengGao.Lumina-Image2.0:AUnifiedandEfficientImageGenerativeFramework,ICCV2025.6Lumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLi,DongyangLiu,ShichengLi,VictorShea-JayHuang,YupengZhou,RenruiZhang,LeZhuo,TianchengHan,XiaoqingSun,SiqiLuo,MengmengWang,BinFu,YuewenCao,HongshengLi,GuangtaoZhai,XiaohongLiu,YuQiao,PengGao.Lumina-mGPT2.0:Stand-AloneAutoRegressiveImageModeling,SubmittedtoTPAMI.7Lumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLi,DongyangLiu,ShichengLi,VictorShea-JayHuang,YupengZhou,RenruiZhang,LeZhuo,TianchengHan,XiaoqingSun,SiqiLuo,MengmengWang,BinFu,YuewenCao,HongshengLi,GuangtaoZhai,XiaohongLiu,YuQiao,PengGao.Lumina-mGPT2.0:Stand-AloneAutoRegressiveImageModeling,SubmittedtoTPAMI.89YiXin,JunchengYan,QiQin,ZhenLi,DongyangLiu,ShichengLi,VictorShea-JayHuang,YupengZhou,RenruiZhang,LeZhuo,TianchengHan,XiaoqingSun,SiqiLuo,MengmengWang,BinFu,YuewenCao,HongshengLi,GuangtaoZhai,XiaohongLiu,YuQiao,PengGao.Lumina-mGPT2.0:Stand-AloneAutoRegressiveImageModeling,SubmittedtoTPAMI.9Lumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLumina.mGPT2.0：基于自回归模型YiXin,JunchengYan,QiQin,ZhenLi,DongyangLiu,ShichengLi,VictorShea-JayHuang,YupengZhou,RenruiZhang,LeZhuo,TianchengHan,XiaoqingSun,SiqiLuo,MengmengWang,BinFu,YuewenCao,HongshengLi,GuangtaoZhai,XiaohongLiu,YuQiao,PengGao.Lumina-mGPT2.0:Stand-AloneAutoRegressiveImageModeling,SubmittedtoTPAMI.2233多物体图像编辑中的数量感知学习待编辑图混叠现象Threerabbitsandtwofoxes“bears”多物体图像编辑中的数量感知学习多物体图像编辑中的数量感知学习多物体图像编辑中的数量感知学习多物体视频生成现有问题l现有视频生成模型的问题有如下两个挑战：配runningonthegrasslandl解决思路：层次化生成（LayerGeneration视频生成的全新思路层次化视频生成方案层次化视频生成方案l支持迭代生成l生成视频高度和谐（影子/倒影等）l更多控制结果美学二维码生成••二维码作为连接真实世界与数字世界的重要桥梁，现已被广泛使用。然而，现有黑二维码基础Text2QR:文生美学二维码算法框架Text2QR:文生美学二维码算法框架Text2QR:文生美学二维码Text2QR:文生美学二维码标识符损失（MarkerLoss，ℒm）和谐度损失（HarmonizingLoss，ℒh）OptimizerOptimizerVZ&DVI&(Unscannable)EQ\*jc3\*hps22\o\al(\s\up1(人),I&)(Unscannable)Q(Scannable)ObjectivefunctionLLmLcLhBlueprintText2QR:文生美学二维码Text2QR:文生美学二维码Text2QR:文生美学二维码Text2QR:文生美学二维码Face2QR:图生美学二维码Face2QR:图生美学二维码Face2QR:图生美学二维码Face2QR:图生美学二维码基于生成式感知先验的低光图像增强•利用多模态大模型从多个方面评价低光照图像的视觉质量，输出全局和局部的感知先验•以视觉质量评价结果为依据，对不同区域进行针对性增强，初步实现了LLIE-Agent概念•算法性能较为鲁棒，在真实低光照数据集上效果较好基于生成式感知先验的低光图像增强基于生成式感知先验的低光图像增强基于生成式感知先验的低光图像增强2233A-bench:大模型生成内容质量评价能力的基准测试••测试现有多模态大模型在生成视觉内容质量评价方面的能力•通过建立多维度基准测试方法，推动多模态评价大模型的发展A-bench:大模型生成内容质量评价能力的基准测试••通过构建数据明确大模型是否具备与质量评价任务相关的核心能力：1.高层图像语义理解能力（图文对齐、复杂概念识别等）2.低层图像质量感知能力（技术失真、生成失真、风格等）A-bench:大模型生成内容质量评价能力的基准测试••语义理解部分包括：基础识别能力（BasicRecognition）、特殊知识理解能力（OutsideKnowledgeRealization）、复杂语义识别能力（PitfallsDiscrimination）基础识别能力基础识别能力特殊知识理解能力特殊知识理解能力A-bench:大模型生成内容质量评价能力的基准测试••语义理解部分包括：基础识别能力（BasicRecognition）、特殊知识理解能力（OutsideKnowledgeRealization）、复杂语义识别能力（PitfallsDiscrimination）复杂语义识别能力复杂语义识别能力A-bench:大模型生成内容质量评价能力的基准测试••质量感知部分包括：技术质量感知（TechnicalQualityPerception）、美学质量感知（AestheticQualityEvaluation）、生成失真感知（GenerativeDistortionAssessment）技术质量感知美学质量感知A-bench:大模型生成内容质量评价能力的基准测试•反映出未经微调的多模态大模型并非是生成视觉内容评价的专家•反映出未经微调的多模态大模型并非是生成视觉内容评价的专家，目前与人类感知仍存在显著差距，且对不同失真维度的评价鲁棒性不高。Q-Eval-100K:生成图像自动化评测•大规模AIGC质量评价数据集还未建立，质量评价的规模定律未被探究最大的MOS评分标注数据集Q-Eval-100K，可用于建立AIGC视觉感知质量与图文一致性评