15 - 马占宇 - 北京邮电 - 基于域自适应的小样本学习1

马马占宇占宇 北京邮电大学北京邮电大学 2020年年2月月 基于域自适应的小样本学习基于域自适应的小样本学习 智源论坛智源论坛 Live | 青年科学家线上报告会青年科学家线上报告会 2 1.1.基本情况介绍基本情况介绍 2.2.现有研究基础现有研究基础 3.3.拟拟开展开展的工作的工作 报告报告提纲提纲 3 教育与工作经历教育与工作经历 2000/092004/07北京邮电大学学士 2004/092007/04北京邮电大学硕士 2007/092011/12瑞典皇家工学院博士 2012/012013/06瑞典皇家工学院博士后 2013/072014/11北京邮电大学讲师 2014/12 2019/11北京邮电大学副教授 2019/12-至今北京邮电大学教授 2014/072014/08伦敦大学学院访问学者 2015/072020/06丹麦奥尔堡大学兼职副教授、博导 马占宇 北京邮电大学 人工智能学院 教授 博导 主要研究方向：模式识别与机器学习、计算机视觉 4 学术学术论文论文 SCI论文45篇，一作19+通讯15 中科院一区12篇，IEEE TPAMI 3篇（一作篇（一作2） 授权发明专利15项（第一发明人13项） 软件著作权3项 参与制定国家标准5项（起草人） SCI期刊期刊影响因子影响因子篇数篇数 IEEE TPAMI17.733 IEEE TNNLS11.6834 IEEE Network7.5031 IEEE J-IoT9.5151 IEEE TVT5.3394 IEEE TSCVT4.0462 Pattern Recognition5.8981 Signal Processing4.0862 NEUROCOMPUTING4.0725 5 奖励荣誉奖励荣誉 奖励荣誉奖励荣誉年度年度角色角色 中国人工智能学会中国人工智能学会“吴文俊人工智能科学技 术奖”科技进步一等奖一等奖 2017年第一完成人第一完成人 “北京市科学技术奖” 科技进步二等奖二等奖 2017年第三完成人 “北京青年优秀科技论文” 一等奖一等奖（每两年评一次每两年评一次） 2018年 第一作者第一作者 IEEE IC-NIDC国际会议 最佳论文奖最佳论文奖（数字内容领域重要国际会议） 2016年 通信作者通信作者 人才计划人才计划年度年度 国家自然科学基金国家自然科学基金“优青”“优青”项目项目2019年 北京市科技新星北京市科技新星计划2017年 6 理事、副秘书长理事、副秘书长中国图象图形学学会 MLTC 副主任副主任 亚太信号与信息处理联合会 (APSIPA) CV专委会秘书长专委会秘书长、高级会员、高级会员中国计算机学会 高级会员IEEE 学术学术服务服务 学术组织学术组织 技术委员会联合主席技术委员会联合主席IEEE SPLINE 2016 （丹麦） 程序委员会联合主席程序委员会联合主席IEEE MLSP 2018 （丹麦） TPC委员40余次余次CVPR、ICCV、IJCAI、AAAI等 国际会议国际会议 7 编委编委 IEEE Trans. on VT（二区二区） IEEE ACCESS（二区二区） NEUROCOMPUTING（二区二区） 中国邮电高校学报(英文版) 客座编辑IEEE Trans. on NNLS （一区一区）等 年度杰出编辑年度杰出编辑 月度最佳编辑月度最佳编辑 IEEE ACCESS（二区二区） 学术学术服务服务 国内外期刊国内外期刊 8 报告报告提纲提纲 1.1.基本情况介绍基本情况介绍 2.2.现有研究基础现有研究基础 3.3.拟拟开展开展的工作的工作 9 研究背景研究背景 人工智能发展进入新人工智能发展进入新阶段，已经成为阶段，已经成为国际竞争国际竞争的新焦点的新焦点 人工智能是国家发展战略的核心要素之一 以模式识别与机器学习为基础的数据建模与分数据建模与分 析析，是人工智能实现突破与持续发展的基石基石 10 数据数据 驱动驱动 视觉 大数据 语音 大数据 时空 大数据 文本 大数据 研究背景研究背景 知识知识 学习学习 知识 图谱 城市 安防 智慧 医疗 场景 感知 类脑 计算 模型模型 构建构建 数据的非高斯建数据的非高斯建 模与分析模与分析 非非高斯高斯特性特性 （有界、有序、（有界、有序、 比例分布等）比例分布等） 11 现有研究基础现有研究基础 工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法 工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架 工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法 12 工作进展一：工作进展一： 非高斯概率分布的非高斯概率分布的 高效建模方法高效建模方法 挑战挑战：非高斯概率分布的贝叶斯估计中，目标函数的 积分无法直接计算无法直接计算，模型估计的解析解算法解析解算法缺失缺失，采采 样样方法导致计算量大 如何获得解析解算如何获得解析解算 法，提升计算效率？法，提升计算效率？ 难点难点一一 如何保证算法的如何保证算法的 收敛性？收敛性？ 难点二难点二 示例一:伽马函数的表达式 （beta、Dirichlet分布） = 0 1 = =0 1 ! + + 1 2 2+ 示例二:第一类修正贝塞尔函数 （vMF分布） 13 创新点创新点 提出扩展变分法，构造新新的的变分下界，使贝叶斯积分可直接直接计算，避免计算，避免 采样，得到了解析解算法解析解算法 = ln X,Z ln(Z) 经典变分法经典变分法 = ln X,Z ln Z 扩展扩展变分法变分法 ln X,Z ln Z ln X,Z ln X,Z + ln X,Z 积分可求 引入辅助函数 对于非高斯分布， ln X,Z 积分 不可求，解析解 算法不存在不存在 = ( ) 构造新的新的变分下 界，优化( )得得 到解析解到解析解算法算法 Zhanyu Ma, et al., “Bayesian Estimation of Beta Mixture Models with Variational Inference”, IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI), 长文长文. Zhanyu Ma, et al., “Bayesian Estimation of Dirichlet Mixture Model with Variational Inference”, Pattern Recognition (PR). 工作进展一：工作进展一： 非高斯概率分布的非高斯概率分布的 高效建模方法高效建模方法 14 创新点创新点 提出扩展变分法，构造新的新的变分下界，使贝叶斯积分可直接计算，避免直接计算，避免 采样，得到了解析解算法解析解算法 将单变量下界近似发展为多变量多变量下界近似，增加扩展变分法的灵活性灵活性 变分下界变分下界多变量近似多变量近似单变量近似单变量近似 多种近似策略选择多种近似策略选择 Jalil Taghia, Zhanyu Ma, et al., “Bayesian Estimation of the von-Mises Fisher Mixture Model with Variational Inference”, IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI), 长长文文. 工作进展一：工作进展一： 非高斯概率分布的非高斯概率分布的 高效建模方法高效建模方法 15 创新点创新点 提出扩展变分法，构造新的新的变分下界，使贝叶斯积分可直接计算，避免直接计算，避免 采样，得到了解析解算法解析解算法 将单变量下界近似发展为多变量多变量下界近似，增加扩展变分法的灵活性灵活性 突破：突破：实现实现了非高斯概率模型的了非高斯概率模型的高效贝叶斯估高效贝叶斯估 计计，针对典型非高斯分布推导出，针对典型非高斯分布推导出解析解算法解析解算法， 与数值解算法相比，计算效率平均与数值解算法相比，计算效率平均提升提升73% 非高斯概率模型非高斯概率模型扩展变分法扩展变分法MCMC采样采样性能提升性能提升 IBMM0.381.2369% IDMM1.194.5674% InDMM1.034.1775% 扩展变分扩展变分法法与与MCMC采样方法计算时间对比（单位：秒）采样方法计算时间对比（单位：秒） 工作进展一：工作进展一： 非高斯概率分布的非高斯概率分布的 高效建模方法高效建模方法 16 现有研究基础现有研究基础 工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法 工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架 工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法 17 挑战：挑战：因因非高斯分布数据的特性（有界、比例分布）， 传统的线性变换方法不适用不适用，数据的分布无法无法保留保留且 算法复杂复杂度高度高 如何在有效降维同如何在有效降维同 时保持分布特性？时保持分布特性？ 难点难点一一 如何提升相应算法如何提升相应算法 的计算效率？的计算效率？ 难点二难点二 工作进展二：工作进展二： 非高斯分布数据的非高斯分布数据的 可靠特征提取框架可靠特征提取框架 18 创新点创新点 针对有界分布数据矩阵，提出了在数据分布的参数域参数域进行共轭贝叶斯非 负矩阵分解的思路 Zhanyu Ma et al., “Variational Bayesian Matrix Factorization for Bounded Support Data”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)，长文长文. 有界分布有界分布 数据矩阵 服从beta分布 构建贝叶斯 估计模型 , + 原矩阵的原矩阵的非线非线 性重构性重构 数据值分布在数据值分布在 0,1区间区间 (|) () 工作进展二：工作进展二： 非高斯分布数据的非高斯分布数据的 可靠特征提取框架可靠特征提取框架 服从gamma先验 19 x1 x2,1 x3,1 x4,1 x1,2 x2,2 R u1 u2 R 1 x1,1 u3 创新点创新点 针对有界分布数据矩阵，提出了在数据分布的参数域参数域进行共轭贝叶斯非 负矩阵分解的思路 利用非高斯中性矢量变量的“互独立”、“可交换”、“可聚集”性质， 提出了最最优非线性快速独立化优非线性快速独立化方法方法 Zhanyu Ma, et al., “Nonlinear Decorrelation of Neutral Vector Variable: Theory and Applications”, IEEE Transactions on Neural Networks and Learning Systems (TNNLS). 中性矢量 作为输入 输出一组相互独立的变量 1= 1,1 1,1+ 2,1 2= 3,1 4,1+ 3,1 3= 1,2 1,2+ 2,2 工作进展二：工作进展二： 非高斯分布数据的非高斯分布数据的 可靠特征提取框架可靠特征提取框架 20 传统非负矩阵分解:()( ) 计 算 复 杂 度 创新方法创新方法:() 工作进展二：工作进展二： 非高斯分布数据的非高斯分布数据的 可靠特征提取框架可靠特征提取框架 Zhanyu Ma et al., “Variational Bayesian Matrix Factorization for Bounded Support Data”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)，长文长文. 突破：突破：保留了数据保留了数据有界有界/比例比例分布特性分布特性，推导出，推导出解析解析 解解算法，计算复杂度从算法，计算复杂度从指数指数/平方降低到线性平方降低到线性 计 算 复 杂 度 传统主成分分析:O(TP2logP) 创新方法创新方法:O(TPlogP) 21 现有研究基础现有研究基础 工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法 工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架 工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法 22 挑战：挑战：传统方法采用高斯分布传统方法采用高斯分布建模，导致建模，导致模型与数据模型与数据 不匹配不匹配，带来，带来多源异构多源异构信息信息交互交互融合融合困难的问题困难的问题 如何利用数据分布如何利用数据分布 特性准确建模？特性准确建模？ 难点难点一一 如何促进跨模态信如何促进跨模态信 息的交互融合？息的交互融合？ 难点二难点二 工作进展三：工作进展三： 非高斯分布数据的非高斯分布数据的 准确分析与融合方法准确分析与融合方法 语音线谱频率（有序）DNA甲基化数据（有界） 图像像素（有界） 词袋模型（比例数据） 细粒度草图-图像跨模态检索 23 创新点创新点 提出了面向典型非高斯分布数据的准确建模方法 图像：针对R-HoG非负分布非负分布特征，提出基于逆狄利克雷分布的非高斯 图像特征提取特征提取模型，分类准确率提升提升3%，检测准确率提升提升1.4% Zhanyu Ma et al., “Short Utterance based Speech Language Identification in Intelligent Vehicles with Time-scale Modifications and Deep Bottleneck Features”, IEEE Transactions on Vehicular Technology (TVT). Zhanyu Ma et al., “Variational Bayesian Learning for Dirichlet Process Mixture of Inverted Dirichlet Distributions in Non-Gaussian Image Feature Modeling”, IEEE Transactions on Neural Network and Learning Systems (TNNLS). 工作进展三：工作进展三： 非高斯分布数据的非高斯分布数据的 准确分析与融合方法准确分析与融合方法 24 创新点创新点 提出了时空关联融合、耦合子空间投影等方法 设计跨模态“草图-图像”非高斯耦合子空间非高斯耦合子空间学习 框架，与最好的方法比较，百万级百万级草图数据库检 索mAP提升提升0.05 Peng Xu, Yongye Huang, Tongtong Yuan, Kaiyue Pang, Yi-Zhe Song, Tao Xiang, Timothy Hospedales, Zhanyu Ma*, and Jun Guo, “SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval”, CVPR. Sheng Gao, Hao Luo, Da Chen, Shantao Li, Patrick. Gallinari, Zhanyu Ma, et al., “A Cross- Domain Recommendation Model for Cyber-Physical Systems”, IEEE Transactions on Emerging Topics in Computing (TETC). 工作进展三：工作进展三： 非高斯分布数据的非高斯分布数据的 准确分析与融合方法准确分析与融合方法 25 创新点创新点 提出了时空关联融合、耦合子空间投影等方法 设计跨模态“草图-图像”非高斯耦合子空间非高斯耦合子空间学习 框架，与最好的方法比较，百万级百万级草图数据库检 索mAP提升提升0.05 Peng Xu, Yongye Huang, Tongtong Yuan, Kaiyue Pang, Yi-Zhe Song, Tao Xiang, Timothy Hospedales, Zhanyu Ma*, and Jun Guo, “SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval”, CVPR. Sheng Gao, Hao Luo, Da Chen, Shantao Li, Patrick. Gallinari, Zhanyu Ma, et al., “A Cross- Domain Recommendation Model for Cyber-Physical Systems”, IEEE Transactions on Emerging Topics in Computing (TETC). 工作进展三：工作进展三： 非高斯分布数据的非高斯分布数据的 准确分析与融合方法准确分析与融合方法 突破：突破：较好较好解决了解决了非高斯分布数据非高斯分布数据准确准确 建模与建模与交互融合的难题交互融合的难题 26 1.1.基本情况介绍基本情况介绍 2.2.现有研究基础现有研究基础 3.3.拟拟开展开展的的工作工作 报告提纲报告提纲 27 研究背景研究背景 大数据时代，存在着典型的小样本问题大数据时代，存在着典型的小样本问题 图图 像像 数数 量量 常见类常见类稀有类稀有类开放类开放类 大规模大规模 图像识别图像识别 小样本小样本 图像识别图像识别 零样本零样本 图像识别图像识别 开放场景中的小样本学习开放场景中的小样本学习 安安防监控中的小样本学习防监控中的小样本学习 受到遮挡、光照、设备等外部因素的 影响，图像识别算法的鲁棒性较差鲁棒性较差 目标在监控视频出现次数较少出现次数较少，其数 量与已知数据相比分布极为不平衡分布极为不平衡 雷达目标识别数据样本少样本少、成像 质量低质量低 识别时涉及数十种特征，相互关 系印证复杂印证复杂 特定领域中的小样本学习特定领域中的小样本学习 真实世界的物体类别呈现长尾长尾分布分布 常见类别的图像数量较多数量较多，不常见 类别的图像数量较少、采集困难数量较少、采集困难 28 absent DA MSDA DG Training datasetTest dataset Source (Labeled)Target (Unlabeled)Target 问题定义问题定义 29 科学问题科学问题 高效高效 概率模型构建概率模型构建 可靠可靠 最最优优特征提取特征提取 准确准确 数据数据跨跨域分析域分析 数据的 非高斯建模与分析 基于域自适应的 小样本学习 理论与方理论与方 法支撑法支撑 增加数据数量增加数据数量 提升数据质量提升数据质量 增强网络增强网络 准确率准确率和鲁棒性和鲁棒性 增强增强多域迁移多域迁移能力能力 提升提升模型泛化性能模型泛化性能 面临面临挑战挑战已有成果已有成果 30 科学问题科学问题 高效高效 概率模型构建概率模型构建 可靠可靠 最最优优特征提取特征提取 准确准确 数据数据跨跨域分析域分析 数据的 非高斯建模与分析 基于域自适应的 小样本学习 理论与方理论与方 法支撑法支撑 增加数据数量增加数据数量 提升数据质量提升数据质量 增强网络增强网络 准确率准确率和鲁棒性和鲁棒性 增强增强多域迁移多域迁移能力能力 提升提升模型泛化性能模型泛化性能 面临面临挑战挑战已有成果已有成果 解决解决样本数少、易过拟合、类别未知、跨样本数少、易过拟合、类别未知、跨 域融合域融合等小样本学习中的关键问题等小样本学习中的关键问题 31 拟开展的工作拟开展的工作 工作一：工作一： 小样本数据的特征分布形态研究小样本数据的特征分布形态研究 工作二：工作二： 基于多源域适应的小样本数据分类基于多源域适应的小样本数据分类 工作三：工作三： 面向域自适应的深度网络架构研究面向域自适应的深度网络架构研究 32 1. 像素层面的数据迁移方法 Pixel level （一）小样本数据的特征分布形态研究（一）小样本数据的特征分布形态研究 Input image (source domain) x,y x Input image (target domain) Style transfer x,y Input image (source domain after style transfer) VGG Loss SourceTargetSource/Target 33 Input image (source domain) Input image (target domain) x,y x VGG Distribution alignment Loss 2.特征层面的数据迁移方法 （一）小样本数据的特征分布形态研究（一）小样本数据的特征分布形态研究 KL距离、GAN等实现对齐 34 拟开展的工作拟开展的工作 工作一：工作一： 小样本数据的特征分布形态研究小样本数据的特征分布形态研究 工作二：工作二： 基于多源域适应的小样本数据分类基于多源域适应的小样本数据分类 工作三：工作三： 面向域自适应的深度网络架构研究面向域自适应的深度网络架构研究 35 Input image (source domain 1) Input image (target domain) x,y x 1 Distribution alignment 1 Loss 1.基于迁移方法的多域自适应小样本学习 Input image (source domain 2) x,y 2 VGG 2 （二）基于多源域适应的小样本数据（二）基于多源域适应的小样