数字音视频处理 课件 第9章 数字音视频技术的交叉应用

第9章

数字音视频技术的

交叉应用9.1数字图像视频处理技术在空间物理中的应用9.2数字图像视频处理技术在医疗领域的应用9.3生成模型概览9.4本章小结

9.1数字图像视频处理技术在空间物理中的应用

9.1.1概述空间物理主要研究地球空间、日地空间和行星际空间的物理现象，是人类进入太空时代以来迅速发展起来的新兴学科，主要利用空间飞行器对太阳、行星际空间、地球和行星的大气层、电离层、磁层等进行研究，并研究空间环境对地球生态环境的影响。

空间物理研究需要借助极光成像设备和雷达观测设备获得极光数据，极光数据从极区台站传输至中国极地研究中心，并进行后续的雷达信号处理、极光图像和视频数据分析、建模和预测等工作。这些数据传输和处理过程都需要图像、视频压缩编码等电子信息技术支撑，比如极光图像和视频分析前需要完成图像的降噪、增强、目标分割。因此，将音视频处理技术与空间物理学融合并交叉发展很有必要，且将更好地促进空间物理学发展。

9.1.2极光图像分类

极光是太阳风通过日侧极隙区注入地球磁层时沉降粒子沿磁力线与地球高层大气相互作用而产生的绚丽光辉。极光是极区空间天气物理过程的观测窗口，直接反映了太阳风与地磁层的耦合过程，蕴含着大量日地空间的电磁活动信息，有着深刻的研究意义。目前，中国极地研究中心已经对极光观测图像进行了初步分析，从形态上将其大致分为弧状和冕状两类，而冕状又可细分为辐射型冕状、热点型冕状和帷幔型冕状，如图9-1所示。

图9-14种极光图像形态

1.基于分层小波模型的极光图像分类算法

基于分层小波模型的极光图像分类系统流程如图9-2所示，主要包括预处理、特征提取、特征降维和分类器训练4个部分。

(1)预处理。由于原始图片中镜头边缘处有灯光等干扰，所以需要对其进行一定的剪裁和掩膜操作，以达到位置校准、光线归一化的目的。

(2)特征提取。将预处理后的图像按分层小波模型提取全局和局部特征，进行归一化处理后，构成极光图像的特征向量。

(3)特征降维。由于特征向量的高维数会导致计算时间的消耗，特征向量之间的相关性也会造成特征冗余，影响特征的区分性，因此，这里采用主成分分析(PCA)对特征进行降维。

(4)分类器训练。对降维后的特征向量采用支持向量机(SVM)训练分类器，并将其用于测试图像的分类。

图9-2基于分层小波模型的极光图像分类系统流程

特征提取主要采用二维小波离散变换对预处理的极光图像进行处理。二维小波分解示意图如图9-3所示，首先对图像按行进行一维小波变换，生成大小相同的低频子图像和高频子图像，然后按列进行一维小波变换，将每个子图像又分解为低频部分和高频部分。

图9-3二维小波分解示意图

图9-4所示为极光图像进行两层小波分解后的伪彩图结果，从中可以看出，小波分解将极光图像的高频纹理部分和低频平滑部分分解，各个分解图的特征可以很好地表示不同极光图像的纹理分布，从而用于最终的极光图像分类决策。

图9-4极光图像小波分解伪彩图

2.融合显著信息的LDA极光图像分类算法

融合显著信息的潜在狄利克雷分配(ScaleInvariantLinearDiscriminant，SI-LDA)极光图像分类算法流程如图9-5所示，主要分为5个步骤：极光图像的顶帽变换、极光图像的视觉单词提取、极光图像的谱残差显著图获取、谱残差显著图的视觉单词提取、极光图像的SI-LDA表示。

图9-5SI-LDA算法流程图

1)极光图像的顶帽变换

在极光图像拍摄过程中，由于拍摄设备的暗电流以及大气层的影响，极光图像存在亮度不均匀的现象，我们可以通过顶帽变换来改善这一现象，图9-6为顶帽变换后图像与原极光图像对比图。顶帽变换的定义为

其中I

表示原极光图像，Itophat表示顶帽变换后图像，I°e表示原极光图像的开运算。

图9-6顶帽变换后图像与原极光图像对比图

3)极光图像的谱残差显著图获取

谱残差是专门针对灰度图像提取显著图的方法，其算法流程十分简洁，步骤如下：

图9-7所示为极光图像的谱残差显著图实例。图9-7极光图像原图与其谱残差显著图

4)谱残差显著图的视觉单词提取与步骤2)相同。

5)极光图像的SI-LAD表示

对极光图像IN

的语义加强型文档CN进行一定次数的Gibbs采样迭代，就可以得到极光图像的SI-LDA表示。其步骤如下：

(1)对于文档中的单词wi，随机设定其所属主题zi，令{

zi={1，2，…，T}}，i=1，2，…，K。其中，T

为主题个数；K

为单词总数，即字典大小。该状态为Markov链的初始状态。

(2)从1循环到

K，根据公式将词汇分配给某个主题，获取Markov链的下一个状态。

(3)第(2)步迭代足够次数以后，认为Markov链接近目标分布，就取zi(i从1循环到K)的当前值作为样本记录下来。

(4)统计每篇文档中单词分配到各个主题的次数，即完成SI-LAD表示。

9.1.3极光视频分类

极光是一种非刚体运动，其图像包含丰富的细节及随机性很强的形状变化，极光序列中蕴含着丰富的时间相关信息，提取其动态特征对实现极光序列识别很重要。典型极光序列如图9-8所示。

图9-8典型极光序列

1.基于张量动态纹理模型的极光视频分类

基于极光视频动态纹理建模的极光视频事件识别步骤：首先对四类极光视频进行普适性动态纹理建模，然后利用矩阵奇异值分解(SingularValueDecomposition，SVD)对动态纹理模型求解，最后用模型参数间的马丁距离衡量极光序间的差异性，采用最小距离分类器和支持向量机(SVM)分类器实现四类典型形态的极光序列的自动分类识别。为进一步提高模型紧凑度，引入张量分解，建立张量动态纹理模型。

不同于动态纹理模型只关注序列帧间的重复相关性，张量动态纹理模型同时分析序列帧间的重复相关性和图像帧内各个部分间的重复相关性，从时间和空间维度上同时进行分解，减少模型冗余的同时提高了分类准确率。整体流程图如图9-9所示。

图9-9-基于张量动态纹理模型的极光视频分类算法流程图

2.基于黏性流体粒子运动模型的视频序列分类

该方法的具体实现步骤如下：对输入的极光序列进行预处理；运用黏性流体力学模型计算预处理后的极光粒子的运动场；提取极光粒子运动场的局部二值模式特征，作为极光序列的动态特征P1；提取极光序列每帧极光图像像素值的局部二值模式特征，作为极光序列的静态特征P2；将P1与P2相结合，得到能够表征不同形态极光序列的特征P=(P1，P2)，将这些不同形态极光序列的特征P

输入SVM分类器中完成分类。整体流程图如图9-10所示。

图9-10基于黏性流体粒子运动模型的视频序列分类方法算法流程图

9.2数字图像视频处理技术在医疗领域的应用

9.2.1概述医学影像学是研究借助于某种介质与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学。医学影像技术与临床紧密相关，是临床不可或缺的辅助学科。

9.2.2AI辅助诊断

1.病理图像分类

传统病理图像分类是指临床医生借助医学图像来辅助诊断人体是否有病灶，并对病灶的轻重程度进行量化分级。随着AI技术的发展，深度学习在计算机视觉领域取得了巨大的成功，激发了许多国内外学者将其应用于医疗图像分析。下面简单介绍一下如何利用深度学习进行甲状腺病理图像分类。

1)基于深度主动学习的甲状腺癌病理图像分类方法

该方法引入将卷积神经网络(ConvolutionalNeuralNetworks，CNN)和主动学习相结

合的分类方法，无须标记所有数据，仅选择少量样本进行标注。该方法利用CNN提取病理图像的特征，进而使用该特征计算未标注样本的不确定性和相似性，选择“有价值”的样本，然后由病理学家对选定的样本进行标注，并不断微调网络以增强模型的分类性能。

该方法主要包括三个部分：深度CNN框架、样本不确定性评估与相似性评估、样本选择与模型更新。深度CNN框架包括两个模块，如图9-11所示，虚线框①内模块用于计算无标签样本的信息熵以及模型参数更新，虚线框②内模块为特征哈希码提取模块，用于学习辅助数据集中的样本和甲状腺数据集中样本的深度哈希码。该方法通过评估样本的不确定性与样本间的相似性来选择标注样本，较高的不确定性表示样本有较高的信息量，样本间相似性的评估能够辅助去除冗余样本，以更少的标注样本获得最优的分类模型。注释样本的选择综合考虑样本的不确定性以及代表性。

图9-11基于深度主动学习的甲状腺癌病理图像分类方法算法框架图

2)基于深度学习的甲状腺乳头状癌病理图像分类方法

该方法具体方案是：(1)读取放大因子为20的甲状腺乳头状癌病理切片图像，并将其输入改进后VGG-f卷积神经网络，获得注意力热图；(2)将注意力图归一化，获得判别力热图；读取40倍放大的甲状腺癌病理并根据判别力区域位置获得图像块；(3)将图像块输入原始VGG-f网络并构建损失函数，对该网络进行监督训练；(4)提取训练好的VGG-f网络卷积特征并进行分类处理得到图像块的类别；(5)根据图像块的类别判断出甲状腺癌病理图像的类别。基于深度学习的甲状腺乳头状癌病理图像分类方法算法框图如图9-12所示。

图9-12基于深度学习的甲状腺乳头状癌病理图像分类方法算法框图

2.BioMind新冠肺炎CT影像AI定性辅助诊断系统

疫情初期，为了缓解新冠病毒疫情诊断对基层医疗单位的巨大压力，在2020年大年初四，由工信部牵头，天坛医院、解放军总医院、BioMind联合开始了“新冠病毒感染CT影像人工智能辅助诊断”专题攻关任务，并成功推出了一套专门的AI定性诊断系统。这套新冠AI定性诊断系统不仅能够实现新冠病毒感染诊断，还能实现新冠病毒感染与病毒性肺炎、细菌性肺炎等的进一步鉴别诊断，如图9-13所示。

图9-13BioMind新冠肺炎CT影像AI定性辅助诊断系统界面示例

西安交大一附院郭佑民教授团队研制的“新冠病毒肺部感染辅助诊断系统”，实现了对新冠病毒感染者肺内病变部位的快速检出，定量评价病变范围和病变演变过程，其准确率高达95%以上。该诊断系统依托专家训练、人工智能结合传统的计算机视觉技术对新冠病毒感染患者肺部的病变区域进行分割和计算(见图9-14)，可以同时获取病变区域的体积、密度、磨玻璃成分等定量参数(见图9-15)，尤其是对于患者随访的数据可以实时进行图像配准，精准定位病灶的位置和大小，方便比较病变的消长。

图9-14肺部CT图像分割可视化结果

图9-15基于图像可视化技术定量展示病变的分布和范围

9.2.3疫情状态分析

疫情发生以来，大数据、机器学习、人工智能等技术的价值同样在这场抗疫战斗中得到充分的展现。这些技术的优势在于可根据疫情的不同发展阶段、不同地区政府的政策措施对模型进行适应性调试和改进，通过历史数据利用机器学习算法进行学习训练，得到预测疫情发展的数学模型，并能够根据疫情的最新数据不断学习优化模型，来提供实时预测。如图9-16所示，清华大学的AMiner团队以官方公布数据为基础，预测确诊人数、治愈人数等数据上的变化趋势，寻找疫情拐点。

图9-16疫情感染人数预测

9.2.4疫情风险评估

在汇集大量的健康状态数据之后，结合确诊人数、治愈人数，地区人口数量、面积、医疗指数等，研究人员利用数据进行深入分析，推出了基于知识的全球新冠疫情风险评估和辅助决策系统。该系统主要在于预测地区新冠疫情的风险指数，从而可以辅助决策何时复工复产、开学等。该风险指数的评估不仅涵盖了全球各地区，同时还是多级别、细粒度风险指数评估。针对面积较大、疫情较为严重的国家，预测还可以具体到省或州等更小级别的评估。

除此之外，该评估指数会随着疫情数据的变化、关键事件的发生进行动态更新。如图9-17和图9-18所示，该系统除了可以可视化展示各地区的风险评估指数以外，还提供了全球疫情事件时间轴、全球实时疫情数据和

预

测，帮助大家了解全球疫情传播状况。

图9-17全球新冠肺炎疫情预测地图

图9-18全球疫情事件时间轴

9.2.5病毒变异预测

虽然新冠病毒大流行已经进入全民免疫阶段，但全球范围内的新冠病毒变异株多达几十种，迄今为止，其基因序列还在发生变化。因此，了解和预测包括新冠病毒在内的冠状病毒未来变种，有望促进下一代抗体疗法及疫苗的研发，同时，也可以为制定公共卫生政策提供重要参考。

9.3生成模型概览

9.3.1概述在概率统计理论中，生成模型是指能够在给定某些隐含参数的条件下，随机生成观测数据的模型，它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模，对于输入的随机样本能够产生我们所期望生成的数据。

生成模型可以分为两个类型：第一种类型的生成模型可以完全表示出数据确切的分布函数；第二种类型的生成模型只能做到新数据的生成，数据分布函数则是模糊的。IanGoodfellow在NIPS2016的演讲中给出了很多生成模型的研究意义。

9.3.2ChatGPT

ChatGPT是由OpenAI基

于GPT-4架

构

开

发

的

大

型

语

言

模

型。GPT(GenerativePre-trainTransformer)是目前最先进的自然语言处理技术，让AI具备了强大的语言理解与表达能力。ChatGPT可以帮助用户处理各种语言任务，如写作、阅读、翻译、解答问题等。它覆盖了多种语言，为全球用户提供服务。

G代表生成模型(GenerativeModel)，是一种计算机程序，仿照人脑结构并通过大量数据学习来完成指令任务，它可以学习数据的特征，并创造出类似的新数据。简单来说，生成模型就像是一个艺术家，观察并学习现实世界的样子，然后创作出新的作品。和传统计算机系统的不同之处在于，它给出的结果往往是不确定的，每次的反应都可能不同，生成模型会随着系统进步而变得更快、更聪明。

P代表预训练模型(Pre-trainedModel)，是一个通过大量数据进行训练并被保存的网络。可以将其通俗地理解为研究者为了解决类似问题所创造出来的一个模型，有了先前的模型，当我们遇到新的问题时，便不再需要从零开始训练新模型，而可以直接用这个模型入手，进行简单的学习便可解决该新问题。

T代表Transformer，是一种用于语言理解的新型神经网络架构，是Google团队2017年6月提出的自然语言处理(NaturalLanguageProcessing，NLP)领域具有突破性意义的研究成果，是在AshishVaswani等人发表的论文“AttentionIsAllYouNeed”中提出的。

ChatGPT能帮你写出各种类型的文章，如软文、公关稿、博客、小说等。无论你是创作高手还是写作新手，ChatGPT都能为你提供专业的写作建议，让你的文字更加精彩。

1.ChatGPT的演变历程

算法模式经历了GPT-1(2018年)、GPT-2(2019年)、GPT-3(2020年)和InstructGPT(2022年初)四个版本。

GPT-1(2018年)：仅需要对预训练的语言模型作很小的结构改变，即加一层线性层，即可方便地应用于下游各种任务。

GPT-2(2019年)：使用zero-shot设定，基本实现一劳永逸，训练一个模型，在多个任务上都能使用。

GPT-3(2020年)：不通过任何样例学习，而是利用少量样本去学习，更接近人脑学习模式。

InstructGPT(2022年初)：经过多任务的微调后，能在其他任务上实现zero-shot预测，泛化能力极大提升。InstuctGPT可以理解成是GPT-3的微调版本，与GPT-3相比更擅长遵循指令，回答更真实，且有害情绪输出大幅下降。

ChatGPT可以理解成GPT-3.5的微调版本，相较于InstructGPT，ChatGPT效果更加真实，模型的无害性实现些许提升，编码能力更强。

ChatGPT使用的新的AI训练方法，加大“人”的反馈权重。训练过程包括训练监督策略模型、训练奖励模型(RewardMode，RM)、采用PPO(ProximalPolicyOptimization，近端策略优

化)三个阶段，在持续参数迭代的过程中，输入奖励模型，得到优化参数。ChatGPT会不断重复第二和第三阶段，通过迭代，训练出更高质量的ChatGPT模型。

2.ChatGPT的应用

(1)写文本，如图9-19、图9-20和图9-21所示。

(2)问题解答，如图9-22、图9-23所示。

(3)翻译助手，如图9-24所示。

(4)心理辅导专家，如图9-25所示。

图9-19-ChatGPT写文本示例

图9-20ChatGPT写论文大纲

图9-21ChatGPT写邮件示例

图9-22ChatGPT解决数学问题

图9-23ChatGPT解答高数题目

图9-24ChatGPT翻译文本示例

图9-25ChatGPT心理辅导文本示例

9.3.3BingChat

基于