媒体计算 课件 第1-4章-概述、文本语义分析 -音视频序列分析

【新一代人工智能系列教材】媒体计算第1章：概述

本章内容1.1媒体计算基本概念1.1.1数字媒体与多媒体1.1.2媒体计算发展历史1.2数字媒体类型1.2.1文本与语言1.2.2图形与图像1.2.3音频与视频1.2.4数字媒体常见格式与标准1.3媒体计算基本原理1.3.2媒体数据管理1.3.3媒体语义理解1.4媒体计算应用1.4.1媒体检索1.4.2媒体创作1.4.3媒体消费1.3.1媒体数据表示目录1.媒体计算基本概念2.数字媒体类型3.媒体计算基本原理4.媒体计算应用媒体计算基本概念传感器每秒获取海量数据，催生了对数据定义、规范化、存储与计算的需求。媒体计算包含以下两个核心维度：媒体表达以二进制、十六进制等不同数字形式将不同类型的自然信息转化为计算机可存储的规范文件。计算分析对媒体文件进行理解，挖掘其高维分布下的语义信息，降低数据存储、传输过程中的数据负载，挖掘推理语义信息的逻辑规律。技术方向核心研究内容信息处理编码压缩、内容分析、语音识别网络传输网络流媒体、P2P、无线多媒体传输内容管理多媒体数据库、内容检索、版权管理关联支持信息获取与输出、分布式存储扩展应用图形动画建模、虚拟现实(VR)数字媒体技术体系庞大而复杂，是支撑各类数字媒体应用的基础。从整体架构来看，该体系主要由以下五大核心技术方向及其相关的研究内容构成：媒体计算基本概念数字媒体与多媒体基础定义：以二进制、十六进制等数字形式实现记录、处理、传播的信息媒体。具有多样性、互动性、集成性等特点。它是各学科的基础：

图像→计算机视觉

图形→计算机图形学

文本→自然语言处理强调的是使用多种媒体、综合表达信息内容并进行交互的技术，具备三大特性：多样性：至少含有一种连续媒体。集成性：多种媒体联合表达。交互性：细粒度的控制能力。数字媒体(DigitalMedia)多媒体(Multimedia)多媒体技术体系结构媒体系统支持和网络专注于多媒体数据的传输基础设施与通用规范：媒体网络传输系统数字媒体格式与标准媒体处理和编码多媒体计算的核心，涉及数据变换、分析与安全：内容分析、检索与安全音频、图像、视频处理数据压缩技术媒体工具、端系统和应用面向用户的交互逻辑、集成开发与交付环境：超媒体系统、用户接口多模态交互与系统集成多媒体技术体系媒体计算发展历史：总体阶段根据媒体计算技术演进的特征，其发展历史可以大致划分为两个核心阶段：阶段一：媒体数字化报纸、无线电等交流媒介通过计算机系统转化为数字文件。解决了信息编码与远距离传播的基础问题。阶段二：计算应用随着计算机系统硬件和操作系统的发展，正式将多媒体的理解和应用纳入到计算机学科的研究领域中。第一阶段：媒体数字化19世纪30年代：运动图片、报纸、无声电影的出现和推广，使信息交流出现多样化交叉趋势。无线电的作用：为了实现远距离传播，利用无线电等设备进行信息编码和交流，奠定了数字化的基础。20世纪之前，媒体大多为单一模态（仅语音/文本可无线电大范围传播）。电视的出现：作为20世纪全新传播媒介，能够将语音、图像、视频、文本进行大范围传播和多种类的融合。电视的出现为“多媒体”这一概念的诞生奠定了重要基础。早期的多样化交叉从单一模态到多媒体融合第二阶段：计算应用的开启MicrosoftWindows操作系统：推出了最初的Windows操作系统，被定义为一个多任务的图形操作环境。CommodoreAmiga系统：世界上第一台多媒体计算机。搭载了专用的处理芯片：图形处理芯片：Agnus8370音响处理芯片：Paula8364视频处理芯片：Denise8362软件环境基础硬件架构突破*注：尽管进入计算应用阶段，但受限于早期计算能力与操作系统，媒体文件的深入计算直到后续几十年才被逐步解决。进入80年代中期，计算机软硬件的突破标志着媒体计算开始进入计算应用阶段：关键学术与技术里程碑(1945-1976)1945年VannevarBush提出“Memex”超媒体系统，为用户提供了媒体文件个性化存储的功能。1955年McCarthy,Minsky,Shannon,Rochester四位学者在一份报告中首次使用了“ArtificialIntelligence”(人工智能)术语。1960年TedNelson发明“超文本”这一名词，并开始了Xanadu项目以进行超文本系统的研究尝试。1976年MIT的ArchitectureMachine研究组提出了名为“多类媒体”的项目。1985&1991年1985:MIT创建媒体实验室；

1991:MPEG-1成为数字视频国际标准；同年PDA诞生，促进了技术成型。1995年Java语言的提出，使得跨平台的媒体计算程序的开发成为了可能。2006年GeoffreyHinton等人提出AI算法发展瓶颈，并采用大量的媒体文件提升算法性能。2012年Hinton课题组在国际图像识别比赛夺冠，验证了媒体文件与人工智能算法的密切关系。发展现状：迈向智能化认知媒体计算的智能化升级随着计算机技术的发展、图像处理器以及高效处理芯片的应用，媒体计算技术的研发已进入重要阶段。

提升媒体计算技术的智能化升级成为了不容小觑的实际需求。这不仅要求技术能够对文字、图像、视频等单媒体文件进行感知理解，更要求媒体计算领域能够实现多媒体文件的认知理解。目录1.媒体计算基本概念2.数字媒体类型3.媒体计算基本原理4.媒体计算应用数字媒体类型数字媒体因应用场景多样，表现为不同的文件类型。本节重点探讨以下几大类型：1.文本与语言2.图形与图像3.音频与视频文本与语言数据表示基础：数据终极形态：计算机中的基本字母、数字等字符，最终全都被转化为二进制编码（基数为2）。基础编码进阶：为解决二进制表达冗长的问题，引入十六进制（基数16，大于9的数值用A~F表示）作为最基础的便捷编码方式。字符编码标准：ASCII：英文字符标准（8位）。GB2312：简体中文字符集国家标准。Unicode：国际统一编码体系。UTF-8/16：高效的Unicode转换格式。十进制数二进制十六进制十进制数二进制十六进制0008100081119100192102101010A3113111011B41004121100C51015131101D61106141110E71117151111F图形与图像--图形核心定义数据表示SVG(可缩放矢量图形)的文件结构以指令集合表示形状和颜色，适用于描述轮廓简单、色彩单一的对象。技术优势存储要求简单，易于检索，且显示质量不受文件缩放的影响。图形是二维空间中由外部轮廓线条构成的矢量图，其实质是计算机绘制的直线、曲线和点的有序集合。它们通过指令集合进行表示，并通过转换指令形成形状和颜色。1.XML声明与DTD：定义XML版本、编码格式及允许编辑的元素列表。2.根元素：声明SVG版本、绘图板大小及根据XML规则命名的名称。3.指令代码：定义几何对象（形状、路径、文本）、动画及动作交互。图形与图像--图像图像由若干像素组成，每个像素的位置即二维矩阵索引，数值表示颜色强度。图像适用于表现含有大量细节的对象。分辨率包括屏幕分辨率与图像分辨率。像素越多，细节越精细。像素深度存储像素采用的位数。如8位图（0-255级灰度）。真彩色(TrueColor)使用RGB（红绿蓝）三种分量组合，每通道8位共24位。屏幕分辨率：指显示设备对图像的描述精细度（如1024×768），数值越高，观察细节越清晰。图像分辨率：指计算机对图像的存储精度；相同尺寸下，分辨率越高，像素越多，图像越自然。二值图像（1位）：仅使用0或1存储，如黑白图像。8位图像：每个像素占用1字节，取值范围[0,255]。采用红、绿、蓝（RGB）三种分量进行表达。通过彩色变换表进行查询，并根据光学定律进行组合变换。图形与图像的核心区别特性图形(矢量)图像(位图)基本单位指令/图元(点线面)像素存储空间通常较小随分辨率剧增缩放效果无损缩放容易模糊/产生锯齿适用场景Logo、工程图、图标照片、真实感场景音频与视频采样频率：奈奎斯特定律（需≥最高频2倍）。采样精度：二进制位数，位数多精度高。声道数：单声道、立体声等。编码方式：波形、参数或混合编码。四个基本属性波形编码：高精度表示模拟波形。参数编码：提取特征参数重构，速率低。混合编码：兼具高质量与低速率，用于移动通信。编码类型音频与视频通过视觉暂留原理使人产生运动感。视频信号分为：扫描方式：隔行扫描（奇数域/偶数域结合）是模拟视频的常用技术。三路信号（如RGB）独立传输，颜色还原好但需同步。彩色与强度信号混合，单一载波，易产生干扰。亮度与色度分离传输，缓解干扰，中间方案。视频（Video）视频是一种典型的时序媒体本质上是按时间顺序连续播放的图像序列利用人眼视觉暂留效应产生连续运动感比较维度模拟视频数字视频信号形式连续模拟信号数字编码信号传输方式隔行扫描传输压缩编码传输典型应用模拟电视手机短视频视频数字化过程：真实场景→视频采集→模拟视频信号→采样与量化→压缩编码→数字视频文件→存储与网络传输分量视频复合视频独立视频(S-Video)常见文件格式汇总媒体常见文件格式主要行业标准字符TXT,RTF,DocASCII,Unicode,UTF图形SVG,XML,EPSSVG图像BMP,JPEG,GIF,PNGJPEG,CCIR601音频MP3,WAV,WAVMPEG-1Audio,AAC视频AVI,MOV,MP4MPEG-4,AVS(中国)常见文件格式汇总美国信息交换标准代码标准版：b7=0,定义128个字符(字母、数字、控制符)扩展版：b7=1,定义128-255位，包含图形符号与外文字母简体中文字符集国家标准双字节编码：收录6763个汉字及682个全角字符矩阵管理：94*94矩阵，分为常用汉字与不常用汉字二级统一通用字符编码体系全球唯一：使用17个平面，涵盖所有书面语言字符UTF转换：提供UTF-8、UTF-16和UTF-32三种变体ASCII编码GB2312标准Unicode/UTF计算机图形标准：SVG协议矢量图与SVG规则矢量图由计算机指令(点、线、面)描绘，不随缩放失真。SVG是

W3C万维网联盟的重要图形标准。SVG标准定义了SVG图形文件。SVG图形用XML语言描述二维图形的结构，这一类型文件严格遵从XML语法编写的纯文本文档，因此必须遵守XML的如下规则：必须使用XML声明<?xmlversion=”1.0”?>作为文件起始；必须包含一个DOCTYPE声明，用于指出允许的元素列表；所有便签由‘<’表示开始，有‘/>’表示结束；所有标签必须正确嵌套必须有一个根元素，例如<SVG></SVG>标记中必须包含一个SVG文档的所有内容。图像格式：BMP、GIF、JPEG与PNGBMP(位图)Windows标准格式。结构包含：GIF(图形交换格式)以数据块存储。特点：文件头/信息头彩色表字节阵列（存储像素值）支持动画（多帧存储）含显示控制块（透明度、背景）颜色通常限于256色JPEG(联合摄影专家组)广泛使用的有损压缩标准：PNG(便携网络图形)为取代GIF而生，无损压缩：基于CCIR601颜色空间。标记由2字节组成（0xFF开头）。适合存储自然照片。支持48位真彩色。支持Alpha通道（透明度）。包含关键数据块与辅助数据块。音视频标准：MPEG-1/2、MPEG-4/AVSMPEG-1(1922)针对1.5Mbps速率设计。核心：MPEG-2(1994)通用编码标准，扩展增强：音频：高保真压缩（如MP3雏形）。视频：运动序列、宏块、切片结构。支持5.1/7.1环绕声。定义了AAC感知编码标准。用于广播电视、DVD等。MPEG-4基于对象的编码，注重交互：AVS(中国自主知识产权)第二代信源编码标准：核心单位：视频对象(VO)、音频对象。层次化结构(VS-VO-VOL-VOP)。支持合成音效与文语转换。视频创新：8x8整数变换、1/4精度插值。低复杂度下达到国际水平。包含数字版权管理、移动视频支持。目录1.媒体计算基本概念2.数字媒体类型3.媒体计算基本原理4.媒体计算应用总体框架

客观世界的自然场景首先经过传感器等设备得到不同类型的模拟信号，再经过数字化转换（如模数转换器、软件处理等）后变为计算机能够处理的数字媒体。之后，经过一系列通用的数据标准化协议，数字媒体便可以用于数字系统的应用和传输，得到我们平常在手机、电脑等设备上使用的视频、声音、图像等媒体数据。媒体计算主要框图媒体计算的基本原理涵盖了媒体信息的表示、传输、理解、管理与消费。媒体数据表示一、音视频来源人通过视听接收自然界连续的模拟信号（时间、幅度连续变化），计算机需转为离散数字信号才可运算处理。二、模拟→数字三步骤采样：按固定频率截取模拟信号，连续变离散；采样频率≥原信号2倍，保障音质画质。量化：划定最小刻度，把信号幅值规整为固定分级数值。压缩编码：量化数据转二进制，剔除冗余，缩减体积、方便传输。采样、量化、压缩编码示意图媒体数据表示媒体数据类型应用示例表示形式视觉头像、照片、动图等像素集合图形角色模型、工程绘图等基本图元音频音乐、录音等时间序列文字博客、论文、维基百科等词/词素数字信号经规范封装，形成四类媒体数据，适配人类使用与系统运算：图像/视频：像素组成，RGB为主，辅以YUV、HSV色域矢量图形：由点、线、圆等基元，通过参数描述生成音频：时序采样，MFCC是语音常用特征文本：字词编码，依托词向量、BERT实现表征媒体数据四种形式媒体数据管理数据管理方法相关技术存储DAS、NAS、SAN等索引哈希表、倒排索引、后缀树等检索相似度度量、聚类、隐含语义分析等现代媒体数据的管理手段三类主流存储方案DAS直连存储：硬盘、U盘直连主机，本地块设备，无法共享。NAS网络存储：存储设备组网挂载，文件级共享，扩容便捷、不占用业务服务器资源。SAN存储网络：独立专用存储专网，块级资源共享，高性能，多用于多服务器并发业务。媒体数据管理索引原理：依托数据结构排序字段，字段取值区分度越高，索引效率越好；重复值多则索引低效。多媒体索引分类特征索引：文本字词、图像颜色/纹理、音频音调等底层特征语义索引：元数据、概念、事件等高层描述信息检索方式文本检索：关键词匹配，易受缺字、歧义干扰基于内容检索：提取特征做相似度比对索引与多媒体检索媒体语义理解①模式识别（机器学习）把语义提取转化为分类任务，模型自主学习样本特征；优势：通用性强、泛化能力好，适配多场景、多类型媒体。②规则推理（专家定制）由专家定制判别阈值与推理规则，依靠固定规则完成语义划分；优势：限定场景运行效率高劣势：规则专用性强，难以跨领域复用。语义理解两类主流方案媒体语义理解：用自然语言描述、定义事物信息，释义带有主观差异性。目录1.媒体计算基本概念2.数字媒体类型3.媒体计算基本原理4.媒体计算应用媒体检索媒体检索是图像处理、语音处理、文本处理、模式识别、机器学习等多学科的交叉研究内容。媒体检索分类：图像/视频检索以图搜图、以视频查相似内容；落地：识图搜索、行人/车辆重识别、视频推荐。音频检索输入音频检索同类音频，典型应用：听歌识曲。跨媒体检索（主流）跨模态查询，如文字搜图/搜视频/搜音乐；核心：计算不同媒体间语义相似度。媒体创作媒体创作形式总结主要创作形式应用案例摘要图像/视频自动标注、商品描述生成、视频预览等编辑美颜装饰、去马赛克、风格迁移、视频自动剪辑等重构文物三维重建、嫌疑人画像、图像/视频修复等动画虚拟主播、CG制作、自动补帧、高清转换等电影内容混剪、个性配音、特效生成、特定片段检索等媒体创作摘要生成：多媒体摘要用于概括原始媒体数据，帮助用户预览时快速获取关键信息。视频摘要可展示片段内容，无需完整观看即可判断视频价值；同时也能为新闻、文章、图像等媒体内容自动提取关键信息，生成简洁的文本概述。编辑：依托智能工具实现多媒体编辑，包含基础图像处理、风格迁移、智能擦除；短视频可实现自动剪辑、配乐、素材拼接、AI换脸等智能化创作。媒体创作动画：摒弃传统逐帧手绘，通过算法自动补帧优化画面流畅度；结合动作捕捉技术，生成数字人、虚拟主播、二次元动画形象。电影：赋能专业影视制作：画质增强、降噪、音频校准、特效剪辑；支持大众二次创作：影视混剪、智能配音，降低创作门槛。重构：基于现有媒体碎片信息还原重构完整内容；模糊监控人脸还原、手绘/口述信息重构人脸模型。媒体消费消费形式消费媒体对象娱乐数字专辑、电子书籍、视频播放权、外观道具等交互VR、体感游戏、立体视频等教育在线教学、专业教程、备考资料等媒体传播与新媒体公众号以及各网站自媒体账号内容等媒体消费是指用户根据自身需求对媒体内容的获取、使用，以及用户对媒体信息的生产、再生产、传播过程中产生的消费。媒体消费的对象是媒体内容及其提供的服务，包括娱乐、交互、教育、媒体传播与新媒体等方面谢谢！【新一代人工智能系列教材】媒体计算第2章：文本语义分析本章内容2.1文本处理2.1.1数据清洗2.1.2数据预处理2.2文本特征表示2.2.1词的向量化2.2.2全局文本表示2.2.3深度文本特征2.3文本语义分析2.3.1潜在语义分析2.3.2主题建模2.3.3情感分析引言：文本无处不在视频弹幕文件报告新闻媒体图书资料引言：文本无处不在重要性：文本时人类知识的终极载体80%全球数据中超过80%为文本等非结构化数据决策基石：企业舆情、金融研报、法律文书情感连接：社交媒体上的每一条动态都蕴含人类情感智能核心：理解“文字”是实现通用人工智能的关键路径。引言：语义分析赋能万物智能舆情监测智能交互助手内容精选推荐实时分析社交平台海量言论，精准识别公众情绪波动，主力危机公关与政策响应。从简单的客服机器人到ChatGPT，文本语义分析让对话更加自然且富有逻辑。深度理解用户偏好与文章内涵，实现“千人千面”的信息分发，重塑传媒业态。引言：文本复杂特点（a）多样性和灵活性（b）上下文依赖性（c）歧义性和错误容忍性引言：人类沟通的智能化进阶词频统计时代：基于关键词匹配的简单检索。统计概率时代：LSA/LDA挖掘潜在主题，理解文档分布。深度语义时代：Word2Vec,Transformer,BERT实现了对“语境”的精准捕捉。技术跨越的三个阶段：引言：文本技术发展里程碑词袋模型BOW1954主题模型LDA2003词频-逆文档词频TF-IDF1972潜在语义分析LSA1990词嵌入WordEmbeddingWord2Vec2013循环神经网路/长短期记忆RNN/LSTMSeq2Seq2014注意力机制AttentionMechanismChatGPT2022目录1.文本处理2.文本特征表示3.文本语义分析数据清洗数据清洗数据筛选：剔除重复或缺失。字形切换：处理中英文词干提取与还原。移除异常：通过统计指标（均值/标准差）消除噪声。标签对应：确保样本与类别标签的准确关联。数据清洗基本流程预处理词条化去停用词词形规范化将连续的字符流“切开”，识别出边界。它是机器理解语言的第一步，将句子转化为可计算的词汇单位序列。像漏斗一样过滤掉“的、了、in、the等高频但低信息的噪声。使模型聚焦于真正代表语义的核心关键词。将变体词归于统一。无论是时态变换还是词缀堆叠，最终都还原为最本质的词根(Stem)或原型(Lemma)。1.文本处理2.文本特征表示3.文本语义分析目录文本特征表示的意义和作用什么是文本特征表示？在多媒体计算与自然语言处理中，计算机无法直接理解人类的自然语言（非结构化文本）。文本特征表示的核心任务：利用特定的数学映射策略，将离散的文字、词项或篇章，转化为计算机可计算、可建模的数值化特征（离散向量或连续稠密向量）。文本处理原始非结构化文本视频弹幕/评论金融研报/企业舆情向量空间视觉化架构：特征表示如何赋能语义分析文本语义分析潜在主题提取情感判断文本特征表示离散频数特征表示连续稠密特征表示词的向量化——词袋模型（BoW）定义：忽略语法和语序，将文档看作词汇的无序集合。每个单词的出现都是独立的。构造词汇表（Vocabulary）统计词频（TermFrequency）构造文档-词汇矩阵

全局文本表示——词袋模型（BoW）USPresidentialSpeechesTagCloudhttp://chir.ag/phernalia/preztags/BagofWords词的向量化——词袋模型（BoW）词的向量化——跳元模型（Skip-Gram）核心思想：中心词预测上下文通过训练神经网络预测中心词周围的词汇，学习词汇在连续空中的稠密向量表示。保留语义和语法关系支持相似度计算优化技术：负采样、层次Softmax词的向量化——跳元模型（Skip-Gram）全局文本表示——向量空间模型(VSM)核心概念

1.文本预处理：通过词条化、去停用词、词形规范化获得原始特征项。2.确定空间维度：定义文本表示的特征项集合，一旦构造好，向量空间随之确定。3.特征权重计算：根据具体信息检索需求，计算每个特征项的权重w，完成向量映射。全局文本表示——特征权重(I)：布尔权重定义(Ⅱ)：特征频率（TF）

表示该特征项是否在当前文本中出现。如果出现则记为1，否则为0。优缺点评价优点：表示简单，极大节省存储空间。局限：无法体现特征项对当前文本的重要程度（词频差异被抹除。）优缺点评价优点：表征了特征项的重要程度局限：少数高频词可能导致词频远高于平均值，使表示过于关注个别项。采用对数平滑以降低极端值影响。表示该特征项在当前文本中出现的次数。全局文本表示——特征权重

(Ⅲ)：逆文档频率（IDF）DF(DocumentFrequency)指语料中包含特征项的文档总数。IDF反映了特征项在整个语料库中的重要程度。原理：

词项的DF越高（如“的”），其有效信息量往往越低。IDF会抑制这些全局高频词。全局文本表示——特征权重

(Ⅳ)：特征频率-逆文档频率（TF-IDF）权重维度计算因子反应的语义特征局部（Local）特征频率（TF）该词在当前文本中出现的频次，体现局部重要性。全局（Global）逆文档频率（IDF）该词在整个文本集中的普遍程度，体现区分能力。综合权重特征频率-逆文档频率（TF-IDF）在当前文本中高频、但在其他文本中罕见的词被赋予高权重。全局文本表示——VSM局限性

深度文本特征——循环神经网络（RNN）时序记忆机制

泛化优势：权值共享在所有时间步上复用同一套参数矩阵，是的模型能够直接扩展并处理任意长度的文本输入序列。训练挑战：长序列崩溃（BPTT）采用时间反向传播算法。长时序下的倒数连乘机制极易引发梯度消失或梯度爆炸。深度文本特征——注意力机制与BERT自注意力（Self-Attention）突破序列串行限制，计算句子中任一词项间的关联权重。赋予模型捕获全局上下文语义的能力。特征向量随上下文动态变化。例如“苹果公司”与“啃个苹果”中的“苹果”，将融合成完全不同的向量坐标动态嵌入：消除一词多义深度文本特征——注意力机制与BERTBERT：双向预训练范式MaskedLM：预测遮挡词汇（完形填空）。NSP：预测句子相邻关系。Fine-tuning：微调以适应下游任务。下游任务训练流程加载在大规模数据上预训练好的Bert。将下游任务的数据输入到Bert模型。根据下游的目标函数返回的损失更新Bert模型中的可训练参数。1.文本处理2.文本特征表示3.文本语义分析目录文本语义分析：到底在分析什么？从“看见词语”到“理解含义”：不仅统计词频，更要理解词语、句子、文档及其背后的主题、情感和意图。1.分析对象：文本表达了什么含义原始文本仅看词项语义理解我喜欢苹果喜欢、苹果可能指喜欢吃水果苹果发布了新手机苹果、发布、手机“苹果”表示苹果公司这部电影太感人了电影、感人表达正向情感态度同一个词在不同上下文中可能有不同语义，因此需要结合上下文进行判断。2.分析层次词语层面：同义词、近义词、一词多义，例如“汽车”和“车辆”语义相近。句子层面：句子含义与结构关系，例如主动句和被动句可能表达相近语义。文档层面：主题、观点、情感与意图，例如一篇评论主要谈“价

格贵但性能好”。语篇层面：多句之间的逻辑关系，如转折、因果、递进与总结。3.潜在语义结构：文本隐藏了什么•语义信息不仅在词表面，还隐藏在词语共现、上下文关系和主题分布中。•例：D1=猫喜欢吃鱼，D2=小狗喜欢吃骨头，D3=汽车在公路上行驶。前两篇更接近“动物/食物”主题，D3属于“交通工具”主题。4.核心问题与典型任务核心问题对应任务这段文本在讲什么？主题建模、文本分类这句话表达什么情感？情感分析两段文本是否相似？文本匹配、信息检索某个词在这里是什么意思？词义消歧用户真正想表达什么？问答系统、对话理解文本语义分析的核心，是让计算机从文本的表层符号中理解其深层含义，包括词语关系、句子含义、文档主题、情感态度和用户意图，从而支持检索、分类、推荐、问答与舆情分析等应用。潜在语义分析（LSA）从“词项”走向“概念”VSM/BoW显式词项表示LSA潜在语义空间文档向量维度由词汇表决定，通常非常高词项-文档矩阵中大量位置为0，产生数据稀疏表面词不同但语义相近时，VSM难以建立联系用一组隐式“主题/概念”表示文本假设语义接近的词更容易共现于相似文本片段通过低维稠密向量表达词、文档之间的语义关系核心思想：把“词项是否出现”转化为“文本包含哪些潜在概念，以及包含程度是多少”。为什么需要LSA?不是机械地“拆矩阵”，而是为文本数据寻找一个更有代表性的低维坐标系，从而发现潜在概念。

1.原始表示为什么不够好？•BoW/VSM把文档表示成“词频向量”，维度由词汇表决定，通常非常高。•词项-文档矩阵高度稀疏，大量元素为0，计算和理解都不直观。•表面词不同但语义相近时，原始坐标轴难以揭示潜在联系。•因此希望：换一组更能表达语义的坐标轴。2.直观理解：“最佳轴”PCA/SVD试图找到“最优坐标轴”。图中的firstsingularvector（第一奇异向量）就是最能代表数据主要变化方向的轴。•把每篇文档看成高维空间中的一个点；原始坐标轴由词项决定，但未必是表达语义的最佳方向。•SVD/PCA会寻找“bestaxis（最佳轴）”，使样本投影到该轴后，能够尽量保留主要结构，同时使重构误差尽可能小。•因此，SVD的本质可以理解为：重新找坐标轴，并用新的主方向来压缩和表示文本。奇异值分解：SVD到底是为了做什么？SVD与“主成分”概念：它在保留什么、舍弃什么？可把SVD看成一种更通用的“主方向提取”方法：保留最重要的变化方向，舍弃次要噪声。1.“主成分”•第一奇异向量/第一主成分：数据变化最明显的方向。•把点投影到这条轴上，相当于用一维坐标来概括原始高维数据。•若只保留前几个主方向，就能在降维同时保留主要信息。主成分就是“最能解释数据变化的方向”。2.用SVD来表达这种思想

左奇异向量：给出新的基方向

奇异值：衡量每个方向的重要程度

文档在新坐标下的表示3.截断SVD=低秩近似

•只保留前k个最大的奇异值，相当于只保留最重要的主方向。•它在降维的同时，尽量保留原始矩阵结构，并最小化重构误差。4.与

PCA的关系PCA常用于“找主成分”；SVD是更通用的矩阵分解工具。对文本来说，我们往往直接对词项-文档矩阵X做SVD，从而得到潜在语义方向。LSA:词项-文档矩阵的奇异值分解作用：把“词”和“文档”从原来的高维词频空间，压缩到低维“潜在语义空间”。假设有3个词、3篇文档：词项D1：猫喜欢鱼D2：猫爱吃鱼D3：汽车行驶猫110鱼110汽车001得到词项-文档矩阵：其中，行表示词项，列表示文档。

LSA:词项-文档矩阵的奇异值分解这三个矩阵可以这样理解：矩阵含义词项和潜在语义主题的关系每个潜在主题的重要程度文档和潜在语义主题的关系其中奇异值是：2,1,0,说明这个小语料里主要有两个明显主题：潜在主题主要含义对应内容主题1猫、鱼相关D1、D2主题2汽车相关D3这表示模型只保留了最主要的“猫/鱼”主题，忽略了较弱的“汽车”主题。SVD的核心作用就是把词项-文档矩阵分解成若干个潜在语义主题，并根据奇异值大小选择保留多少主题。

把词项和文档都投影到同一个潜在语义空间应用场景：信息检索、文本聚类、同义词发现、新文档折叠到概念空间。词项相似度比较两个词在潜在概念上的向量表示，可发现“表面不同但语义相近”的词。文档相似度比较两个文档的低维表示，可用于文本检索、聚类和相似文档推荐。词项-文档相关性根据低秩近似矩阵估计某个词项与某篇文档的语义关联强度。注意：LSA依赖线性降维，主题可解释性有限；主题数k需要根据任务调节。LSA:概念表示与相似度计算主题建模的目标，是从大量文档中自动发现“隐藏主题”，并用主题分布解释每篇文档的语义内容。1.核心思想：文档=多个主题的混合不是把一篇文章简单归为一个类别，而是认为：•每篇文档由若干主题按不同比例混合而成；•每个主题由一组高概率词构成；•相同词项可以服务于不同主题，取决于上下文。直观理解：从“词频表”中发现“语义主题”。文档集合→词语共现统计→主题/词分布→文档主题分布2.为什么需要主题建模？降维把高维稀疏词项表示，压缩成低维主题分布。发现结构从无标签语料中自动发现“科技、体育、金融”等潜在主题。解释文档用主题比例说明文档内容，例如“70%科技+30%金融”。支持应用用于文本聚类、检索推荐、舆情摘要、热点分析等任务。主题建模把“词是否出现”进一步转化为“文档包含哪些主题，以及各主题占比是多少”。主题建模：做什么？为什么做？情感分析——评估指标极性（Polarity）通过算法自动理解媒体产生的语调（正/负/中立），实现海量文本的情感自动转换，节省人力成本。主观（Subjectivity）主要涉及：文本特征情感提取、文本情感特征分类以及问粪青甘特征检索与归纳核心任务范围[-1,1]度量情绪正负程度范围[0,1]区分事实与观点情感分析——从词典规则到机器学习情感词典法基于预定义的情感词典（极性与强度标注）结合语言学规则进行评分。案例分析“这个游戏不是太好玩”分词：这个/游戏/不是/太好玩1.词典匹配：“太好玩”（pos:+1）2.规则检测：否定词“不是”（-1）3.计算：

（+1）×（-1）=-1依据：

NTUSD、HowNet情感分析——从词典规则到机器学习机器学习法将文本特征处理后进行有监督训练，利用模型预测新文本的情感极性。核心算法对比支持向量机（SVM）：效果通常最好朴素贝叶斯（NB）：基于概率，算法简单最大熵（MaxEnt）：指数模型，自收敛性好，但计算量大情感分析——深度学习深度学习演进从Word2Vec嵌入到BERT动态语义捕捉。实现自动化特征工程，显著提升长文本准确率。应用场景与价值智能助手、舆情监控、消费预测。将海量言论转化为可量化的商业决策依据。谢谢！【新一代人工智能系列教材】媒体计算第3章：视觉内容分析本章内容3.1数字图像处理基础3.1.1图像的表示3.1.2图像的基本处理3.2视觉特征提取3.2.1全局视觉特征3.2.2局部视觉特征3.2.3视觉单词与空间金字塔3.3视觉语义分析3.3.1视觉图像分类3.3.2视觉目标检测3.2.4深度视觉特征目录1.数字图像处理基础2.视觉特征提取3.视觉语义分析图像的表示

图像的基本处理：灰度变换灰度变换方法变换函数(a)恒等变换(b)反变换(c)对数变换(d)幂变换

图像的基本处理：图像空间滤波

(a)锐化(b)边缘检测(c)水平变化检测(d)垂直变化检测图像的基本处理：图像空间滤波●对每个位置，滤波器将邻域像素与卷积核中对应权重相乘并求和，得到新的像素值。●

得到的新的图像，也称为FeatureMap图像的基本处理：图像空间滤波在卷积运算中，还存在一些具体问题需要解决：首先是图像边界问题，当在图像上移动卷积核至边界时，在原图像中找不到与卷积核中的加权系数相对应的9个像素，即卷积核悬挂在图像缓冲区的边界上，这种现象在图像的上下左右四个边界上均会出现。例如，当核为：设原图像为：

经过卷积操作后的图像为：“－”表示无法进行模板操作的像素点。解决这个问题可以采用两种简单方法：一种方法是忽略图像边界数据，另一种方法是在图像四周复制原图像边界像素的值，从而使卷积核悬挂在图像四周时可以进行正常的计算。实际应用中，多采用第一种方法。其次，是计算出来的像素值的动态范围问题，对此可简单地将其值置为0或255即可。图像的基本处理：图像空间滤波滤波器名称核函数盒式滤波器高斯滤波器统计排序滤波器盒式滤波器：是最简单的均值滤波器。计算简单，适合快速试验，但方向性模糊较明显。高斯滤波器：各向同性、可分离，适合平滑并保持更自然的模糊特性。中值滤波器：统计排序滤波器中最出名的一种，非线性排序滤波，用中心像素邻域内的灰度值的中值替代中心像素的值，对随机噪声有较强抑制能力。图像的基本处理：均值滤波(m-1,n-1)(m-1,n)(m-1,n+1)(m,n-1)(m,n)(m,n+1)(m+1,n-1)(m+1,n)(m+1,n+1)则有：

图像的基本处理：均值滤波

盒式模板平滑处理示意图图像的基本处理：均值滤波

图像的基本处理：高斯滤波

GaussianFilter:图像的基本处理：高斯滤波

图像的基本处理：中值滤波中值滤波是一种最常用的非线性平滑滤波器，它将窗口内的所有像素值按大小排序后，取中值作为中心像素的新值。窗口的行列数一般取奇数。由于用中值替代了平均值，中值滤波在抑制噪声的同时能够有效地保留边缘，减少模糊。图像的基本处理：中值滤波中值滤波器的窗口形状可以有多种，如线状、方形、十字形、圆形、菱形等。

形状的选择：对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜。对于包含有尖顶物体的图像，用十字形窗口。窗口大小的选择：则以不超过图像中最小有效物体的尺寸为宜。图像的基本处理：中值滤波图像的基本处理：中值滤波混有椒盐噪宙的IKNOS图像中值滤波后的图像均值滤波后的图像中值滤波法能有效削弱椒盐噪声，且比均值滤波和高斯滤波更有效。图(a)为原图像；图(b)为加椒盐噪声的图像；图(c)和图(d)分别为3×3、5×5模板进行中值滤波的结果。图像的基本处理：图像锐化扫描线灰度渐变孤立点细线灰度跃变图像细节的灰度分布特性平坦段

为了突出图像中的地物边缘、轮廓或线状目标，可以采用锐化的方法。锐化提高了边缘与周围像素之间的反差，因此也被称为边缘增强。平滑通过积分过程使得图像边缘模糊，图像锐化则通过微分使图像边缘突出。图像锐化的目的：加强图像中物体（景物）的边缘和轮廓及图像细节。边缘和轮廓一般都位于灰度突变的地方，且突变常常具有任意的方向。图像的基本处理：图像锐化算法：拉普拉斯锐化拉普拉斯滤波核图像的基本处理：图像锐化

1.数字图像处理基础2.视觉特征提取3.视觉语义分析目录视觉特征提取：基本概念视觉内容表示是指将原始像素转化为更适合计算任务使用的特征向量。特征提取可以减少数据维度，突出关键信息，抑制冗余像素。在媒体计算任务中，图像分类、检索、检测等任务通常都依赖有效的视觉特征。本章介绍四类重要特征：全局视觉特征：从整张图像统计颜色、纹理、形状等整体属性。局部视觉特征：从关键点、角点、边缘等局部区域提取稳定结构。视觉单词与金字塔：将局部特征离散化，并补充空间结构信息。深度视觉特征：通过神经网络自动学习层级化视觉表示。全局视觉特征：直方图算法：全局直方图特征提取将得到的直方图绘制出来水平轴表示灰度，纵轴表示图像中具有指定强度的像素数。直方图的所有垂直轴值的总和为图像中的像素总数。这种灰度值分布情况的方式可以直观地体现一张图像整体亮度的特性，从而简便地将不同的图像区分开来。全局视觉特征：直方图1843411178883312215211852

12345678直方图函数:归一化直方图:全局视觉特征：颜色直方图

全局视觉特征：颜色直方图

一个单独的量化直方图0.20.40.10.20.1全局视觉特征：直方图

(a)原图像(b)直方图(c)累计直方图全局视觉特征：灰度共生矩阵算法：灰度共生矩阵特征提取

全局视觉特征：小波纹理分析

可分离的二维滤波器组实现的离散小波变换局部视觉特征：SIFT算法：Scale-InvariantFeatureTransform(SIFT)特征提取5.

搜索尺度空间中的极值，包括极大值和极小值6.去除低对比度的关键点和不稳定的边缘响应点等可能的噪声点SIFT（Scale-invariantfeaturetransform）是一种在尺度空间中提取的图像局部特征。其核心思想是：在不同尺度下找稳定关键点，再用关键点周围的梯度方向分布生成描述符。它解决的是：同一个物体在图像中发生缩放、旋转、亮度变化时，仍然能被匹配出来。局部视觉特征：SIFT

不同尺度的高斯模糊局部视觉特征：SIFT

局部视觉特征：SIFT4.去除不稳定关键点初步检测出的极值点并不都可靠，需要进一步筛选。主要去掉两类点：低对比度点：灰度变化太弱，容易受噪声影响。边缘响应点：只沿一个方向变化明显，定位不稳定。经过筛选后，保留下来的才是稳定的SIFT关键点。局部视觉特征：SIFT

局部视觉特征：SIFT局部视觉特征：SIFT

局部视觉特征：LBP算法：局部二值模式视觉单词与空间金字塔算法：视觉单词算法●视觉单词（Visualwords）方法受到自然语言处理中

词袋模型（BoW）的启发。●文本中可以统计单词频率表示文档，图像中也可以统计“视觉单词”频率表示图像。●视觉单词的基本思想是：先提取大量局部特征，再通过聚类将相似特征归为同一类。●每个聚类中心可以看作一个视觉单词，所有视觉单词构成

视觉词袋（vocabulary）。视觉单词与空间金字塔

SIFT特征聚类得到视觉单词视觉单词与空间金字塔算法：K-Means生成视觉单词

视觉单词与空间金字塔步骤1：提取所有训练图像的兴趣点步骤2：对特征进行聚类，将空间量化为离散数量的视觉词。视觉单词与空间金字塔步骤3：K-means聚类GetthefinalvisualwordTree视觉单词与空间金字塔步骤4：将每张图像概括（表示）为视觉词的直方图，并以此作为匹配和检索的基础视觉单词与空间金字塔

视觉单词直方图视觉单词与空间金字塔

深度视觉特征：卷积层

卷积操作示例深度视觉特征：AlexNet

深度视觉特征：AlexNetAlexNet特征可视化结果AlexNet模型结构图深度视觉特征：VGGNet

VGG16模型结构图1.数字图像处理基础2.视觉特征提取3.视觉语义分析目录视觉图像分类层次主要目标对应任务语义概念识别通过视觉表观准确地识别出单个物体具有的客观特性，例如类别、属性、数量。图像分类、人流统计语义关联挖掘发现不同的物体具有某些相同的属性，从而基于这些属性上的共性将关联同一类物体、区分不同类物体。目标检测、语义分割层次语义建模将大量总结得到的语义概念整合在一起，形成相互关联、逐层细化的语义概念网络。实例分割、全景分割跨媒体推理在对视觉内容多层次语义理解的基础上，抽象出可以推理的知识表示，进而支持跨媒体的推理与计算。图文生成、视觉问答在描述真实世界中的物体时，人们通常会使用大量抽象的语义概念，如物体的颜色、形状、类别、用途等。从位置分布、语义层次出发对视觉媒体的结构化理解是人类认知的核心能力，让计算机获得这一能力是视觉媒体计算的最终目的之一。参照人类认知的结构化理解，视觉语义分析可以概括为表中的四个层次。视觉图像分类

图像分类基本流程视觉图像分类图像分类有两个核心问题。第一，如何提取合适的视觉特征。第二，如何设计有效的分类器。常见分类器包括线性分类器、支持向量机、KNN、神经网络等。分类器基本思想代表算法线性模型每一物体的类别都可以通过其若干属性的线性组合进行表达。线性回归、支持向量机聚类算法在特征空间中，同一类物体的距离尽可能接近，不同类物体的距离尽可能远。K近邻、决策树概率模型基于特定先验知识，将分类问题建模为条件概率求解问题。贝叶斯分类器神经网络通过端到端学习，在网络空间中完成图像-特征-类别的映射。AlexNet、VGG、ResNet视觉图像检测：两阶段目标检测在统目标检测通常采用两阶段框架：第一阶段生成候选框，用于回答目标可能出现在哪里。第二阶段对候选框区域提取特征，并进行分类和位置修正。基本流程可表示为：输入图像→候选框生成→特征提取→分类/回归滑动窗口是常见的候选框生成方法，它在图像上按固定窗口大小和步长进行遍历。其方法简单直接，但计算复杂度高，且会产生大量冗余候选框。改进方法包括设置不同步长和窗口尺度、进行前景-背景分割、采用选择性搜索等。候选框特征需要具备旋转、平移和尺度不变性。SIFT、LBP、HOG、Haar等特征都曾被用于目标检测中的候选区域表示。视觉目标检测：一阶段目标检测算法：一阶段目标检测1.输入：待检测图像，检测标签4.若图像块中心包含检测目标，则为该图像块分配该目标的类别标签，根据检测标签生成图像块的定位标签；5.为每个图像块提取视觉特征；7.训练阶段：分别对分类结果、定位结果分别计算损失函数，更新视觉特征提取器、分类器与回归器；测试阶段：输出结果

谢谢！【新一代人工智能系列教材】媒体计算第4章：音视频序列分析

本章内容4.1音频分析4.1.1音频特征表示4.1.2音频深度特征4.1.3音频分析应用4.2视频分析4.2.1视频特征表示4.2.2视频深度特征4.2.3视频分析应用目录1.音频分析2.视频分析音频特征表示概述核心：把声音从“原始波形”转换为“可比较、可学习、可检索”的数值表示音频特征的两类表示特征是对声音中可观察属性的抽象，用于后续识别、检索与理解。统计特征短时能量｜过零率｜频谱特征LPC｜LPCC感知特征基频｜响度｜MFCCPLP原始声音波形频谱/MFCC特征向量从连续声音信号到可计算特征向量预处理整体流程预滤波抑制混叠干扰与电源工频干扰预加重提升高频部分，使频谱更平坦加窗分帧基于短时平稳假设切分信号提取特征形成可计算的频谱、倒谱与感知特征音频序列通常需要先还原为原始音频数据，再进行特征分析预处理的目标是让原始音频更适合进行短时分析预滤波预滤波的目的：抑制输入信号各频域分量中频率超出fs/2的所有分量（fs为采样频率），以防混叠干扰。抑制50Hz的电源工频干扰。预加重由于语音信号的平均功率谱受声门激励和口鼻辐射的影响，频率越高相应的成分就越小，高频部分的频谱比低频部分的难求，因此要对语音信号先进行预加重处理加窗分帧将长时音频划分为短时帧，并通过窗函数加权，满足短时平稳分析假设窗函数比较矩形窗谱平滑性较好易产生泄漏现象汉明窗有效克服泄漏实际应用较广汉宁窗平滑过渡适合短时信号分析时间分辨率与频率分辨率谱特征响度谱特征反映了音频信号的不同频率成分在人耳听觉系统中的感知强弱频率/Hz31.5631252505001000200040008000衰减量C(k)/dB-39.4-26.2-16.1-8.6-3.201.21-1.1含义不同频率下，人耳对声压变化的感知不同，因此需要频率相关的修正。应用对谱分量进行响度归一化，可用于音频相似性比较与检索。注意多媒体文件音量可调，不能直接用绝对响度比较相似性。声压级和响度级之间便相差一个与频率相关的常数，称为衰减量声压级转换为响度级时应加的衰减量：倒谱分析与MFCC将人耳听觉感知特性引入音频特征表示耳蜗滤波器组1kHz以下近似线性尺度1kHz以上近似对数尺度美尔频率尺度低频更敏感，高频更压缩模拟人耳对声音的感知MFCC是语音识别和说话人识别中广泛使用的音频特征美尔(Mel)滤波器组：频率轴非均匀划分MFCC计算流程对频率轴的不均匀划分是MFCC特征区别于前面所述的普通倒谱特征的最重要的特点算法4.1MFCC倒谱系数计算过程输入：声音信号输出：V个MFCC系数将信号进行分帧，加汉明窗处理，然后进行短时傅里叶变换得到频谱求出频谱平方，即能量谱，并用个美尔带通滤波器进行滤波，由于每一个频带中分量的作用在人耳中是叠加的，因此将每个滤波频带内的能量进行叠加，这时第个滤波器输出功率谱X'(k)将每个滤波器的输出取对数，得到相应频带的对数功率谱；再进行反离散余弦变换，得到V个MFCC系数，如下式所示（一般V取1216个）VGGishVGGish的关键：把音频“图像化”，再用视觉CNN的方式学习时频模式输入形式原始音频→频谱图/Mel频率图网络组成卷积层、池化层、全连接层输出用途紧凑语义表示，可用于分类等任务将音频转换为Mel频率图，再用CNN提取语义特征VGGish算法流程VGGish的关键：把音频“图像化”，再用视觉CNN的方式学习时频模式从原始音频到分类结果的端到端特征提取过程低级特征卷积Conv1模块提取低级音频特征，并进行最大池化。高级特征卷积Conv2/3模块逐步扩展到时间域与频域表示。特征映射PCA模块将高维特征映射到固定维数，便于分类。算法4.2VGGish算法输入：原始音频信号输出：音频特征分类结果原始音频信号分帧后进行傅里叶变换，转换为Mel频率图将频谱图输入到前端模块用于初步提取音频特征，经过最大池化层继续输入到卷积1模块，用于提取低级别的音频特征并对特征进行最大池化输入卷积2模块，用于提取更高级别的音频特征输入两个具有不同步长的卷积层的卷积3模块，用于将网络从空域信息扩展到时间域与频域输入至PCA模块，将从卷积层中提取的高维特征映射到固定维数，以便进行分类，并将PCA模块的输出连接到分类层，产生最终的音频特征表示L3-Net核心问题图像和声音是否来自同一内容源？输入视觉帧：224×224×3音频：1秒48kHz对数频谱输出Yes/No判断图像—音频对是否匹配不依赖人工标注，利用跨模态共现关系构造训练信号利用视频中视觉与声音同时出现的自然对应进行自监督学习PANNs在AudioSet上训练，可迁移到多类音频模式识别任务模型结构参数量输出维度CNN1412个卷积层+2个全连接层79.6M2048CNN108个卷积层+2个全连接层4.9M512CNN64个卷积层+2个全连接层4.5M512可完成任务音频标注声场景分类音乐分类语音情感分类声音事件检测迁移方式预训练模型可通过微调迁移到具体音频任务。PANNs的价值在于“预训练音频表示”可以服务多种下游任务Wavegram-Logmel-CNN结合神经网络学习的Wavegram与手工Logmel表示Wavegram由一维CNN从时域波形中学习得到的时频表示。Logmel传统Mel频谱图，保留清晰的时频结构。Concat二者拼接后进入二维CNN，捕获时频不变模式。从数据中学习时频变换，是深度音频特征的重要思路音频识别将语音或声音转化为文本、控制命令或身份信息音频识别的核心链路是“预处理—特征提取—模型识别—结果解码”，应用覆盖语音交互、转写和身份识别等场景。待识别音频预处理特征提取模型识别输出结果语音/声音片段去噪、分帧、标准化MFCC/频谱特征CNN/RNN/LSTM/Transformer文本、指令、身份示例：语音指令“打开灯光”音频波形识别输出：打开灯光后处理：语言模型/纠错🎙语音转写语音→文字🔊语音指令命令控制👤说话人识别身份认证🤖智能交互多模态交互典型应用识别流程音频信息检索通过索引库和检索模型找到与查询相似的音频内容图4-5音频信息检索的框架结构构建索引数字化与特征提取分类识别与摘要生成检索匹配根据用户查询在索引库中计算相似度输出结果按相关度排序返回最相似的音频条目人声分离将音频中的人声部分与其他声音部分分离出来，以便进行单独的处理或播放。这项技术可以应用于许多领域，如音频编辑、语音识别、音乐制作等音频部分小结从低层信号到高层语义的三层路径1.传统特征预滤波、预加重、分帧加窗频谱、响度、MFCC2.深度特征VGGish、L3-Net、PANNs端