多媒体技术应用课件第二章.ppt

上节回顾练习 1 多媒体技术是由于 等现代信息技术不断进步的条件下 由多学科不断融合 相互促进而产生出来的 2 多媒体技术应用的关键问题是 1 建立技术标准 2 压缩编码和解压 3 提高开发质量 4 降低多媒体产品的成本A 仅 1 B 1 4 C 2 4 D 全部3 波形声音与MIDI音乐的区别 计算机技术 通信网络技术 大众传播技术 D 第三章音频信号处理技术 主要内容 音频信号基本概念人类听觉特性音频信号压缩技术音频编码标准应用实例 知识要点 音频信号的表示音频信号的压缩技术音频编码标准声音合成实例 重点 音频信号的压缩技术声音合成实例难点 音频信号的压缩技术 3 1音频信号的基本概念 1 声音是通过介质传播的一维的连续波 这种连续性表现在两个方面 一是时间上的连续性 二是幅度上的连续性 声音是如何产生的 3 1音频信号的基本概念 2 声音的基本特点 1 声音物理特性 频率 周期 声压 声强 动态范围 频谱 2 声音心理特性 音调 响度 音色 掩蔽效应 方向感 空间感 分贝 3 声音的音质 频带宽度 信噪比 数据量 声音在计算机中如何表示 3 1音频信号的基本概念 3 音频信号的离散化离散化实际上就是采样和量化 模拟信号转换为数字信号步骤如图3 2所示 3 1音频信号的基本概念 5 音频文件的格式音频数据必须以一定的数据格式存储在磁盘或者其他媒体上 音频文件的格式很多 目前比较流行的有一下几种 主要用在PC上的以wav waveform 为扩展名的文件格式 主要用在UNIX工作站上的以au audio 为扩展名的文件格式 主要用在苹果机和SGI工作站上的以aiff audiointerchangeablefileformat 和snd sound 为扩展名的文件格式 以及目前PC机上比较流行的以rm和mp3为扩展名的音频文件格式 3 2人类听觉特性 1 人耳的构造人能听见各种声音 是通过一套复杂的听觉器官 耳实现的 耳分为外耳 中耳和内耳三个部分 外耳包括耳廓 外耳道和鼓膜 耳廓也就是我们平常所说的耳朵 它有收集声波的作用 当声波经耳廓收集到耳内后 先振动了鼓膜 然后鼓膜的振动又由中耳的3块听小骨传到内耳 3 2人类听觉特性 内耳是听觉神经最末梢的部分 中耳传来的声波 刺激听神经的末梢 使之兴奋 兴奋沿着听神经传到大脑皮层的听觉中枢 人就听到了声音 2 掩蔽效应一种频率的声音阻碍听觉系统感受另一种频率的声音的现象称为掩蔽效应 前者称为掩蔽声音 maskingtone 后者称为被掩蔽声音 maskedtone 掩蔽可分成频域掩蔽和时域掩蔽 3 2人类听觉特性 3 时域掩蔽效应所谓时域掩蔽是指掩蔽效应发生在掩蔽声与被掩蔽声不同时出现时 又称异时掩蔽 时域掩蔽又分为超前掩蔽 pre masking 和滞后掩蔽 post masking 如图3 4所示 若掩蔽声音出现之前的一段时间内发生掩蔽效应则称为超前掩蔽 否则称为滞后掩蔽 产生时域掩蔽的主要原因是人的大脑处理信息需要花费一定的时间 如图3 15所示超前掩蔽和滞后掩蔽 3 2人类听觉特性 4 频域掩蔽效应一个强纯音会掩蔽在其附近同时发声的弱纯音 这种特性称为频域掩蔽 也称同时掩蔽 simultaneousmasking 一般来说 低频的音容易掩蔽高频的音 在距离强音较远处 绝对闻阈比该强音所引起的掩蔽阈值高 这时 噪声的掩蔽阈值应取绝对闻阈 3 2人类听觉特性 5 临界频带由于声音频率与掩蔽曲线不是线性关系 为从感知上来统一度量声音频率 引入了 临界频带 criticalband 的概念 通常认为 在20Hz到16kHz范围内有24个临界频带 如表3 1所示 临界频带的单位叫Bark 巴克 1Bark等于一个临界频带的宽度 3 2人类听觉特性 6 音频的有关定律 1 频率域的主观感觉 2 时间域的主观感觉 3 空间域的主观感觉 4 听觉的韦伯定律 5 听觉的欧姆定律 6 掩蔽效应 7 双耳效应 8 哈斯效应 9 德 波埃效应 10 劳氏效应 11 匙孔效应 12 浴室效应 13 多普勒效应 14 鸡尾酒效应 15 李开试验 3 3音频信号的压缩技术 人耳的掩蔽效应和音频的有关定律表明 若将一些人耳不敏感的信号进行压缩是可行的 针对不同的应用 可以采用不同的压缩技术 3 3音频信号的压缩技术 1 脉冲编码调制脉冲编码调制 pulsecodemodulation PCM 是概念上最简单 理论上最完善的编码系统 是最早研制成功在语音信号中 后来使用最为广泛的编码系统 但也是数据量最大的编码系统 PCM主要包括抽样 量化 编码三个过程 原理如图3 5所示 3 3音频信号的压缩技术 2 感知编码原理 一般来说 数据压缩有两种方法 一种方法是利用信号的统计性质 完全不丢失信息的高效率编码法 称为平均信息量编码或熵编码 第二种方法是利用接收信号的人的感觉特性 省略不必要的信息 压缩信息量 这种方法称为感知编码 感知编码是利用人耳听觉的心理声学特性 频谱掩蔽特性和时间掩蔽特性 人耳对信号幅度 频率 时间的有限分辨能力 凡是人耳感觉不到的成分不编码 不传送 简单的说感知编码是建立在人类听觉系统的心理声学原理为基础 只记录那些能被人的听觉所感知的声音信号 从而达到减少数据量而又不降低音质的目的 3 3音频信号的压缩技术 3 感知编码特点 1 尽管这个方法是有损的 但人耳却感觉不到编码信号质量的下降 2 感知编码器的有效性部分源自采用了自适应的量化方法 3 一般感知编码采用两种比特分配方案 前向自适应分配方案 后向自适应分配方案 4 感知编码有一定的抗噪性 5 由于感知编码器根据人耳的灵敏度来编码 它也可以输出放音系统所要求的响度 6 感知编码技术的实现全靠子带压缩技术 3 3音频信号的压缩技术 4 子带编码子带编码 SubBandCoding SBS 首先使用带通滤波器组将输入信号分割成几个不同的子带信号 再对这些子带信号分别进行频谱平移 然后分别对各子带进行量化 编码 这类编码方式称为频域编码 频域编码将信号分解成不同频带分量的过程去除了信号的多余度 得到一组不相关的信号 3 3音频信号的压缩技术 5 子带编码工作原理 输入端 首先用一组带通滤波器将输入信号分成若干子带信号 然后将这些子带信号通过频率搬移变成基带信号 再对它们分别进行采样 量化编码后再将子带的信码合路成一个总信码传输到接收端 量化编码可以采用PCM DPCM等方式 3 3音频信号的压缩技术 5 子带编码工作原理 接收端 在接收端 把总信码分成各子带信码 再进行插值 频率搬移到原来的位置 带通滤波然后相加得到重建信号 3 4音频编码标准 1 CCITTG系列标准 1 G 711 2 G 722 3 G 723 4 G 728 5 G 729 3 4音频编码标准 2 音频编码标准比较 3 4音频编码标准 3 MP3压缩标准MPEG 1第三层合并了MUSIC和ASPEC算法 第三层的输出就是通常所说的MP3 层3使用了比较好的临界频带滤波器 把声音频带分成非等带宽的子带 心理学模型除了使用频域掩蔽特性和时间掩蔽特性之外 还考虑了立体声数据的冗余 并且使用了霍夫曼编码器 虽然层3所用的滤波器组与层1和层2所用的滤波器组的结构相同 但是层3还使用了修正的离散余弦变换MDCT 对层1和层2的滤波器组的不足作了一些补偿 MDCT把子带的输出在频域里进一步细分以达到更高的频域分辨率 同时也部分消除了多相滤波器组引入的混叠效应 图3 24是单信道时MPEG 1第三层的编码器和解码器的原理图 3 4音频编码标准 层3编码器 层3解码器 MP3音乐的例子 3 4音频编码标准 4 AC 3压缩标准杜比AC 3编码系统属于感知编码器 采用MDCT的自适应变换编码算法 利用临界频带内一个声音对另一个声音信号的掩蔽效应最明显 将整个音频频带分割成若干个较窄的频段 划分频带的滤波器组要有足够锐利的频率响应 以保证临界频带外的噪声衰减足够大 使时域和频域内的噪声限定在掩蔽门限下 由于人类的听觉对不同频率的声音具有不同的灵敏度 因此各频段的宽度并不完全一样 每一个频段所占有的数据量不是平均分配的 编码器通过人耳的听觉掩蔽特性 根据信号的动态特性来决定在某一时刻的数据应当如何分配给各个频段 对于频谱密集 音量大的声音元素应该获得较多的数据占有量 而那些由于掩蔽效应而听不到的声音则少占用或不占用数据量 3 4音频编码标准 5 AC 3编码器原理图 3 4音频编码标准 6 AC 3压缩标准特点 1 杜比数字AC 3提供的环绕声系统由五个全频域声道加一个超低音声道组成 2 杜比数字AC 3是根据感觉来开发的编码系统多声道环绕声 3 全频段的细节十分丰富 具有真正的立体声 4 杜比数字AC 3具有很好的兼容性 5 AC 3的后环绕声道拥有完整的定位能力 3 4音频编码标准 7 MIDI标准MIDI是MusicInstrumentDigitalInterface的缩写 一般翻译为 数字化乐器接口 也就是说它的真正涵义是一个供不同设备进行信号传输的接口的名称 我们如今的MIDI音乐制作全都要靠这个接口 在这个接口之间传送的信息也就叫MIDI信息 MIDI是一种数字接口 而计算机始终是以数字方式工作的 当乐器与计算机联接在一起时 它的实力才真正显露出来 3 4音频编码标准 8 MIDI系统的基本配置如图3 6所示 MIDI音乐的例子 3 4音频编码标准 9 现时制作MIDI所要用到的音序器 音源甚至录音机等也已经不再局限在硬件中 而有相应的软件产品应运而生 而且其效果与硬件相比并不逊色 虽然软件在稳定性上还不如硬件 但也有其优越之处 如使用方便和容易更新等 随着软件的不断升级 越来越多的软件具有音频处理功能 可以对波形文件进行编辑 完全可以在全软件的环境中制作出好的作品 根据不同的录音要求和所需的专业程度 选择适合的软件才是最重要的 1 CAKEWALK系列 2 LogicAudio系列 3 Cubase系列 4 CoolEdit 5 Samplitude 问题 人可以听到的频率范围是 音频信号如何转变成数字信号的 音频离散化有两个步骤 第一步是 第二步是 能够对波形进行编码的技术有 等 5 音频的压缩标准有标准 标准 标准 标准等 20Hz 20KHz 采样 量化 脉冲编码调制 PCM 自适应差分脉冲调制 ADPCM G系列 MP3 AC 3 MIDI 自适应变换编码 ATC 音频数据量的计算 存储容量 字节 采样频率 量化位数 声道数 时间 秒 8 例 44 1的采样频率 16位的量化精度 3分钟双声道音频文件所需要的存储空间是多少 各种采样频率和量化精度1分钟的存储容量 3 5应用与实例 1 录制声音 1 接好话筒 保证声卡工作正常 2 调整音量 双击Windows任务栏中的小喇叭形状的 音量 图标 弹出 录音控制 窗口 执行 选项 属性 命令 弹出 属性 对话框 如图3 17所示 选择 调节音量 栏中的 录音 项 在 显示下列音量控制 列表框中已列出用户具有的声源 注意 使用不同的操作系统 该列表框中的显示也不同 但大致概念一样 选择需要进行音量控制的声源 单击 确定 按钮 在 录音控制 窗口中 显示刚才选择的声源 选中 麦克风 声源下的 选择 复选框 选定声源为麦克风 注意 应通过多次试音调节录音音量 使录制的声音背景噪声小 同时声音效果好 3 5应用与实例 1 接好话筒 保证声卡工作正常 2 调整音量 双击Windows任务栏中的小喇叭形状的 音量 图标 弹出 录音控制 窗口 执行 选项 属性 命令 弹出 属性 对话框 如图3 17所示 选择 调节音量 栏中的 录音 项 在 显示下列音量控制 列表框中已列出用户具有的声源 注意 使用不同的操作系统 该列表框中的显示也不同 但大致概念一样 选择需要进行音量控制的声源 单击 确定 按钮 在 录音控制 窗口中 显示刚才选择的声源 选中 麦克风 声源下的 选择 复选框 选定声源为麦克风 注意 应通过多次试音调节录音音量 使录制的声音背景噪声小 同时声音效果好 1 录制声音 3 执行 文件 新建 菜单命令 显示 新建波形 对话框 选择新建录音文件的采样频率为44100Hz 并根据需要选择通道和分辨率 一般规律是 除了录制语音选择单声道以外 其他声音采用立体声 设置好参数后 单击 确定 按钮 完成设置 出现空波形工作界面 4 在声音播放工具中 单击 录音 按钮 用麦克风开始录音 在录制过程中 一条垂直线在波形显示区中从左至右移动 指示录音的过程 当垂直线到达时间轴的终点时 录音结束 如果在录音过程中终端录音 单击 停止 按钮即可 录音结束后 录制的声音波形将显示在波形显示区中 单击 播放 按钮 可以试听录音效果 1 录制声音 属性 对话框 2 消除环境噪声 在语音停顿的地方会有一种振幅变化不大的声音 如果这种声音贯穿于录制声音的整个过程 这就是环境噪声 消除环境噪声的方法是在语音停顿的地方选取一段环境噪声 让系统记住这个噪声特性 然后自动消除所有的环境噪声 具体操作如下 2 消除环境噪声 1 在语音停顿处选取一段有代表性的环境噪声 它的时间长度应不少于0 5s 2 执行 效果 降噪 恢复 降噪处理 菜单命令 此时会弹出 降噪 对话框 如图3 18所示 注意 不要单击 取消 按钮来关闭对话框 2 消除环境噪声 降噪 对话框 2 消除环境噪声 3 在该对话框中 设置 FFT大小 为4096 其他各项去默认值 4 单击 采集预置文件 按钮 系统就会把噪声轮廓记录在原本为灰色的噪声线图框中 水平方向表示频率 垂直方向表示噪声的音量 在 降噪 对话框中单击 关闭 按钮关闭对话框 5 回到波形显示区界面后 使用水平缩放工具使整个声音波形都显示在波形显示区中 双击波形显示区选取整个波形 然后再次打开 降噪 对话框 会看到噪声轮廓还在那里 这时按下确定按钮 系统开始自动清除环境噪声 清除结束后再听录制的声音 会发现确实安静多了 6 若降噪后发现有用的语音也发生了变形 可以使用撤销刚才的降噪操作 然后把降噪电平降低少许 再进行降噪处理 3 调整时间和音调 制作多媒体产品 有时为了与画面同步或出于其他考虑 需要改变声音的长度或速度 有时需要改变音调 这就需要进行时间或音调的调整 调整方式如下 3 调整时间和音调 1 把需要调整的部分设置为选区 2 选择 效果 时间弯曲 音调 命令 可分别改变乐曲的速度和音调 显示如图3 8和图3 9所示 3 调整时间和音调 图3 8调整时间图3 9调整音调 3 调整时间和音调 1 通过以上两个选项可以改变歌曲播放的时间和音调 2 按 确定 按钮 然后试听效果 4 声音合成综合实例 把两个或两个以上的声音素材组合在一起 形成多个声音共鸣的效果 这就是所谓的 声音合成 声音合成是制造气氛 丰富声音表现力的重要手段 常见的合成效果很多 如录音 自然交响曲 音乐与鸟鸣声 大风呼啸声等的合成 人为的热烈气氛等 下面举一个综合实例 4 1使用素材 素材包括 鸟叫声 mp3 献给爱丽丝 mp3 这些素材已