第08章 HMM.ppt

1 2 HMM的由来 1870年 俄国有机化学家VladimirV Markovnikov第一次提出马尔科夫模型马尔可夫模型马尔可夫链隐马尔可夫模型 3 马尔可夫性 如果一个过程的 将来 仅依赖 现在 而不依赖 过去 则此过程具有马尔可夫性 或称此过程为马尔可夫过程X t 1 f X t 4 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链记作 Xn X n n 0 1 2 在时间集T1 0 1 2 上对离散状态的过程相继观察的结果链的状态空间记做I a1 a2 ai R 条件概率Pij m m n P Xm n aj Xm ai 为马氏链在时刻m处于状态ai条件下 在时刻m n转移到状态aj的转移概率 5 转移概率矩阵 阴天 晴天 下雨 晴天阴天下雨晴天0 500 250 25阴天0 3750 250 375下雨0 250 1250 625 6 转移概率矩阵 续 由于链在时刻m从任何一个状态ai出发 到另一时刻m n 必然转移到a1 a2 诸状态中的某一个 所以有当Pij m m n 与m无关时 称马尔科夫链为齐次马尔科夫链 通常说的马尔科夫链都是指齐次马尔科夫链 7 由于模型本身是看不见的 即模型的状态不为外界所见 只能根据获得的数据推导出来 所以称为隐马尔可夫模型 8 HMM概念 HMM是一种随机过程 它用概率统计的方法来描述语音信号的变化过程 HMM与通常的Markov链的不同之处在于其观察结果不是与状态有确定的对应关系 而是系统所处状态的概率函数 所以模型本身是隐藏的 它与观察结果之间还有一层随机的关系 HMM是对语音信号的时间序列结构建立统计模型 将之看做一个数学上的双重随机过程 一个是用具有有限状态的Markov链来模拟语音信号统计特性变化的隐含随机过程 另一个是与Markov链的每一个状态相关联的观测序列的随机过程 前者通过后者表现出来 但前者的具体参数是不可测的 9 HMM概念 HMM的状态是不确定或不可见的 只有通过观测序列的随机过程才能表现出来观察到的事件与状态并不是一一对应 而是通过一组概率分布相联系HMM是一个双重随机过程 两个组成部分 马尔可夫链 描述状态的转移 用转移概率描述 一般随机过程 描述状态与观察序列间的关系 用观察值概率描述 10 Markov链 A 随机过程 B 状态序列 观察值序列 q1 q2 qT o1 o2 oT HMM的组成示意图 HMM组成 11 HMM概念 采用HMM来描述语音过程的成功原因在于 1 各状态驻留的时间是可变的 这样就很好地解决了语音时变问题 2 模型参数是通过大量的训练数据进行统计运算而得到的 因此不仅可以用于特定人识别 而且可用于非特定人识别 这时 只要将大量不同人的多次发音用作训练数据即可 12 13 14 15 16 HMM实例 约束 在上述实验中 有几个要点需要注意 不能被直接观察缸间的转移从缸中所选取的球的颜色和缸并不是一一对应的每次选取哪个缸由一组转移概率决定 17 HMM实例 18 19 HMM模型的假设 假设1 有限历史假设p qi qi 1 q1 p qi qi 1 假设2 齐次性假设 状态与具体时间无关 p qi 1 qi p qj 1 qj 对任意i j成立假设3 输出独立性假设 输出仅与当前状态有关 p O1 OT q1 qT p Ot Xt 20 HMM的基本要素 用模型五元组 N M A B 用来描述HMM 或简写为 A B 21 几种典型形状的马尔科夫链 a A矩阵没有零值的Markov链b A矩阵有零值的Markov链c d 左 右形式的Markov链 22 HMM由许多状态和状态之间的转移弧组成 状态之间的转移是随机的 每一状态下的输出也是随机的 由于允许随机转移和随机输出 使模型能适应发音的各种变化 图8 1马尔可夫过程状态图 箭头表示状态之间允许转移 箭头的数字表示转移概率 23 实际上并非所有的HMM都像图8 1那样复杂 模型越简单越便于估计和应用 对于某些应用特别是语音识别来说 采用其他类型的HMM效果会更好 一种最常见的模型是从左至右的模型 其一般形式示于图8 2 模型只有惟一的一个初始状态和一个终止状态 并且这个过程只要进入一个新的状态就不能返回到以前的状态 这种模型很适合于其性质随着时间变化的信号 如语音信号 在图8 2所示的模型中 前向转移受到进一步的约束 模型只能重复原有状态 前进一个状态或两个状态 图8 2由左至右的HMM 初始状态是1 终止状态是5 24 图8 3 a 产生一个假想单词的状态过程 b 格形图 表示从状态1到状态5的各种可能的7状态路径 粗线相当于图 a 中的过程 25 二 定义 初始状态 26 二 定义 转移状态 27 二 定义 输出状态 28 二 定义 29 三 隐马尔可夫模型的计算 三项问题的求解 模型选择 30 三 隐马尔可夫模型的计算 三项问题的求解 状态序列选择 31 三 隐马尔可夫模型的计算 三项问题的求解 训练过程 32 三 隐马尔可夫模型的计算 三项问题的求解 33 三 隐马尔可夫模型的计算 概率Pr Y 的计算 34 三 隐马尔可夫模型的计算 HMM的识别 HMM的识别是指在给定输出Y的条件下 在一组HMM中作出判决 判定出哪一个具有输出Y的最大可能性 这里 最佳状态序列的寻找是揭示HMM的 隐藏 部分 找出所有状态序列中与输出序列相吻合的 正确 序列 反映的正是识别过程 因而识别的过程就是寻找最佳隐层结构 一种可能的最佳准则是 选择状态xn 使它们在各个n时刻均是最为可能的状态 即在n 1时最可能状态为x1 在n 2时刻为x2等等 35 三 隐马尔可夫模型的计算 HMM的识别 36 三 隐马尔可夫模型的计算 HMM的训练 在HMM中 模型的训练是指在给定初始模型参数后 用模型输出对其进行校正 来优化模型参数 由于HMM的随机性 最初的模型不可能是最佳的 参数优化的过程表明HMM的模型参数可根据语音的变化不断调整 HMM的训练是三个问题中最困难的一个 目前尚无求解这个问题的解析方法 所以 只能用迭代法 如Baum Welch法 或最佳梯度法 37 三 隐马尔可夫模型的计算 HMM的训练 38 三 隐马尔可夫模型的计算 HMM的训练 39 三 隐马尔可夫模型的计算 HMM的训练 40 41 42 43 44 45 46 HMM可解决的问题 问题1 给定观察序列O O1 O2 OT 以及模型 如何计算P O 问题2 给定观察序列O O1 O2 OT以及模型 如何选择一个对应的状态序列S q1 q2 qT 使得S能够最为合理的解释观察序列O 问题3 如何调整模型参数 使得P O 最大 47 解决问题1基础方法 给定一个固定的状态序列S q1 q2 q3 表示在qt状态下观测到Ot的概率N 5 M 100 计算量10 72 48 解决问题1前向法 动态规划定义前向变量初始化 递归 终结 49 前向法示意图 1 tt 1 a1j at1 qN qi qj q1 atN ati aNj aij N 5 M 100 计算量3000 50 解决问题1后向法 与前向法类似定义后向变量初始化 递归 终结 51 Viterbi算法 目的 给定观察序列O以及模型 如何选择一个对应的状态序列S 使得S能够最为合理的解释观察序列O N和T分别为状态个数和序列长度定义 我们所要找的 就是T时刻最大的所代表的那个状态序列 52 Viterbi算法 续 初始化 递归 终结 求S序列 53 Baum Welch算法 模型训练算法 目的 给定观察值序列O 通过计算确定一个模型l