EM算法在高斯混合模型中的应用

EM 算法在高斯混合模型中的应用算法在高斯混合模型中的应用 1 1 定义定义 对于一个随机信号生成器 假设他的模型参数为 我们能观测到的数据 输出为 X X 不能观测到的数据输出为 Y Y 且随机系统模型结构的概率密度函数为 1 p x y 能够观测到的一部分数据输出数据 模型的另一部分输出数据 12 N x xx 未知 模型的参数也未知 EM 算法就是要求我们从观测数据中估 12 N x xx 计出参数 2 EM 算法的描述 假设每一对随机系统的输出样本对于不同的n相互独立 这样当 nn xy x和y都已知的情况下 概率也已知 未观测的输出y的概 p x y p x y 率分布也属于待求参数 根据独立性假设有 2 1 N nn n p x yp xy 3 EM3 EM算法的基本思路算法的基本思路 基本问题是求解下面的方程的解 3 argmax p x y 由于X是确定量 Y是未知的 因此即使给定了 也无法求得的 p x y 值 因此我们只能退一步求 4 argmax p x 其中 5 y Yy Y p xp x yp yp x y 表示考虑了未知数据y的所有可能的取值Y后对求平均值 p x y 最后根据log函数的单调性得到 4 的等效形式 6 argmaxlog p x 对于 6 给出的最优化问题 考虑用下面的递推算法解决 即 先给定一个估值 并计算 然后更新得到并且有 k k p x k 1k 7 1 log log kk p xp x 8 log log log log y Y k k y Y k k y Y k p xp yp x y p yp x y p y x p y x p yp x y p y x p y x B 其中 等号在时成立 即 kk B 9 log kkk Bp x 于是对的递推算法 7 可通过进行 步骤为 log p x k B 1 令k 0 先给出估值 k 2 然后找出满足 10 1k 1 kkkk BB 3 k更新为k 1并返回步骤2 直到收敛 令 11 1 argmax kk B 处理后 12 1 argmax argmax log argmax log log argmax log argmax kk k k y Y kkk y Y k y Y k B p yp x y p y x p y x P y xp yp x yp y xp y x p y xp yp x y C 其中 13 log kk y Y Cp y xp yp x y 4 EM4 EM算法与高斯混合模型算法与高斯混合模型 在随机系统模型中 假设是通道的随机信号生成器的概率密度函数的 m m 参数 是选中通道的概率 记为 p ym m m a 假设个随机信号生成器和通道选择随机生成器是相互独立的 从通道M 输出的数据的概率是 mx 14 mmm a px 不考虑通信信息 输出的概率为 x 15 1 M mmm m p xa px 其中 是第个通道随机信号生成器的参数 m m 参数集合 1 2 mm mM a 观测数据为一批随机产生的输出信号 并且每个输出都是相互独立的 而 每个输出来自哪个通道不可测 于是系统模型参数估计问题就变为通过有限的 输出样本估计个通道参数 12 N x xxM 1 2 mm amM 应用 12 求解 其中可以简化为 k C 16 1111 12 log log MNMN kkk mnmmmn mnmn kk Cap m xpxp m x CC 其中 1 11 log MN kk mn mn Cap m x 2 11 log MN kk mmmn mn Cpxp m x 这样我们把和分别放在两项里面 他们不相关 可以独立考虑 m a m p 在中应用约束条件 k C 1 1 M m m a 用拉格朗日乘子优化得到 m a 1 1 1 N kk mn n ap m x N 上式的含义是 选中号通道的概率估计是每个观测数据来自于m 1k m a n x 通道的条件概率 根据上一次估值估算 的平均 其中的通过m k n p m x 下式得出 1 k k mmnm nM k n mmm m a px p m x a px 中的的优化取决于分布函数的类型 对于为高斯分 2 k C m mmm px 布时 mmm 其中是分布的均值 是方差 再经过推导 有 m m 1 1 1 N kk mn n ap m x N 1 1 1 N k nn k n mN k n n x p m x p m x 1 2 1 2 1 1 1 N kk nnm k n mN k n n p m xx p m x 通道参数得更新可以看作是对的加权 加权系数m mm n x 可以看成是根据上一次的参数估计算出来得率属于通道的 k m p m x k n xm 概率 最后 上面的EM算法可能收敛到局部极大点 因此需要选择多个参数的 初始值进行迭代计算 并选择使得最大的解 最大的解可由下 p x p x 式算出 12 1111 11 nm N y Y NMMM mnm mmmn NM mnm mn p xp yp x y ap x a p x 5 EM5 EM算法在算法在matlabmatlab中的实现中的实现 利用上面推导出的公式 我们以二个一维的高斯分布 来 1 N 2 N 验证EM算法的性能 首先用二个一维的高斯分布来建立一个高斯混合模型 H N 假设 2 111 NN 2 222 NN 1122H NNN 其中与为混合系数 且有 我们要用EM算法估计混合系数 1 2 12 1 和各一维高斯分布的均值和方差 并将利用EM算法估计出 22 121212 的值与真实值做比较 就可以得到该算法的性能 首先我们取的真实值为 0 4 0 6 1 2 0 25 0 36 22 121212 这样我们得到一个混合高斯分布 他的密度函数为 然后产生1000个服 H N 从的分布的观测样本点 接下来要做的就是对这1000个样本点用EM算法进行 H N 处理 来估计出一组的值 22 121212 在使用EM算法时 要首先给设定一组初值 22 121212 这里假设初值为 0 3 0 7 0 8 1 8 0 2 0 25 1 2 1 2 2 1 2 2 MatlabMatlab具体程序如下具体程序如下 Y zeros 1 10000 for i 1 10000 if rand 1 0 3 Y i normrnd 2 sqrt 0 36 1 1 else Y i normrnd 1 sqrt 0 25 1 1 end end 高斯混合模型 A 0 3 0 7 设置参数 的初值 M 0 8 1 8 设置均值 的初值 S 0 2 0 25 设置方差 的初值 2 for n 1 1000 for j 1 2 a3 0 a4 0 a5 0 for k 1 10000 a1 0 for t 1 2 a1 A t 1 sqrt 2 pi S t exp Y k M t 2 2 S t a1 end f A j 1 sqrt 2 pi S j exp Y k M j 2 2 S j a2 f a1 a3 a2 a3 a3 对应公式 1 N k n n p m x a4 a2 Y k a4 a4 对应公式 1 N k nn n p m xx a5 a2 Y k M j 2 a5 a5 对应公式 1 2 1 N kk nnm n p m xx end A j a3 10000 循环更新系数值 M j a4 a3 循环更新均值值 S j a5 a3 循环更新方差值 end end 运行程序 查看变量 A M S