概率分布、MLE与MAP.pptx

吴金龙 概率分布 MLE MAP 掷硬币 给定一个不均匀的硬币 如何近似得到花朝上的概率 暴力强掷 然后计算花朝上的比例 以此作为近似值WHY 掷硬币 记花朝上的概率为 0 1 记随机变量x为掷一次此硬币的结果 x 1 花朝上x 0 数字朝上则有Pr x 1 Pr x 0 1 Bernoulli分布 x 1或者x 0 掷硬币 掷了N次 假设每次掷硬币相互独立 则观察到上面结果的概率为 掷硬币 MLE 对上式取对数 的MaximumLikelihoodEstimation MLE 上式对 求导 并设导数为零 掷硬币 badMLE MLE有时不给力 如果你掷了5次硬币 N 5 5次都是花朝上 此时 1 USEMagicBayes 为 引入先验分布 何种先验 Pr x Pr x Pr 掷硬币 MAP 的共轭先验分布为Beta分布则 的后验分布为 其中a b 0 l N m 的maximumaposteriori MAP 估计上式对 求导 并设导数为零即可 掷硬币 Binomial分布 已知 重复掷硬币N次 其中m次花朝上的概率 把N次掷硬币看成一个整体 m次花朝上的概率 Binomial分布N 1时 Binomial分布退化为Bernoulli分布 掷硬币 掷骰子 如何近似获得各个面朝上的概率 Still暴力强掷 掷骰子 MLE MAP MLE MAP 共轭先验分布 Dirichlet分布 掷骰子 Multinomial分布 已知每个面朝上的概率值 则掷骰子N次 其中第k面次朝上的总概率值为 Multinomial分布 Gaussian Normal 分布 一维情形 高维情形 Gaussian分布的MLE 数据集对应的对数似然值为对均值和方差求导数 设导数值为0 得 Gaussian分布的MAP 给定方差 均值的共轭先验分布为Gaussian分布给定均值 1 方差的共轭先验分布为Wishart Gamma分布方差和均值都未知 均值 1 方差 的联合共轭先验分布为Gaussian Wishart Gamma分布 Gaussian分布的优势 具有极好的分析性质如果 x y 满足Gaussian分布 则x y也满足Gaussian分布如果 x y 是Gaussian分布 则x也满足Gaussian分布 在具有相同均值与方差的所有 实值 分布中 Gaussian分布具有最大熵如果给定取值只在有限区间时 什么分布具有最大熵 答案见Wikipedia一定条件下 多个随机变量的和近似满足Gaussian分布 中心极限定理 中心极限定理 Gaussian分布的劣势 分布的参数数量随着维数D二次方增长限制方差矩阵为特殊形式 如何限制 对角阵 D个参数 正比于单元阵 1个 低秩矩阵 kD个 单峰 unimodal 无法对多峰分布进行很好的近似混合Gaussian分布 对outliers不够robust使用heavy tailed的分布 如Student st 分布 周期性分布 vonMises分布 其他分布 Powerlaw分布Poisson分