机器学习中数学基础

5 月深度学习班 机器学习中的数学 程博士 程博士5 月深度学习班 机器学习中的数学1 41 1序言 2微积分重点 3概率论重点 4矩阵重点 5凸优化重点 程博士5 月深度学习班 机器学习中的数学2 41 1 数学理论是算法的基石 编程是工具 三者都很重要 但是如果只 会重复编程 不可能理解到事物的本质 2 微积分 概率 线性代数和矩阵是优化的基础 优化贯穿几乎所有 的工科 人们总是希望求得最优解 机器学习中大量的问题最终都 可以归结为一个优化问题 例如SVM 3 2个小时回顾四门极其重要的数学课 选取精华中的精华部分 程博士5 月深度学习班 机器学习中的数学3 41 本次课件主要参考资料 1 本人矩阵理论学习笔记 2 张贤达 矩阵分析与应用 3 本人凸优化理论学习笔记 4 Stephen Boyd Convex Optimization 英文原版 5 概率和数理统计 本科教材 6 互联网相关搜索资料 程博士5 月深度学习班 机器学习中的数学4 41 示例表 红色框表示非常重要的定理或内容 定理或内容 仔细弄明白 绿色框表示具体的例子 举例 会举一反三 程博士5 月深度学习班 机器学习中的数学5 41 1序言 2微积分重点 3概率论重点 4矩阵重点 5凸优化重点 程博士5 月深度学习班 机器学习中的数学6 41 微积分总视图 板书 程博士5 月深度学习班 机器学习中的数学7 41 导数 标量 导数的定义 f 0 a lim h 0 f a h f a h 1 常见函数的导数 I xa 0 axa 1 I ex 0 ex I ax 0 ln a ax I ln x 0 1 x I d dx sin x cos x I d dx cos x sin x 程博士5 月深度学习班 机器学习中的数学8 41 导数法则 f g 0 f 0 g0 fg 0 f 0g fg0 f g 0 f 0g fg0 g2 如果 f x h g x 则有f 0 x h0 g x g0 x 计算f x x4 sin x2 ln x ex 7的导数 f 0 x 4x 4 1 d x2 dx cos x2 d lnx dx ex ln x d ex dx 0 4x3 2xcos x2 1 x ex ln x ex 程博士5 月深度学习班 机器学习中的数学9 41 梯度和Hessian矩阵 梯度和Hessian矩阵 以下均假设连续可导 一阶导数和梯度 gradient vector f 0 x f x f x x f x x1 f x xn 2 二阶导数和Hessian矩阵 f 00 x H x 2f x 2 f x x2 1 2 f x x1 x2 2 f x x1 xn 2 f x x2 x1 2 f x x2 2 2 f x xn x1 2 f x xn x2 2 f x x2 n 3 程博士5 月深度学习班 机器学习中的数学10 41 二次型的梯度 详见张矩阵 程博士5 月深度学习班 机器学习中的数学11 41 泰勒级数与极值 泰勒级数展开 标量 输入为标量的泰勒级数展开 f xk f xk f 0 xk 1 2 f 00 xk 2 称满足f 0 xk 0的点为平稳点 候选点 此时如果还有 I f 00 xk 0 xk为一严格局部极小点 反之 严格局部最大点 充分条 件 I 如果f 00 xk 0 有可能是一个鞍点 saddle point why 思考实际使用中的局限 程博士5 月深度学习班 机器学习中的数学12 41 泰勒级数与极值 泰勒级数展开 矢量 和标量情况对比 输入为矢量的泰勒级数展开 f xk f xk Tf xk 1 2 T 2f xk 称满足 Tf xk 0的点为平稳点 候选点 此时如果还有 I 2f xk 0 xk为一严格局部极小点 反之 严格局部最大点 I 如果 2f xk 不定矩阵 是一个鞍点 saddle point I 思考 2f xk 0 梯度方向 梯度下降法从哪儿来 程博士5 月深度学习班 机器学习中的数学13 41 微积分总结 板书 程博士5 月深度学习班 机器学习中的数学14 41 1序言 2微积分重点 3概率论重点 4矩阵重点 5凸优化重点 程博士5 月深度学习班 机器学习中的数学15 41 随机变量 随机事件的数量表现 累积分布函数 FX x P X x 4 P a X b FX b FX a 5 程博士5 月深度学习班 机器学习中的数学16 41 随机变量 概率密度函数 fX x d dx FX x 6 P a X b Z b a fX x dx 7 FX x Z x fX u du 8 P t X r 1 n z n r 0 15 Rank AT A Rank AAT Rank A Rank 思考对于任意矩阵 能否找到一个类似的分解 程博士5 月深度学习班 机器学习中的数学26 41 二次型 Quadratic Form 给定矩阵A Rn n 函数 xTAx xixjaij 16 被称为二次型 如果对于所有x Rn 有xTAx 0 则为半正定矩阵 positive semidefi nite 此时 A 0 如果对于所有x Rn x 6 0 有xTAx 0 则为正定矩阵 positive defi nite 负定矩阵 不定矩阵 indefi nite 程博士5 月深度学习班 机器学习中的数学27 41 二次型 二次型图形 二次函数f x xTAx 2bTx c f x 2Ax 2b 2f x 2A 程博士5 月深度学习班 机器学习中的数学28 41 特征分解的应用 PCA本质讲述 1 3 PCA的本质 协方差矩阵的相似对角化 KL变换 给定一个矩阵X Rm n 例如 X a1a2 an b1b2 bn 选择k m个正交基进行降维的同时又尽量保留原始的信息 即 使 得A变换到这组基后 使得行向量间的协方差为0 而每个行向量的方差 尽可能大 协方差矩阵 对称半正定 为 CX 1 n XXT 1 n n i 1 a2 i 1 n n i 1 aibi 1 n n i 1 aibi 1 n n i 1 b2 i 程博士5 月深度学习班 机器学习中的数学29 41 特征分解的应用 PCA本质讲述 2 3 PCA的本质 问题 假设变换矩阵为Y QX 并先假设Q是方阵 先不降维 则 有 CY 1 n YYT QCXQT 如何使得CY是一个对角矩阵 回忆CX U UT UTCXU 如 果Q UT 思考如何降维 程博士5 月深度学习班 机器学习中的数学30 41 特征分解的应用 PCA本质讲述 3 3 PCA降维举例 思考特征值反应了什么 1 X 1 1020 20011 CX 6 5 4 5 4 5 6 5 2 计算CX特征值为 1 2 2 2 5 特征值特征向量 为 1 2 1 2 1 2 1 2 因 此U 1 2 1 2 1 2 1 2 则UT 1 2 1 2 1 2 1 2 此时如 果Q UT 1 2 1 2 1 2 1 2 则只对角化了CY 未降维 降维则是 取Q的第一行 3 降维 h 1 2 1 2 i X h 3 2 1 2 0 3 2 1 2 i 此时可验 证CY 2 1 程博士5 月深度学习班 机器学习中的数学31 41 矩阵总结 板书 程博士5 月深度学习班 机器学习中的数学32 41 1序言 2微积分重点 3概率论重点 4矩阵重点 5凸优化重点 程博士5 月深度学习班 机器学习中的数学33 41 一般约束优化问题 约束优化问题一般形式 minimizef x subjecttoai x 0 fori 1 2 p cj x 0 for j 1 2 q 17 可行域 满足f x 定义域和约束条件的x的集合 cj x 0表明不 等式约束被激活 active 程博士5 月深度学习班 机器学习中的数学34 41 一般约束优化问题 举例 考虑以下约束优化问题 minimizef x x2 1 x2 2 4x1 4 x1 2 2 x2 2 subjecttoc1 x x1 2x2 6 0 c2 x x2 1 x2 1 0 c3 x x1 0 c4 x x2 0 程博士5 月深度学习班 机器学习中的数学35 41 一般约束优化问题极值点一阶必要条 件 Karush Kuhn Tucker KKT KKT条件 思考如何把约束优化转化为无约束优化 如果x 是约束优化问题的局部最小解 那么有 1 ai x 0 fori 1 2 p 2 cj x 0 for j 1 2 q 3 存在Lagrange multipliers i i 1 2 p和u j j 1 2 p 使得 f x p i 1 i ai x q j 1 u j cj x 4 u jcj x 0 for j 1 2 q 5 u j 0 for j 1 2 q 条件3解释 Lagrangin L x f x p i 1 iai x q j 1 ujcj x 则条件3等价 于 xL x 0 程博士5 月深度学习班 机器学习中的数学36 41 KKT应用举例 1 2 函数 minimizef x x2 1 x2 2 14x1 6x2 subjecttoc1 x 2 x1 x2 0 c2 x 3 x1 2x2 0 KKT 2x1 14 u1 u2 0 2x2 6 u1 2u2 0 u1 2 x1 x2 0 u2 3 x1 2x2 0 u1 0 u2 0 程博士5 月深度学习班 机器学习中的数学37 41 KKT应用举例 2 2 解KKT条件 考虑所有的cases 不等式激活和ui的非负性 Case I 没有激活的情况 则u 1 u 2 0 可得x 1 7 x 2 3 非 解 Case II 一个激活 作业 Case III 两个都激活 作业 程博士5 月深度学习班 机器学习中的数学38 41 凸优化问题标准形式 Game Over 凸优化问题 minimizef0 x subjectto