《深度学习》（美）IanGoodfellow花书简要笔记（第一部分：应用数学与机器学习基础）

《深度学习》（美）IanGoodfellow花书简要笔记（第⼀部分：应⽤数学与机器学习基础）说明:本篇Blog为⾃⼰刷《深度学习》时的简要笔记，仅记录对⾃⼰有启发或不熟悉的知识点，并⾮全⾯笔记。不过，对于任何⼀个学深度学习的⼈来说，这本书真的算是很好的⼀本⼊门书籍，公式推导都特别细致，很难得，必刷指数五颗星~第⼀章引⾔第⼆章线性代数#本部分主要为矩阵论的内容，没有修过矩阵论的童鞋可以找找相关的⽹络课程或者参考书籍（我们当时学的时候⽤的是程云鹏⽼师的《矩阵论》，感觉内容编排有点杂乱，但是习题⾮常不错）。1、张量：坐标超过两维的数组。2、⼴播：在DL中，我们允许矩阵和向量相加⽽产⽣另⼀个矩阵：C=A+b。（向量b和矩阵A的每⼀⾏相加）。这种隐式地复制向量b到很多位置的⽅式，称为⼴播。3、Hadamard乘积（元素对应乘积）4、范数是满⾜下列性质的任意函数：（1）f(x)=0,推出x=0;（2）满⾜三⾓不等式；（3）存在a属于R，f(ax)=|a|f(x).5、Frobenius范数：衡量矩阵的⼤⼩。（F范数）6、迹运算7、⾏列式的绝对值可以⽤来衡量矩阵参与矩阵乘法后空间扩⼤或缩⼩了多少。如果⾏列式是0，那么空间⾄少沿着某⼀个维度完全收缩了，使其失去了所有的体积；如果⾏列式是1，那么这个转换保持空间体积不变。第三章概率论与信息论-概率论部分#本章概率论部分⼤部分为本科概率论课本上的知识，除此之外，还有狄利克雷分布、⾼斯混合模型和常⽤的两个函数sigmoid、softplus，这四个知识点可以单独补充。-信息论部分#信息论部分涉及的⽐较基础，涉及熵的定义（熵、最⼤熵、条件熵、联合熵）、⾃信息、互信息、KL散度，⼀般不会超出这个范围，百度补充即可。另外，涉及图模型的基础知识：有向图、⽆向图、团等概念，百度补充即可。第四章数值计算#梯度下降法参考吴恩达⽼师的《机器学习》课程，导数相关概念参考⾼数课本，Hessian矩阵参考矩阵论课本。第五章机器学习基础#机器学习部分建议参考李航⽼师的《统计学习》和周志华⽼师的西⽠书《机器学习》，建议以统计学习为主（最好相关模型⾃⼰⼿推⼀遍），西⽠书作为补充。建议配套吴恩达⽼师的《机器学习》课程（最好完成Cousera上的编程作业）。花书的基础部分讲的太简单了，以上书籍课程涵盖了这部分的所有内容，可以作为本章的补充。#能⼒强的童鞋可以参考Bishop的《PATTERNRECOGNITIONAndMACHINELEARNING》，有译本《模式识别与机器学习》。英⽂电⼦版本可以联系我邮箱：Taowenx@163.com。1、常见机器学习任务分类输⼊缺失分类：输⼊向量的每个度量不被保证；解决办法，学习所有相关变量的概率分布，然后通过边缘化缺失变量来解决分类任务。回归转录：在这类任务中，机器学习系统观测⼀些相对⾮结构化表⽰的数据，并转录信息为离散的⽂本形式。机器翻译结构化输出：结构化输任务的输出是向量或其他包含多个值的数据结构，并且构成输出的这些不同元素间具有重要关系。异常检测合成和采样缺失值填补去噪密度估计/概率质量函数估计：要求学习算法隐式地捕获概率分布的结构。2、表⽰数据集的常⽤⽅法是设计矩阵。设计矩阵的每⼀⾏包含⼀个不同的样本。3、算法前提——独⽴同分布假设（数据集内样本独⽴、训练集与测试集同分布）。4、Vapnik-Chervonenkis维度（VC维）量化模型容量、表征泛化的⼀种⽅法。补充资料：参考地址1：参考地址2：参考地址3：5、贝叶斯误差：从预先知道的真实分布预测⽽出现的误差。6、通过两种⽅法控制算法的性能：允许使⽤的函数种类、函数的数量。7、估计、偏差和⽅差（概率论知识补充）估计：点估计、函数估计；偏差：⽆偏、渐近⽆偏；样本⽅差、⽆偏样本⽅差；⽅差、标准差；最⼩化均⽅误差（权衡偏差和⽅差）；⼀致性数学概念：指⼀组点，且每个点都有其领域。给定⼀个任意的点，其流形局部看起来像是欧⼏⾥得空间。（⽇常⽣活中，我们将地球视为⼆维平⾯，但实际上它是⼀个三维空间中的球状流形。）流形学习的观点：认为我们所能观察到的数据实际上是由⼀个低维流⾏映射到⾼维空间的。由于数据内部特征的限制，⼀些⾼维中的数据会产⽣维度上的冗余，实际上这些数据只要⽐较低的维度就能唯⼀的表⽰。所以直观上来讲，⼀个流形好⽐是⼀个dd维的空间，在⼀个mm维的空间中（m>d）（m>d）被扭曲之后的结果。需要注意的是流形并不是⼀个形状，⽽是⼀个空间。（参考地址：流形假设：假设n维空间R中的⼤部分都是⽆效输⼊，有意义的输⼊只分布在包含少量数据点的⼦集构成的⼀组流形中，⽽学习函数的输出中，有意义的变化都沿着流形的⽅向或仅发⽣在我们切换到另⼀流形时。⽀持流形假设的两个观察：（1）现实⽣活中的图像、⽂本、声⾳的概