2第二章深度学习预备知识-1

深度学习预备知识主讲：XXX时间：202X/X目录CONTENTS01数据预处理02微积分03数值优化数据预处理AIPARTONE数据预处理数据预处理模型的性能在很大程度上受输入数据的质量与组织形式的影响。原始数据往往具有不规则性、不完整性或不一致性，需要通过系统的数据预处理流程进行规范与转换，以便后续算法能够高效、准确地进行学习与推断。数据运算广播机制数据读取与格式转换数据增强数据预处理数据运算涵盖常见的数值操作（如归一化、标准化、缺失值填充、异常值处理等），目的是统一数据的尺度与分布，减小数据间的偏差，避免极端值对模型训练产生干扰。广播机制广播机制允许在维度不同的数组之间进行数学运算，通过自动扩展较小维度的数组以适配操作数的形状，从而大大简化了代码实现。归一化将特征值压缩到[0,1]，从而显著提升梯度下降算法的收敛速度。标准化则将每个特征值减去均值并除以标准差，避免由于量纲差异引起的训练偏移。作用不仅提升了编程的简洁性，也增强了程序处理高维张量数据的灵活性。现代机器学习框架均支持广播机制，使得数据预处理过程中的张量运算更加直观高效。作用数据预处理数据读取与格式转换连接数据源与模型输入的“桥梁”随着深度学习的发展，数据的类型日益多样，因此，灵活处理多种类型的数据并转换为统一的张量，是构建稳健数据管道的前提。重要性以图像数据为例，原始的PNG或JPEG文件需要先解码为像素矩阵，再根据通道顺序与数值范围转换为模型所需的浮点张量。应用格式转换不仅涉及数据本身的数值变化，更承载着语义结构的还原与映射，在保持信息完整性的同时实现任务所需的特征对齐。意义数据预处理常见的数据增强操作包括随机裁剪、旋转、翻转、尺度变换、颜色扰动、噪声注入等。这些操作虽然不改变数据的语义本质，但会在空间结构或分布特征上引入额外扰动，从而使模型在面对未见过的样本时具有更强的稳健性。需要指出的是，数据增强操作在本质上属于数据运算，只不过其目标由传统的数据规范扩展到了模型泛化性能的提升。数据增强微积分AIPARTTWO微积分导数微积分导数微积分导数：加法法则和乘法法则微积分导数：链式法则微积分微分微积分偏导数微积分梯度数值优化AIPARTTHREE数值优化最小二乘法给定数据点：

(1,2)，

(2,3)，

(3,5)，(4,4)，(5,6)求最佳拟合直线

y=ax+b，使得误差平方和最小。最小二乘法（LeastSquaresMethod）是一种用于找到数据点最佳拟合曲线的数学优化技术。它通过最小化数据点和拟合曲线之间的误差平方和来实现。数值优化线性回归模型：误差平方和（SSE）：通过求解最小化误差平方和，得出最佳拟合参数：最小二乘法数值优化最小二乘法数值优化最小二乘法数值优化梯度下降法是用来计算函数最小值的。它的思路很简单，想象在山顶放了一个球，一松手它就会顺着山坡最陡峭的地方滚落到谷底。凸函数图像看上去就像上面的山谷，如果运用梯度下降法的话，就可以通过一步步的滚动最终来到谷底，也就是找到了函数的最小值。最小二乘法数值优化为什么要使用梯度下降算法？对于简单的函数使用方程联立求解极值点简单对于复杂的函数使用方程联立求解极值点困难数值优化梯度下降算法基本思想:先设定一个学习率η，参数沿梯度的反方向移动。假设需要更新的参数为w，梯度为g，则其更新策略可表示为:学习率调整梯度选择理解梯度下降法：数值优化梯度下降算法：梯度选择假设起点在X0=10处，也就是将球放在X0=10：它的梯度为1维向量：数值优化梯度下降算法：梯度选择这是在X轴上的向量，它指向函数值增长最快的方向，而就指向减少最快的方向：数值优化将X0也看作1维向量(X0)，通过和相加，可以将之向移动一段距离得到新的向量(X1)：其中η称为步长，通过它可以控制移的动距离，本节设n=0.2，那么：此时小球（也就是起点）下降到了X1=6这个位置梯度下降算法：梯度选择数值优化重复上述过程，小球就滚到了更低的位置X1的梯度为：继续沿着梯度的反方向走：梯度下降算法：梯度选择数值优化重复上述过程到第10次，小球基本上就到了最低点，即有X10≈0梯度下降算法：梯度选择数值优化把每一次的梯度向量的模长列出来，可以看到是在不断减小的，因此这种方法称为梯度下降法：这也比较好理解，当最终趋向于0时有：所以梯度下降法求出来的就是最小值（或者在附近）。梯度下降算法：梯度选择数值优化梯度下降算法：学习率调整如