人工基础智能教程 9

第3章机器学习：机器如何学会“学习”主要内容机器学习入门：一个简单的决策模型学习的引擎：梯度下降与反向传播机器学习的梦魇：过拟合与欠拟合机器学习的三大终极范式本章小结机器如何学习引例一个日常的决策场景根据一名同学的平时表现，预测其能否通过期末考试。假设根据以往经验，影响考试结果的两个决定性因素是“考前学习时长”和“平时作业成绩”。我们的任务，就是构建一个名为“感知机”的模型a，让它学会根据这两项数据做出精准的及格判断。感知机模型示意图感知机的软肋：非线性困境

只要数据点能够被一条直线干净利落地切开（数学上称为“线性可分”），感知机就能完美胜任。然而，现实世界充满了非线性。面对经典的“异或（XOR）”问题，你会发现无论怎么画，都绝对无法用单条直线将两类不同颜色的点彻底分开。主要内容机器学习入门：一个简单的决策模型学习的引擎：梯度下降与反向传播机器学习的梦魇：过拟合与欠拟合机器学习的三大终极范式本章小结梯度下降：万能的优化哲学

“蒙眼下山”策略——梯度下降（gradientdescent）每次迈步，模型都会计算当前所有参数的梯度，并齐刷刷地更新一遍参数。经历成千上万次这样的“迭代探路”，模型参数就能收敛至最优解。反向传播：精妙的“责任追究”机制

“如何快速算出这上亿个参数对最终那个“错误（损失）”究竟各自承担了多少责任（即计算出每一个参数的梯度）呢？一套极其高效的“责任倒查与分配机制”主要内容机器学习入门：一个简单的决策模型学习的引擎：梯度下降与反向传播机器学习的梦魇：过拟合与欠拟合机器学习的三大终极范式本章小结机器学习的梦魇：过拟合与欠拟合

“学渣的躺平”：模型架构过于简单，或者训练时间太短，导致它连训练数据中最基础的规律都没能掌握。“书呆子的死记硬背”：模型极其复杂，记忆力超群。甚至把训练集里偶然的、毫无意义的瑕疵（噪声）也当成真理死记硬背了下来。主要内容机器学习入门：一个简单的决策模型学习的引擎：梯度下降与反向传播机器学习的梦魇：过拟合与欠拟合机器学习的三大终极范式本章小结监督学习：带答案的练习册

核心特征是：训练数据全部带有精准的“标签”或“标准答案”。模型不断将自己的预测与“标准答案”比对，利用反向传播疯狂纠错。分类（classification）：预测离散的类别。回归（regression）：预测连续的数值。无监督学习：无引导的荒野探索

模型化身为一名没有任何线索的“侦探”，必须完全依靠自己去挖掘数据内部潜藏的结构与关联。它不需要做对错分明的预测，而是专注于“发现”。聚类（clustering）：物以类聚，将特征相似的数据自动抱团。降维（dimensionalityreduction）：化繁为简。在剔除冗余的同时保留数据精髓。聚类示意图强化学习：在试错中进化的博弈论

智能体环境智能体做出动作，环境随之改变，智能体获得奖励或惩罚智能体的目标：通过海量的撞南墙与吃甜头，总结出一套能让未来长期累计奖励最大化的“神级策略”。AlphaGo便是这样诞生的主要内容机器学习入门：一个简单的决策模型学习的引擎：梯度下降与反向传播机器学习的梦魇：过拟合与欠拟合机器学习的三大终极范式本章小结本章小结

在本章中，我们掀开了机器学习的引擎盖，探究了其内部精密的运转机制。从一个用来预测考试的“感知机”出发，领悟了机器学习“在试错中修正参数”的灵魂，也见证了单层线性模型在面对“异或问题”时的深深无力。随后，破解了深度学习得以运转的两大数学密码：用“损失函数”确立目标，用“梯度下降”寻找捷径，并借由“反向传播”的链式法则，实现了海量参数梯度的极速计算。还探讨了炼丹师们必须时刻防备的“欠拟合”与“过拟合”陷阱，确立了以“泛