深度学习与大模型 习题及答案 第2章-习题答案

一、问答题简述多层感知机(MLP)在处理复杂数据时的优势,并解释其工作原理。多层感知机的优势：与线性模型和单层感知机相比，MLP的核心优势在于：1）突破线性限制：通过引入隐藏层和非线性激活函数，MLP可以学习和表示数据中极其复杂的非线性关系与模式。这是它处理图像、语音等复杂数据的根本原因。2）自动特征工程：其多层结构像一个特征加工流水线。底层网络学习基础特征（如图像中的边缘），高层网络将这些基础特征组合成更抽象的概念（如眼睛、鼻子）。这种分层特征学习能力减少了对人工设计特征的依赖。3）强大的拟合能力：理论上，只要神经元足够多，一个隐藏层的MLP就能以任意精度逼近任何连续函数，这被称为通用近似定理。工作原理简述：MLP的工作是一个不断学习和自我修正的循环，核心是“前向传播”和“反向传播”。1）前向传播输入：数据从输入层送入。处理：数据在每一层经历“加权求和+偏置”，然后通过一个激活函数（如ReLU）。激活函数的作用是引入非线性，没有它，网络再深也只是一个线性模型。输出：信号经过层层传递与变换，最终在输出层产生预测结果。2）计算损失将网络的预测结果与真实答案进行比较，通过一个损失函数计算出“误差”有多大。3）反向传播与优化反向传播：将计算出的总误差，沿着网络反向从输出层传回输入层。在这个过程中，利用微积分的链式法则，精确计算出每一个连接权重和每一个偏置对总误差应负多少“责任”（即梯度）。参数更新：使用优化器（如梯度下降），根据计算出的梯度，对所有参数（权重和偏置）进行微调，目标是让总误差减小。总结循环：输入数据→前向计算得预测→计算误差→反向传播定责任→更新参数降误差。这个过程周而复始，直到模型表现令人满意。解释前向传播和反向传播在神经网络训练中的作用,并简述它们的主要区别。一、各自的作用1）前向传播-作用：进行预测与评估过程：输入数据从网络的输入层开始，逐层向后传递。在每一层，数据都会进行“加权求和+偏置+激活函数”的运算，最终在输出层产生一个预测结果。核心目的：计算预测值：得到模型对于当前输入的输出。计算损失：将预测值与真实标签进行比较，通过损失函数计算出一个标量误差值。这个值代表了模型当前表现的“糟糕程度”。简单来说，前向传播的作用是：让数据“走过”整个网络，看看模型现在能得多少分。2）反向传播-作用：优化与学习过程：将前向传播计算出的总误差（损失），从输出层开始，利用链式法则，逆向逐层传播回网络的每一层，并计算出损失函数对于每一个权重和每一个偏置的梯度（即导数）。核心目的：计算梯度：精确地确定每一个网络参数（权重和偏置）对最终误差应负多少“责任”。指导参数更新：为后续的优化步骤（如梯度下降）提供方向和数据，告诉我们每个参数应该向哪个方向、调整多少才能降低误差。简单来说，反向传播的作用是：分析试卷，找出是哪些知识点（权重/偏置）掌握不牢导致了扣分，并为修正它们提供精确的指导。比较深度学习与传统机器学习在处理不同类型数据时的效率和适用性,并举例说明。深度学习（DeepLearning）和传统机器学习（MachineLearning）在数据处理方式、特征表达能力以及硬件依赖程度上均存在明显差异。在不同类型的数据条件下，两者的效率和适用性也有所不同。一、两类方法的总体区别1）特征工程方式不同传统机器学习依赖人工特征提取，需要人为设计、选择关键特征。深度学习具备自动特征学习能力，可从原始数据中直接学习高层抽象特征。2）对数据规模的要求不同传统方法适合样本量较小的数据集。深度学习通常需要大量数据才能体现优势。3）计算资源需求不同传统方法计算量较小，CPU即可高效训练。深度学习模型结构复杂，大多依赖GPU加速。二、在不同类型数据上的效率与适用性对比1）图像数据（ImageData）项目传统机器学习深度学习数据适用性对图像直接处理能力弱，需人工提取SIFT、HOG等特征原始图像直接输入CNN，实现端到端处理效率特征提取耗时，模型训练较快训练耗时长，但识别准确率显著更高适用性小规模图像数据大规模图像分类、目标检测、分割任务示例：使用传统机器学习进行手写数字识别时，需要先提取方向梯度特征，再用SVM分类。使用深度学习（如CNN）时，可直接输入像素，模型能学习到边缘、局部纹理等特征，效果更佳。2）语音与音频数据（Speech/Audio）项目传统机器学习深度学习数据处理方式依赖MFCC、能量谱等手工特征深度网络可自动学习时间和频率特征效率特征工程复杂且耗时网络训练需要GPU，但端到端性能优越性能对噪声敏感鲁棒性更高，适合实际应用示例：传统方法：使用MFCC+GMM/HMM进行语音识别。深度学习方法：使用RNN、CNN或Transformer实现端到端语音识别（如ASR系统）。3）文本数据（NLP）项目传统机器学习深度学习特征表示依赖TF-IDF、n-gram自动学习词表示（Word2Vec、BERT等）对上下文理解弱强，可处理长距离依赖效率特征向量稀疏，模型简单Transformer计算量大但效果显著更优示例：传统方法使用TF-IDF+朴素贝叶斯做文本分类。深度学习方法使用LSTM或BERT，效果远优传统方法，尤其在语义理解任务上。4）表格结构化数据（TabularData）项目传统机器学习深度学习表现表现非常好，尤其是树模型一般不如梯度提升树效率训练快，参数易调模型复杂且不易收敛适用性小样本、中等规模企业级数据需要大规模高维特征、复杂关系才能体现优势示例：在银行贷款预测、信用评分等结构化数据任务中，XGBoost通常比深度网络表现更好。5）时间序列数据（TimeSeries）项目传统机器学习深度学习特征需求需要人工构造时间相关特征RNN、LSTM、Transformer可自动学习时序依赖效率特征设计耗时，模型训练较快模型训练慢，但可以捕捉复杂动态模式适用性简单时序预测多步预测、非线性时序、复杂模式示例：传统方法使用ARIMA预测股价趋势。深度学习使用LSTM/Transformer，可捕捉多周期模式和非线性特征。二、实践题改进多层感知机(MLP)用于MNIST分类。要求:调整学习率,以加速训练过程并提高模型性能。在训练完成后,评估模型在测试集上的准确率,并打印出每个类别的准确率。importtorchimporttorch.nnasnnimporttorch.optimasoptimimporttorchvisionimporttorchvision.transformsastransformsimportnumpyasnp#数据预处理transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,),(0.5,))])#加载MNIST数据集train_dataset=torchvision.datasets.MNIST(root='./data',train=True,download=True,transform=transform)test_dataset=torchvision.datasets.MNIST(root='./data',train=False,download=True,transform=transform)#数据加载器train_loader=torch.utils.data.DataLoader(dataset=train_dataset,batch_size=128,shuffle=True)#增大batch_sizetest_loader=torch.utils.data.DataLoader(dataset=test_dataset,batch_size=1000,shuffle=False)#定义改进的MLP模型classImprovedMLP(nn.Module):def__init__(self):super(ImprovedMLP,self).__init__()self.fc1=nn.Linear(28*28,512)self.fc2=nn.Linear(512,256)self.fc3=nn.Linear(256,128)self.fc4=nn.Linear(128,10)self.relu=nn.ReLU()self.dropout=nn.Dropout(0.2)#添加dropout防止过拟合defforward(self,x):x=x.view(-1,28*28)x=self.relu(self.fc1(x))x=self.dropout(x)x=self.relu(self.fc2(x))x=self.dropout(x)x=self.relu(self.fc3(x))x=self.dropout(x)x=self.fc4(x)returnx#初始化模型、损失函数和优化器model=ImprovedMLP()criterion=nn.CrossEntropyLoss()#尝试不同的学习率策略#方案1:较大的初始学习率配合学习率调度器optimizer=optim.Adam(model.parameters(),lr=0.001,weight_decay=1e-5)#使用Adam优化器scheduler=optim.lr_scheduler.StepLR(optimizer,step_size=5,gamma=0.5)#每5个epoch学习率减半#方案2:也可以尝试SGD配合momentum#optimizer=optim.SGD(model.parameters(),lr=0.01,momentum=0.9,nesterov=True)print("开始训练...")#训练模型num_epochs=15train_losses=[]test_accuracies=[]forepochinrange(num_epochs):model.train()running_loss=0.0forimages,labelsintrain_loader:outputs=model(images)loss=criterion(outputs,labels)optimizer.zero_grad()loss.backward()optimizer.step()running_loss+=loss.item()current_lr=optimizer.param_groups[0]['lr']epoch_loss=running_loss/len(train_loader)train_losses.append(epoch_loss)#更新学习率scheduler.step()#每个epoch后在测试集上评估model.eval()correct=0total=0withtorch.no_grad():forimages,labelsintest_loader:outputs=model(images)_,predicted=torch.max(outputs.data,1)total+=labels.size(0)correct+=(predicted==labels).sum().item()accuracy=100*correct/totaltest_accuracies.append(accuracy)print(f'Epoch[{epoch+1}/{num_epochs}],Loss:{epoch_loss:.4f},TestAcc:{accuracy:.2f}%,LR:{current_lr:.6f}')print("\n最终测试结果:")#最终测试模型性能model.eval()all_predicted=[]all_labels=[]withtorch.no_grad():correct=0total=0class_correct=list(0.foriinrange(10))class_total=list(0.foriinrange(10))forimages,labelsintest_loader:outputs=model(images)_,predicted=torch.max(outputs,1)total+=labels.size(0)correct+=(predicted==labels).sum().item()#记录每个类别的预测结果all_predicted.extend(predicted.cpu().numpy())all_labels.extend(labels.cpu().numpy())#计算每个类别的准确率c=(predicted==labels).squeeze()foriinrange(labels.size(0)):label=labels[i]class_correct[label]+=c[i].item()class_total[label]+=1#打印总体准确率print(f'总体测试准确率:{100*correct/total:.2f}%')#打印每个类别的准确率print("\n每个类别的准确率:")foriinrange(10):ifclass_total[i]>0:accuracy=100*class_correct[i]/class_total[i]print(f'数字{i}:{accuracy:.2f}%')else:print(f'数字{i}:无样本')#计算并打印混淆矩阵print("\n混淆矩阵:")fromsklearn.metric