AI概论及应用 课件 2.5基于Python语言的AI关键技术实现

2.5基于Python语言的AI关键技术实现机器学习深度学习目录0102自然语言处理03计算机视觉04机器学习01机器学习概述机器学习是人工智能的核心技术，能够使计算机系统通过数据学习和改进。它在众多领域如医疗、金融、交通等都有广泛应用，帮助解决复杂问题，提高效率和准确性。机器学习的重要性Python在机器学习中具有显著优势，其丰富的库如Scikit-learn、TensorFlow和PyTorch等提供了强大的功能支持。Scikit-learn简单易用，涵盖了分类、回归、聚类等多种算法，适合初学者快速上手。Python的优势通过Scikit-learn实现线性回归的示例代码，展示了数据生成、训练集和测试集划分、模型训练、预测及性能评估的完整流程。每个步骤都详细解释，帮助观众理解机器学习的基本流程。Scikit-learn示例分类任务示例使用鸢尾花数据集进行分类任务，通过Scikit-learn加载数据集并划分训练集和测试集。创建决策树分类器，训练模型并进行预测，最终计算准确率，展示分类任务的完整流程。鸢尾花数据集分类决策树分类器具有易于理解和解释的特点，适用于多分类问题。与线性回归不同，它不需要对数据进行严格的线性假设，能够处理非线性关系，适合复杂的分类任务。决策树分类器特点importnumpyasnpfromsklearn.linear_modelimportLinearRegressionfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportmean_squared_error#生成一些示例数据X=np.random.randn(100,1)y=2*X+1+np.random.randn(100,1)#将数据分为训练集和测试集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#创建线性回归模型model=LinearRegression()#训练模型model.fit(X_train,y_train)#进行预测y_pred=model.predict(X_test)#评估模型mse=mean_squared_error(y_test,y_pred)print(f"均方误差:{mse}")fromsklearn.datasetsimportload_irisfromsklearn.treeimportDecisionTreeClassifierfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score#加载鸢尾花数据集iris=load_iris()X=iris.datay=iris.target#将数据分为训练集和测试集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)#创建决策树分类器model=DecisionTreeClassifier()#训练模型model.fit(X_train,y_train)#进行预测y_pred=model.predict(X_test)#评估模型accuracy=accuracy_score(y_test,y_pred)print(f"准确率:{accuracy}")深度学习02深度学习在人工智能领域取得了巨大成功，广泛应用于图像识别、语音识别和自然语言处理等领域。Python中的TensorFlow和PyTorch是深度学习的主流框架，为开发者提供了强大的工具。深度学习的影响力深度学习框架介绍在TensorFlow中，数据预处理是关键步骤，包括数据归一化和独热编码。归一化使数据分布更加均匀，独热编码将类别标签转换为数值形式，为模型训练提供更优的数据格式。数据预处理通过TensorFlow构建多层感知机（MLP）用于手写数字识别。从加载数据集、数据预处理到模型构建、编译、训练和评估，每个步骤都详细解释，帮助观众理解深度学习模型的基本构建和训练过程。TensorFlow多层感知机设计多层感知机的结构，选择合适的优化器和损失函数。优化器如Adam能够自动调整学习率，损失函数如交叉熵用于衡量模型预测与真实值的差异，从而优化模型性能。模型结构与优化PyTorch实现手写数字识别PyTorch数据预处理在PyTorch中，数据预处理通过数据加载器完成，支持批量加载和数据增强。数据归一化是常见操作，将像素值缩放到0到1之间，为模型训练提供更稳定的数据输入。模型设计训练与评估训练过程中，通过循环操作完成前向传播、损失计算和反向传播。优化器如SGD更新模型参数，最终在测试集上评估模型的准确率，展示PyTorch的高效性和灵活性。010203在PyTorch中定义神经网络模型，通过继承nn.Module类，定义模型的层结构和前向传播过程。灵活的API使开发者能够轻松构建复杂的神经网络架构。importtensorflowastffromtensorflow.keras.datasetsimportmnistfromtensorflow.keras.modelsimportSequentialfromtensorflow.keras.layersimportDensefromtensorflow.keras.utilsimportto_categorical#加载MNIST数据集(train_images,train_labels),(test_images,test_labels)=mnist.load_data()#数据预处理train_images=train_images.reshape((-1,28*28)).astype('float32')/255.0test_images=test_images.reshape((-1,28*28)).astype('float32')/255.0train_labels=to_categorical(train_labels)test_labels=to_categorical(test_labels)#构建模型model=Sequential([Dense(512,activation='relu',input_shape=(28*28,)),Dense(10,activation='softmax')])#编译模型pile(optimizer='adam',loss='categorical_crossentropy',metrics=['accuracy'])#训练模型model.fit(train_images,train_labels,epochs=5,batch_size=128)#评估模型test_loss,test_acc=model.evaluate(test_images,test_labels)print(f"测试准确率:{test_acc}")importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorchvisionimportdatasets,transformsfromtorch.utils.dataimportDataLoader#数据预处理transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,),(0.3081,))])#加载MNIST数据集train_dataset=datasets.MNIST(root='./data',train=True,download=True,transform=transform)test_dataset=datasets.MNIST(root='./data',train=False,download=True,transform=transform)#创建数据加载器train_loader=DataLoader(train_dataset,batch_size=64,shuffle=True)test_loader=DataLoader(test_dataset,batch_size=64,shuffle=False)#定义模型classNet(nn.Module):def__init__(self):super(Net,self).__init__()self.fc1=nn.Linear(28*28,512)self.relu=nn.ReLU()self.fc2=nn.Linear(512,10)defforward(self,x):x=x.view(-1,28*28)x=self.fc1(x)x=self.relu(x)x=self.fc2(x)returnx#创建模型实例model=Net()#定义损失函数和优化器criterion=nn.CrossEntropyLoss()optimizer=optim.Adam(model.parameters(),lr=0.001)#训练模型forepochinrange(5):running_loss=0.0fori,datainenumerate(train_loader,0):inputs,labels=dataoptimizer.zero_grad()outputs=model(inputs)loss=criterion(outputs,labels)loss.backward()optimizer.step()running_loss+=loss.item()print(f'Epoch{epoch+1},Loss:{running_loss/len(train_loader)}')#评估模型correct=0total=0withtorch.no_grad():fordataintest_loader:images,labels=dataoutputs=model(images)_,predicted=torch.max(outputs.data,1)total+=labels.size(0)correct+=(predicted==labels).sum().item()print(f'Accuracyofthenetworkonthetestimages:{correct/total}')自然语言处理03自然语言处理基础Python在自然语言处理领域应用广泛，NLTK和SpaCy是常用的库。NLTK提供了丰富的文本处理功能，如分词、去除停用词、词形还原和词性标注，帮助开发者高效处理文本数据。Python在NLP中的应用通过NLTK库实现文本分词，将文本拆分为单词或短语。去除停用词可以减少噪声，词形还原将单词还原到基本形式，词性标注则为每个单词标注语法类别，这些操作是文本预处理的基础。NLTK基本操作情感分析应用情感分析是自然语言处理的重要应用，用于判断文本的情感倾向。通过TextBlob库实现简单的情感分析，能够快速判断文本是积极、消极还是中性。情感分析概述使用TextBlob创建对象并进行情感分析，返回情感极性值。极性值大于0表示积极情感，小于0表示消极情感，等于0表示中性情感，帮助开发者快速评估文本情感。TextBlob实现NLTK和TextBlob在自然语言处理中各有特点。NLTK功能强大但使用相对复杂，适合深入研究；TextBlob则更注重便捷性，适合快速实现情感分析等任务。NLTK与TextBlob对比情感极性通过分析文本中的情感词汇及其强度计算得出。TextBlob基于预训练的模型，结合词汇的情感权重，计算出整体的情感极性值，为情感分类提供依据。情感极性计算importnltkfromnltk.tokenizeimportword_tokenizefromnltk.corpusimportstopwordsfromnltk.stemimportWordNetLemmatizerfromnltk.corpusimportwordnetimportnltk.stem.snowball#下载所需的NLTK数据nltk.download('punkt')nltk.download('stopwords')nltk.download('wordnet')nltk.download('averaged_perceptron_tagger')#示例文本text="Thisisanexamplesentence.Itcontainssomewordsthatwewillprocess."#分词tokens=word_tokenize(text)#去除停用词stop_words=set(stopwords.words('english'))filtered_tokens=[tokenfortokenintokensiftoken.lower()notinstop_words]#词形还原lemmatizer=WordNetLemmatizer()lemmatized_tokens=[lemmatizer.lemmatize(token)fortokeninfiltered_tokens]#词性标注pos_tags=nltk.pos_tag(lemmatized_tokens)print("分词结果:",tokens)print("去除停用词后的结果:",filtered_tokens)print("词形还原后的结果:",lemmatized_tokens)print("词性标注结果:",pos_tags)fromtextblobimportTextBlob#示例文本text="Ilovethisproduct!It'samazing."#创建TextBlob对象blob=TextBlob(text)#进行情感分析sentiment=blob.sentiment.polarityifsentiment>0:print("积极情感")elifsentiment<0:print("消极情感")else:print("中性情感")这段代码创建了一个TextBlob对象，对给定的文本进行情感分析，根据情感极性判断文本表达的情感是积极、消极还是中性。计算机视觉04Python在计算机视觉领域应用广泛，OpenCV是核心库之一。通过OpenCV实现图像读取、显示和灰度转换等基本操作。图像以像素矩阵形式存储，灰度转换将彩色图像转换为单通道灰度图像，便于后续处理。OpenCV图像处理图像处理基础目标检测应用目标检测是计算机视觉的重要应用，用于识别图像中的特定目标。通过OpenCV和Haar级联分类器实现简单的人脸检测，展示目标检测的基本流程。目标检测概述Haar级联分类器是一种基于Haar特征的分类器，通过训练大量正负样本，能够快速检测图像中的人脸。detectMultiScale函数用于检测不同大小的目标，返回目标的位置和大小信息。Haar级联分类器图像处理主要关注图像的增强和变换，而目标检测则侧重于识别图像中的特定对象。两者结合可以实现更复杂的应用，如人脸识别和物体跟踪。图像处理与目标检测对比importcv2#读取图像image=cv2.imread('example.jpg')#显示原始图像cv2.imshow('OriginalImage',image)#转换为灰度图像gray_image=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)#显示灰度图像cv2.imshow('GrayImage',gray_image)#等待按键cv2.waitKey(0)#关闭所有窗口cv2.destroyAllWindows()importcv2#加载Haar级联分类器face_cascade=cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_frontalface_default.xml')#读取图像image=cv2.imread('group_photo.jpg')#转换为灰度图像gray=