Python与机器学习（第2版）（微课版） 课件 09-05-拓展实训：调用大模型实现聊天机器应用

项目背景|项目概述|学习目标|任务实施步骤拓展实训【生成式人工智能应用】课程负责人：陈清华01101111011010111101010000101101010100111101调用大模型实现聊天机器人

了解ChatGLM2-6B大语言模型；

会单机部署ChatGLM2-6B大模型；知识与技能学习目标

会使用不同方式访问ChatGLM2-6B聊天机器人应用。项目总体要求

大语言模型是一种基于深度学习的人工智能技术，可以处理各种自然语言任务，如文本生成、文本理解、文本摘要、机器翻译等。掌握大语言模型的使用方法，可以帮助提高自己的语言表达能力、创新思维能力、信息获取能力等，为未来的职业发展打下坚实的基础。通过本次实训，要求了解大语言模型的本地部署和使用。

访问Github上的ChatGLM2-6B仓库，了解该项目的特点、应用、部署和使用方法。

单机部署$gitclone/THUDM/ChatGLM2-6B.git步骤一：使用git命令从Github拉取ChatGLM2-6B的源码：$cdChatGLM2-6B切换工作目录为“ChatGLM2-6B”：$mkdirTHUDM$GIT_LFS_SKIP_SMUDGE=1gitclonehttps://huggingface.co/THUDM/chatglm2-6bTHUDM/chatglm2-6b步骤二：使用git命令从HuggingFace拉取ChatGLM2-6B的模型实现和参数文件:浏览器访问：https://huggingface.co/THUDM/chatglm2-6b手动下载ChatGLM2-6B的参数文件，放在“ChatGLM2-6B/THUDM/chatglm2-6b”目录下。

单机部署一、直接调用>>>fromtransformersimportAutoTokenizer,AutoModel>>>tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)>>>model=AutoModel.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True,device='cuda')>>>model=model.eval()>>>history=[]>>>response,history=model.chat(tokenizer,"碳排放量高的危害是什么？",history=history)>>>print(response)“ChatGLM2-6B/README.md”文件中提供了直接调用ChatGLM2-6B模型来完成非交互式对话的例子。通过Python交互模式输入以下代码：一、直接调用直接调用ChatGLM2-6B模型的输出结果一一、直接调用直接调用ChatGLM2-6B模型的输出结果二一、直接调用>>>fromtransformersimportAutoTokenizer,AutoModel>>>tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)>>>model=AutoModel.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True,device='cpu').float()>>>model=model.eval()>>>history=[]>>>response,history=model.chat(tokenizer,"碳排放量高的危害是什么？",history=history)>>>print(response)选用CPU来进行计算，而不是GPU二、浏览器访问pythonweb_demo.py启动Web服务器：Web服务器启动成功二、浏览器访问浏览器访问：:7860二、浏览器访问输入内容，点击【Submit】按钮Maximumlength：单次回复的最长长度TopP：生成回答的采样方法Temperature：回答的多样性三、命令行访问pythoncli_demo.py执行如下代码，启动一个命令行接口：输入内容：四、API访问pythonapi.py启动API服务进程：API服务进程启动成功四、API访问curl-XPOST":8000"-H'Content-Type:application/json'-d'{"prompt":"碳排放量高的危害是什么？","history":[]