人工智能大语言模型应用教程 课件 模块11 系统架构

人工智能大语言模型应用教程模块11通义千问语音模型应用学习

目标

了解国产大语言模型Qwen-Audio-Chat；

理解掌握大语言模型语音交互原理；

会按照部署Qwen-Audio-Chat大模型；

会进行Qwen-Audio-Chat大模型Demo程序的安装部署与测试；

会使用Qwen-Audio-Chat大模型开发语音问答应用；

培养严谨、求实、创新的科学精神，培养分析解决问题的能力；

树立标准化意识，遵循开发流程，规范编写代码。11.2通义千问语音模型应用设计目标开发环境原理学习实验步骤11.311.411.111.1设计目标设计一个语音模型的应用Audio-Chat，实践语音模型的Chat场景，程序分为前端和后端两部分，前端程序运行在浏览器中，录音后上传至后端，后端调用通义千问语音模型将语音转为文本，再以此文本向大语言模型提问得到答案后，最后把语音对应的文本和答案返回给前端显示。设计目标11.2开发环境开发环境硬件：服务器、NVIDIA24G显存以上的推理卡或32G内存（CPU也可运行）软件：Python、大规模音频语言模型Qwen-Audio、Node.js（V18.0以上）11.3原理学习系统功能概要1.文本问题问答Qwen-Audio是一个大语言音频模型，以Qwen-7B的预训练模型作为基础语言模型，并整合Whisper-large-v2音频编码器，所以除了能接收语音输入外，也可以针对文本问题进行推理回答，对语音的回答也是先转文本再推理。2.音频问题问答在客户端录音，形成的音频流上传到后台，后台使用Qwen-Audio模型将音频翻译成文本，然后再以文本为输入，调用Qwen-Audio模型以文生文方式获取答案。系统架构语音模型应用（Audio-Chat）服务分为三层：基础设施层服务器端客户端。基础设施层：由服务器、推理卡、网卡等硬件组成，提供应用运行的载体和算力保证，操作系统、推理卡驱动、CUDA等也归为基础设施层，为应用提供了GPU计算的软件计算服务。Qwen-Audio-Chat模型可以运行在GPU或CPU上，如果采用GPU运行Qwen-Audio-Chat模型，经过实践，需要至少17G的GPU内存，所以需要至少24G内存的推理卡（如RTX3090、RTX4090）。如果采用CPU运行Qwen-Audio-Chat模型，则需要32G内存和尽量多核数的CPU，因为CPU的浮点计算效率远低于GPU，所以如果用于调试程序的GPU内存小于24G，可考虑用CPU进行推理，缺点在于效率较低。系统架构服务器端：由大语言模型Qwen-Audio-Chat、Python虚拟环境、TransformersAI组件以及OpenAI兼容http接口组成实现Qwen-Audio-Chat模型的装入、推理和对外服务能力。系统架构客户端：运行在浏览器中的HTML5+Javascript代码，由React.js开发，采用js-audio-recorder组件录制音频，通过OpenAI组件调用后台的服务。系统架构软件运行原理11.4实验步骤安装部署1.语音模型运行环境安装（1）代码准备gitclone/QwenLM/Qwen-AudiocdQwen-Audio（2）环境创建condacreate-nqwen-audiopython=3.10-ycondaactivateqwen-audio（3）安装基础依赖库pipinstall-rrequirements.txt-i/pypi/simple（4）安装Demo程序依赖库pipinstall-rrequirements_web_demo.txt-i/pypi/simple（5）验证PyTorch是否安装成功python-c"importtorch;print(torch.cuda.is_available())"安装部署（1）#linux下使用wget命令下载wget/model_download.pypythonmodel_download.py--e--repo_id\Qwen/Qwen-Audio-Chat--tokenYPY8KHDQ2NAHQ2SG（2）Windows下直接在浏览器打开链接下载2.模型下载安装部署3.运行demo安装部署3.运行demo应用开发服务器端程序由Python开发，分为两部分，一个是接收客户端请求的API接口程序qwen_audio_api.py，另一个负责模型运算的qwen_audio_service.py。1.服务器端开发客户端程序采用React.js开发，React.js程序开发调试在Node.js环境下进行，Node.js从/下载安装