《数智化技术应用与创新》课件 第5章 应用大语言模型

大语言模型学习目标概览数智化技术应用与创新5.1大语言模型原理5.1Principlesoflargelanguagemodels5.2大语言模型如何解决行业问题5.2Howlargelanguagemodelssolveindustryproblems5.3大语言模型如何影响生活5.3Howlargelanguagemodelsimpactourlives5.4DeepSeek进阶实操5.4AdvancedpracticaloperationsofDeepSeekCONTENT目录5.5典型案例-中国首个孤独症垂直类大语言模型5.5Atypicalcase:China'sfirstverticallargelanguagemodelforautism知识目标PART01基本概念与原理0102大语言模型定义定义与基本概念，对比传统模型基本原理训练过程、模型架构、算法特点03优势差异大语言模型相较于传统模型的优势不同领域应用，实际效果展示应用案例应用步骤、效果评估、实践案例解决步骤案例分析具体案例分析应用效果应用案例与解决步骤技巧分解复杂任务，提高交互效率分解复杂任务方法添加语境，提升模型理解力添加相关语境给出明确指令，确保模型准确回应明确指令技巧有效交互方法能力目标PART02选择典型案例，评估效果与局限案例选择与分析分享讨论实践案例，加深理解实践案例讨论0201全面评估案例效果，识别应用局限效果与局限性评估03分析应用案例采用策略确保方案有效性和效率分享优化方案设计的成功案例针对具体问题，设计优化应用方案针对问题设计思路确保有效性策略案例分享设计优化方案掌握模型生成内容的基本步骤基本操作步骤运用技巧生成高质量文本内容高质量文本技巧掌握解答复杂问题的方法与技巧复杂问题解答方法操作模型生成内容010203实验设计方法设计合理的实验验证模型表现根据结果调整优化根据实验结果调整方案，持续优化关注技术发展趋势关注新兴大语言模型，分析技术趋势实验验证与趋势关注素质目标PART03推动技术边界，拓展应用领域探索新应用意义持续研究，实践验证，优化模型推动技术发展方法学习成功案例，激发创新思维创新案例分享010203技术探索与创新跨学科融合思维结合教育学、心理学等领域跨学科结合案例促进技术创新，解决复杂问题融合思维重要性与其他学科共同研究，提升模型性能跨学科研究案例面对复杂问题策略分解问题，逐步解决灵活运用工具结合多种工具，提高解决效率提出有效解决方案基于模型分析，提出针对性建议问题解决与决策确保技术安全，服务社会发展社会责任重要性遵循数据隐私，避免偏见歧视伦理规范遵守确保技术公正，维护公共利益技术应用道德标准社会责任与伦理5.1大语言模型的原理大语言模型概述presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield语言模型基础presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大语言模型原理presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大语言模型应用前景presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目录大语言模型概述PART01由深度神经网络构建，学习语言规则生成文本符合语法和语义要求生成自然语言文本，学习语言概率分布深度学习NLP模型基于大规模文本数据符合语法语义规则大语言模型定义对自然语言处理有重要影响NLP领域意义重大应用于机器翻译、文本摘要等多任务应用广泛0201生成对话系统、智能写作助手等智能助手工具03大语言模型重要性语言模型基础PART02估计句子或文本序列概率自然语言处理基础在自然语言中的出现频率计算句子出现概率由深度神经网络构建学习语言分布基于深度学习语言模型定义应用于翻译、识别任务机器翻译语音识别根据上下文生成符合语法文本文本生成NLP多个领域在自然语言处理中广泛应用语言模型应用大语言模型原理PART03数据预处理大规模文本语料库训练数据分割、分词、数值表示预处理步骤批量数据组织组织数据循环神经网络RNN基本架构记忆之前词语信息RNN层功能生成下一个词语概率输出层功能模型架构介绍训练过程解析0102前向传播生成词语概率分布反向传播更新模型参数03训练周期多个周期，含多个批次文本生成方式采样下一个词语温度参数控制生成文本多样性生成结果符合语法和语义规则文本生成方法大语言模型应用前景PART04010203NLP任务强大工具大语言模型提升任务性能模型规模扩大模型规模增大改进应用前景训练技术改进训练技术提升模型性能NLP领域进展具体应用任务对话生成模型为对话生成提供工具机器翻译大语言模型助力翻译任务01025.2大语言模型如何解决行业问题大语言模型基本概念与特点presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大语言模型的实际应用presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield知识问答的具体场景presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield应用中的注意事项presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目录大语言模型基本概念与特点PART01基本概念0102深度学习模型基于深度学习，学习语言规律海量文本学习通过海量文本数据学习语言结构03复杂规律掌握掌握语言的复杂规律和结构依赖海量数据进行学习和训练海量数据驱动具有强大的语言表达和理解能力强大表达能力跨任务能力能够跨越多个任务进行应用和处理特点概述大语言模型的实际应用PART02智能客服应用精准识别用户意图，提升服务效率意图识别提供即时、准确的回答，增强用户体验问答系统分析用户情绪，优化客服策略情感分析快速提取新闻报道、科技文献关键信息关键信息提取缩短阅读时间，提升信息传播效率提高传播效率0201摘要简洁明了，提升读者阅读体验优化阅读体验03文本摘要应用基于用户兴趣，智能推荐新闻内容实现新闻内容的实时多语言翻译自动生成新闻摘要，提高新闻产出速度自动新闻生成智能新闻推荐实时新闻翻译内容创作应用提供精准、相关的搜索结果及详细解释搜索引擎优化提供天气、新闻、股票等知识问答服务智能助手服务解答学科问题，提供个性化学习资源推荐教育领域应用知识问答应用知识问答的具体场景PART03提供精准、相关的搜索结果精准搜索结果生成详细的解释和说明详细解释说明在搜索引擎中集成知识问答功能知识问答服务搜索引擎场景知识问答服务提供各种知识问答服务实用功能查询包括查询天气、新闻、股票等跨场景应用在不同场景下提供智能助手服务智能助手场景010203学科问题解答帮助学生解答各类学科问题个性化学习提供个性化的学习计划和资源推荐辅助教学工具作为教师辅助教学的智能工具教育领域场景应用中的注意事项PART04确保训练数据准确无误数据准确性数据需覆盖广泛场景和语境数据多样性海量数据驱动模型效果数据量充足数据质量与数量模型选择与调整根据任务需求选合适模型模型选择调整参数优化模型性能参数设置集成部署后需不断更新迭代持续优化确保模型使用不侵犯隐私用户隐私保护模型应用需遵守相关法律法规合法合规使用避免模型生成内容侵犯版权版权问题010203伦理与法律考量5.3大语言模型如何影响生活项目背景与挑战presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield解决方案与实施presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield测试验证与项目成果presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield启示与展望presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目录项目背景与挑战PART01市民热线事件概况0102热线事件数量每月处理9万余起事件事件处理流程坐席人员登记、分拨和跟进03事件分类体系三级分类近600种准确性不足70%首次分类准确性低导致处理延迟错误分类影响0201高峰时段事件易积压手工分拨问题03面临的挑战分析解决方案与实施PART02利用LLM的NLP能力采用预训练LLM提高首次分类准确性通过历史数据微调提升运营效率减少人工依赖采用大语言模型LLM对ChatGLM-6B模型微调使用LoRA技术微调首次分类准确性提高20%以上分类准确性提升分拨速度加快分拨速度缩短到一分钟以内使用LoRA技术微调模型数据探索与准备过程热线系统历史数据数据来源热线系统脱敏、清洗、分布调整数据预处理步骤根据标题和内容分类任务定义单卡训练环境训练环境单卡模式Lora_rank:16，学习率:1e-4主要参数设置每个迭代8~12小时训练时间微调训练与参数设置测试验证与项目成果PART03测试方法与结果结合LoRA权重测试数据集测试方法事件能够被准确分类测试结果分拨速度缩短到一分钟以内效率提升准确性提升首次分拨准确性提高20%以上减少人工依赖减少对人工的依赖，提升运营效率模型适应性验证了预训练模型的适应性，低资源微调即可适应项目成果展示启示与展望PART04LLM实现情感识别，增强交互体验LLM用于数据标签与格式化文本生成，提高效率利用LLM分析客户评价，提升服务质量客户评价分析情感识别数据标签与文本生成LLM的广泛应用未来优化方向态势感知利用LLM实现态势感知，增强事件处理能力精确语义检索发展精确语义检索，提升信息获取效率0102结论PART0501LLM成功应用案例市民热线事件分拨提升02分类准确性提升首次分拨准确性提高20%以上03处理效率提高分拨速度缩短到一分钟以内04减少人工依赖显著提升运营效率，减少人工应用总结5.4DeepSeek进阶实操大语言模型使用技巧PART01先字面翻译再意译逐步完成提高任务完成准确性将复杂任务拆分成子任务逐步完成拆分任务步骤示例翻译任务提高准确性分解复杂任务提供具体背景信息帮助模型生成准确回答提供背景信息起草简历时提供职位需求和个人情况示例求职简历增强模型对任务的理解力增强理解力添加相关语境具体说明任务要求避免模糊指令具体说明要求修改时指明风格和目标受众示例修改文章减少因指令模糊导致的误解减少误解给出明确指令让模型提供多个版本选择最符合需求的答案要求多个版本生成内容时要求多种风格或版本示例生成内容0201增加任务完成的灵活性和多样性增加灵活性03提供多种选项设定特定角色0102扮演特定角色让模型扮演特定角色提供专业反馈示例写作教练扮演写作教练提供写作建议03独特视角提供不同于常规的专业视角和建议通过例子引导通过具体例子引导模型生成符合预期内容示例制图制图时提供类似图表的例子提高生成质量提高模型生成内容的质量和准确性提供具体例子010203指定输出格式明确指定输出格式如列表、阅读水平示例关键发现要求用列表总结关键发现使用高中生能理解语言规范输出规范模型输出格式和内容声明输出格式通过实验调整指令观察模型表现实验调整指令通过实验不断优化指令提高模型表现优化指令指令中加入“一步一步思考”观察推理过程示例推理过程010203实验调整指令大语言模型训练步骤PART02数据收集与处理收集高质量语料和数据集数据收集分词、标准化、去除噪声数据预处理确保数据多样性和代表性数据要求单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容，简明扼要地阐述您的观点。根据需要可酌情增减文字，以便观者准确地理解您传达的思想。单击此处添加文本具体内容构建模型架构模型训练选择合适学习率、批量大小超参数调优进行正则化训练模型训练与调优防止过拟合技术dropout技术采用dropout防止过拟合正则化技术使用L1或L2正则化01025.5典型案例-中国首个孤独症垂直类大语言模型Starlight模型介绍presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfieldAI幻觉体验分析presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield讨论与反思presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield未来展望presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目录Starlight模型介绍PART01发布背景与机构中国科学院合肥创新工程院发布机构2023年2月发布时间Starlight模型名称先天性神经发育障碍定义社会交往障碍、兴趣局限特征0201患病率上升，病因不明影响03孤独症概述模型功能与技术0102功能无障碍提问与即时解答数据来源临床研究信息汇总03技术深度学习、监督微调通过委员会认证行为分析师笔试认证家长与行业从业者认可公测反馈未来应用患者家长、行业从业者、科研机构认证、公测与未来应用AI幻觉体验分析PART02幻觉定义与分类无实际含义的感知无意义幻觉看似正确但错误的感知看似合理幻觉声称有但实际无的能力声称具备能力幻觉对“幻觉”的看法内容多样性幻觉内容多样