大语言模型技术与应用教学大纲

第页《大语言模型技术与应用》教学大纲一、课程基本信息•课程名称：大语言模型技术•课程代码：•课程英文名称：Largelanguagemodeltechnology•学时与学分：理论学时32，课外实践学时16，总学分2•课程性质：选修课（必修课）•适用专业：人工智能、大数据、计算机等工科专业（其他各专业）•先修课程：略•后续课程：机器学习、深度学习、智能机器人等二、课程目标学习《大语言模型技术与应用》课程，旨在确保学生能够理解和掌握相关知识和技术。通过完成以下目标，学生不仅能够掌握构建和使用大语言模型的技术，还能具备批判性思考的能力，理解这些技术的社会影响，并能够负责任地将其应用于实际场景中。1.理论基础：•理解自然语言处理（NLP）的基本概念。•掌握深度学习的基础知识，尤其是与语言模型相关的部分。•学习大规模语言模型的工作原理和架构，如Transformer模型。2.技术实现：•学习如何训练大规模的语言模型。•了解模型优化技巧，比如正则化、微调等。•掌握模型部署和维护的相关技术。3.应用场景：•探索语言模型在不同领域的应用案例，如对话系统、文本生成、机器翻译等。•学习如何评估模型性能并解决实际问题。4.伦理和社会影响：•讨论人工智能伦理和社会责任。•了解偏见和公平性问题。•考虑模型使用的法律和道德框架。5.实践能力：•完成项目作业，获得实践经验。•使用流行的开源工具和框架进行开发。•学习如何与团队协作进行项目管理和开发。6.持续学习：•培养跟踪最新研究和技术发展的能力。•探讨未来趋势和发展方向。•建立终身学习的习惯。三、课程思政在《大语言模型技术与应用》课程中融入思政元素，意味着要将思想政治教育与专业课程相结合，培养学生正确的价值观、社会责任感以及良好的职业道德。由此，不仅可以增强学生的专业知识和技能，还可以帮助他们成为具有高度责任感和良好职业道德的专业人才。以下是该课程可能涉及的一些思政元素：1.科学精神与伦理意识：•强调科学研究的重要性与严谨性。•教育学生尊重知识产权，鼓励原创性和创新思维。•培养学生的伦理意识，使其在开发和应用大语言模型时考虑潜在的伦理和社会后果。2.社会责任感：•讨论大语言模型对社会的影响，包括正面作用和潜在风险。•分析如何利用这些技术解决社会问题，例如促进信息平等、提高教育水平等。•强调技术开发者对于公众利益的责任感。3.法律合规与行业规范：•教授有关数据保护和个人隐私的法律法规。•介绍行业标准和最佳实践，确保技术的安全与合规使用。•讲解如何避免模型中的偏见和歧视问题，确保公平性和包容性。4.国家安全与信息安全：•强调保护国家秘密和个人信息安全的重要性。•探讨如何防止敏感信息泄露，特别是在涉及到大规模数据集的情况下。•讨论如何通过技术手段保障网络安全。5.国际视野与合作交流：•鼓励学生关注国际前沿动态，了解全球发展趋势。•促进国际合作与交流，培养跨文化沟通能力。•强调开放源代码和共享资源的重要性。6.团队协作与领导力：•通过小组项目等形式，培养学生的团队合作能力和领导力。•教育学生如何有效沟通、协调资源以及解决问题。•强调个人贡献与集体成功之间的关系。7.终身学习与自我发展：•激发学生的好奇心和求知欲，鼓励他们不断探索新技术。•强调终身学习的重要性，让学生意识到持续学习对于职业发展的重要性。•提供资源和指导，帮助学生规划职业生涯路径。四、教学内容及学时分配1.第1课从人工智能起步（2学时）1.1什么是人工智能1.2人工智能实现途径1.3人工智能知识要点1.4大数据助力人工智能1.5定义生成式人工智能2.第2课语言模型及其发展（4学时）2.1语言模型的定义2.2大模型发展三阶段2.3TRANSFORMER模型2.4混合专家架构3.第3课大语言模型定义（2学时）3.1BLOCKHEAD思维实验3.2大语言模型的定义3.3大语言模型工作原理3.4大模型的幻觉4.第4课大语言模型架构（2学时）4.1生成式预训练语言模型4.2大语言模型生成技术4.3多模态语言模型4.4大语言模型的结构4.5应用技术架构5.第5课人工数据标注（2学时）5.1知识表示方法5.2什么是数据标注5.3数据标注分类5.4执行数据标注5.5智能数据标注6.第6课大语言模型预训练数据（2学时）6.1数据来源6.2数据处理6.3数据影响分析6.4典型的开源数据集6.4.1Pile6.4.2ROOTS6.5数据集面临的挑战6.6训练集、测试集、验证集的异同7.第7课组织大语言模型开发（2学时）7.1大模型开发流程7.2大模型数据处理7.3分而治之的思想7.4分布式训练与策略第8课大语言模型智能体（2学时）8.1智能体和环境8.2智能体的良好行为8.3环境的本质8.4智能体的结构8.5构建大模型智能体第9课强化学习方法（2学时）9.1强化学习的概念9.2强化学习基础9.3强化学习分类9.4深度强化学习第10课提示工程技术（2学时）10.1提示工程的定义10.2提示的原理10.3提示工程技术10.4提示学习和语境学习11.第11课微调与检索增强生成（2学时）11.1为什么要微调11.2微调工程定义11.2.4自动构建指令11.3技术路线与流行方案11.4检索增强生成技术11.5检索增强生成与微调对比12.第12课大语言模型应用框架（2学时）12.1大语言模型哲学问题12.2大语言模型应用流程12.3大语言模型应用场景13.第13课技术伦理与限制（2学时）13.1人工智能面临的伦理挑战13.2数据隐私保护对策13.3人工智能伦理原则13.4大模型的知识产权保护14.第14课面向通用人工智能（4学时）14.1生成式人工智能层次14.2人工智能生成内容14.3视频作为新的决策语言14.4人工智能发展愿景14.5通用人工智能涌现【课程学习与实训总结】五、教学方法与手段•结合当前技术发展形势，课堂讲授、课后习题点评讨论等多种方式。•强调理论联系实际，通过实例解析加深理解。•鼓励学生主动探索，培养自学能力。•鼓励学生发挥批判性思维，质疑，拓展知识。六、考核方式专业课：•平时成绩（作业、课堂参与等）：40%•期中考试：20%•期末考试：40%选修课：期末大作业：课程学习与实训总结七、选用教材•周苏等主编，《大语言模型技术与应用》，中国铁道出版社，2024。八、教学进度安排序号校历周次章节（或实训、习题课等）名称与内容学时教学方法课后作业布置11第1课从人工智能起步2课堂讲授作业实训与思考22第2课语言模型及其发展233第2课语言模型及其发展244第3课大语言模型定义255第4课大语言模型结构266第5课人工数据标注277第6课大语言模型预训练数据288第7课组织大语言