ChatGLM部署、微调与开发 课件 04大模型未来发展趋势及挑战

第4章大模型未来发展趋势及挑战大模型技术发展趋势一大模型产业应用趋势二人工智能伦理与安全三大模型面临的挑战四本章小结五大模型技术发展趋势引言大模型技术，作为人工智能领域的前沿方向，正日新月异，推动着各行各业的变革技术发展趋势分为：大模型的幻觉修复定义：大模型生成无意义或与用户提示词不对应的内容思维链定义：通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解多模态大模型定义：能够处理和理解多种不同模态数据的人工智能模型智能体走向具身化定义：能够自主感知环境、做出决策并执行相应行动的软件或硬件实体。软件工程理论基于大模型增强而重新定义大模型带动软件工程变换科研范式全更新大模型带动科研范式的变换4.1大模型技术发展趋势大模型幻觉定义定义：大模型生成无意义或与用户提示词不对应的内容幻觉的分类大模型的幻觉分为事实性幻觉和忠实性幻觉事实性幻觉：

定义：模型生成的内容与可验证的现实世界事实不一致分类：事实不一致事实捏造忠实性幻觉：定义：生成的内容与用户的指令或上下文不一致分类：指令不一致上下文不一致逻辑不一致4.1.1大模型的幻觉修复幻觉产生的三大来源：数据源数据质量不够高训练过程

训练的时候有冲突知识，以及训练不充分推理过程推理模型不够强大解决幻觉问题的方法数据筛选：剔除引入幻觉的数据技术手段：可控文本生成、强化学习多任务学习、输出后处理大模型幻觉攻击实例4.1.1大模型的幻觉修复思维链定义定义：通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解，这一系列推理的中间步骤思维链优势提升大模型性能增强大模型推理能力降低忽视关键细节的现象例子4.1.2思维链“将总共有多少葵花籽”分解为一颗大向日葵的种子数量与一颗小向日葵的种子数量之和，通过将复杂问题分解为多步骤的子问题然后进行实现4.增强可解释性5.提高可控性多模态大模型定义指能够同时处理多种不同类型的数据（如文本、图像、音频、视频等）的大型深度学习模型。这些模型通常具有多个输入通道，可以对各种模态的数据进行联合学习和特征提取，从而实现跨模态的信息融合和知识迁移。国内外研究进展国外：OpenAI的Sora国内智谱AI的CogVLM关键技术数据对齐：确保不同模态的数据在时间和内容上的一致性‍‍‍‍‍‍‍数据融合：将多模态数据整合在一起，以充分利用各模态的信息‍‍‍‍‍‍‍统一标识：构建一个统一的表示空间，使得不同模态的数据能够互相理解和结合4.1.3多模态大模型Sora文生视频大模型4.1.3多模态大模型OpenAI2024年2月15日发布能够根据用户的文本提示创建最长60秒的逼真视频能够深度模拟真实物理世界，生成具有多个角色、包含特定运动的复杂场景Sora的思路是将输入的训练数据转换为具备时序特征的向量，然后由Sora中的Transformer预测下一个向量。无论是文本还是视频，都需要转化为高维向量组成的序列才能正常参与计算。对于GPT而言，这一向量中的这个最小单位是Token，对于Sora等文生视频模型来说，这个最小单位就是时空图块（SpacetimeLatentPatches）。4.1.3多模态大模型字幕获取图像的描述图像问答与图像进行问答交互3D点云构建3维世界关键信息增强Agent给Agent提供视觉信息多模态技术在AGI发展中的应用4.1.4智能体走向具身化与全方位交互智能体定义定义：自主感知环境、做出决策并执行相应行动的软件或硬件实体智能体基本特征感知环境：智能体能够通过传感器或其他输入方式工具收集关于周围环境的信息。决策制定：基于收集到的信息和内部算法或模型，智能体能够分析情况并做出决策。行动执行：智能体能够对外界施加影响，通过输出指令或直接操作来改变环境状态。目标导向：通常具有明确的目标或任务，指导其行为和决策过程。学习与适应：许多智能体还具备学习能力，能从经验中学习并优化其行为策略，以更好地达成目标。智能体的基本框架4.1.4智能体走向具身化与全方位交互分类虚拟智能没有实体的智能体具身智能是指研究在环境中具有实体的智能体（如现实或仿真环境下的机器人，能够直接与环境进行物理交互）具身智能的研究方法模仿学习（ImitationLearning）就是要训练机器能够复制人类的连续动作，进而达到模仿的目的。强化学习（ReinforcementLearning）4.1.4智能体走向具身化与全方位交互具身智能的应用实例PaLM-E：实体化多模态语言模型多模态语言模型，它不仅能够理解和生成自然语言，还能直接整合来自真实世界的连续传感器数据，如图像和状态估计，从而在语言模型与感知之间建立了直接联系，这使得PaLM-E能够在模拟和现实世界中控制不同的机器人，执行复杂的实体推理任务。大模型在软件工程中的应用设计、需求、测试、发布和运维等环节大模型催生的新软件工程强大的表示能力和泛化性能颠覆性的研发模式改变持续渐进的过程大模型对研发工作流的影响逐渐加深的影响程度开发者需拥抱变化，找到切入点认识大模型的潜在问题和限制4.1.5软件工程理论大模型在跨学科领域的应用创新超级计算机系统重塑云计算重构分布式系统大模型带来的机遇与挑战机遇：研究方法与实践的改变挑战：学科理论基础的工具和方法增强4.1.5软件工程理论大模型时代的科研背景大规模数据和端到端学习多任务学习能力的展现传统科研模式的特点小规模数据集手工特征工程时间和精力的投入大模型带来的科研范式变革简化研究流程提高研究效率改变数据处理和分析方式4.1.6科研范式全更新4.1.6科研范式全更新大模型的未来角色在科研范式中扮演更为重要的角色研究者需学习和应用大模型技术推动科学研究的进步和发展大模型在科研中的应用数据的直接利用端到端学习实现强大的通用任务解决能力第4章大模型未来发展趋势及挑战大模型技术发展趋势一大模型产业应用趋势二人工智能伦理与安全三大模型面临的挑战四本章小结五4.2.1生成式AI改变人机交互方式人机交互的历史变革图灵机的打孔带：人机交互的起点第一台电子计算机：交互方式转变Windows图形界面：界面友好化多点触控技术：简化用户界面，缩小数字鸿沟语音交互与智能音响：接近自然交流GLM视频通话生成式AI技术的进展提升大模型理解能力更好地理解人类表达和意图生成符合人类价值观的回答未来展望功能强大的个人助手回答多样化问题人机协作新模式：机器生成内容与人类判断结合4.2.2模型即服务（ModelasaService）AI的工业化发展大模型推动AI逐渐工业化，商业模式发生转变ModelasaService）的生态未来AI领域将呈现出以模型即服务为核心的生态格局模型即服务系统的组成大模型公司提供AI技术基础设施。基于大模型生成场景化、个性化的小模型，实现工厂化生产模式。将大模型与个人用户需求结合，形成面向最终用户的AI模型服务和应用4.2.2模型即服务（ModelasaService）模型即服务的未来展望以大模型为核心，打造新一代人工智能应用的基础设施。有望成为AI领域的新兴商业模式，推动行业创新和增长。4.2.3大模型的垂直领域应用生成式AI技术的发展大模型在多个领域创造新的商业价值大模型的行业定制化应用功能和特性与特定行业或领域需求紧密相关4.2.3大模型的垂直领域应用国际案例微软365Copilot集成GPT-4，Klarna集成ChatGPT插件，智能家务机器人TidyBot等应用中国案例华为盘古大模型应用于多个领域，国网-百度·文心大模型，钉钉接入通义大模型，腾讯会议接入混元大模型等。大模型的未来作用将在更多行业中发挥关键作用，推动数字化和智能化的实现4.2.4大模型将助力个体成为超级生产者大模型技术的发展快速进步，推动个人生产力革命智能化工具的作用提供智能化建议自动化繁琐任务释放个人创造力创作能力的扩展与效率提升普通人也能生成复杂内容学习新技能，编写代码创造精美视觉作品提升工作效率4.2.4大模型将助力个体成为超级生产者日常生活的应用场景文本生成学习辅助编程开发图像和视频编辑个人生产力的变革深入日常生活，改变工作方式和创作过程未来工作环境的变化智能化、个性化借助AI实现潜能创造丰富多样的作品和解决方案第4章大模型未来发展趋势及挑战大模型技术发展趋势一大模型产业应用趋势二人工智能伦理与安全三大模型面临的挑战四本章小结五4.3人工智能伦理与安全人工智能伦理问题

随着模型能力的增强和应用范围的扩大，伦理问题变得更为复杂和紧迫，带来了人工智能伦理更多的挑战。人工智能伦理与安全国际规约

人工智能的快速发展为社会带来前景，同时也带来个人安全风险。各国政府正通过加强立法、建立技术标准和安全规范、优化资源配置等措施，解决立法和执法不足、程序框架不完善及资源短缺问题，保障人工智能健康发展。人工智能伦理与安全国内规约

国家强调人工智能是引领科技革命和产业变革的关键技术，并指出需防范其潜在风险，保障人民利益和国家安全，确保人工智能的安全可控。我国正积极推动人工智能健康发展，以造福全球人民4.3.1人工智能伦理问题数据隐私与保护定义：大模型训练数据包含用户隐私信息、医疗、金融、社交媒体等敏感领域风险解决方法：加强数据匿名化技术、加强数据访问权限控制、制定严格的数据保护法规算法偏见与公平性定义：历史数据可能存在偏见、模型放大偏见导致不公平决策解决方法：确保训练数据多样化和平衡、进行公平性和偏见测试责任与归责定义：大模型错误决策责任归属难以确定解决方法：制定新的法律框架、明确开发者、使用者及其他相关方责任透明度与可解释性定义：大模型决策过程黑盒化、降低人们对模型的信任度解决方法：开发新技术和方法提高透明度、提高模型可解释性安全与控制定义：大模型可能被用于恶意目的解决方法：加强模型对人类价值观的对齐、确保模型不被滥用就业与经济影响定义：AI发展对就业和社会结构的影响、大模型可能取代某些工作岗位解决方法：平衡技术进步与社会福祉、避免失业和社会不稳定国际合作与全球治理定义：AI发展具有全球性特点解决方法：建立全球性AI伦理标准、建立全球性监管机制、确保AI技术健康、有序发展4.3.2人工智能伦理与安全国际规约1《人工智能伦理问题建议书》2021年11月23日、教科文组织强调：人工智能要体现出尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展2《人工智能权利法案蓝图》2022年10月4日、美国白宫科技政策办公室强调：五项原则为：(1)安全有效的系统；(2)算法歧视保护；(3)数据隐私；(4)通知和解释；(5)人工替代3《支持创新的人工智能监管规则》2023年3月29英国强调：指导人工智能在英国的运用，推动负责任的创新，4《人工智能法案》2024年3月13日、欧盟强调：保护基本权利、民主、法治和环境可持续性免受高风险人工智能的侵害，同时促进创新并确立欧洲在该领域的领导者地位。5《以人为本的人工智能治理》2023年12月12日、联合国强调：人工智能对人类可能带来的潜在益处及其推动因素；同时，也强调了人工智能在当前和未来一段时间内可能带来的风险和挑战4.3.3人工智能伦理与安全国内规约1.《新一代人工智能伦理规范》2021年9月25日新一代人工智能治理专业委员会强调：伦理道德融入人工智能全生命周期2.《关于加强人工智能伦理治理的立场文件》2022年11月16特定常规武器公约大会上强调：加强国际人工智能伦理治理，从人工智能技术监管、研发、使用及国际合作等方面3.《生成式人工智能服务管理暂行办法》2023年5月23日互联网信息办公室规定了生成式人工智能服务的适用范围、管理原则、技术发展、服务规范、监督和法律责任等多个方面4.《全球人工智能治理倡议》2023年10月18日“一带一路”国际合作高峰论坛该倡议围绕人工智能发展、安全、治理三方面系统阐述了人工智能治理的中国方案，第4章大模型未来发展趋势及挑战大模型技术发展趋势一大模型产业应用趋势二人工智能伦理与安全三大模型面临的挑战四本章小结五4.4大模型面临的挑战技术挑战计算资源与成本限数据质量与多样性问题模型透明度与可解释性社会伦理挑战数据隐私与安全性模型偏见与公平性技术霸凌与智能鸿沟道德伦理规范制定商业挑战盈利与商业化落地难题市场竞争与资金时间投入技术创新与市场政策挑战应对策略技术创新与政策引导行业内外共同努力服务