《大模型时代：行业大模型的构建及关键技术解密》 课件 第5-11章 构建行业能力：继续预训练-行业和领域智能体构

第五章构建行业通用能力：继续预训练《大模型时代：行业大模型构建及关键技术解密》01PART本章小结Summary03继续预训练概述OverviewofContinuingPre-training01继续预训练的技术实现Thetechnicalimplementationofcontinuingpre-training02目录CONTENT第5章构建行业通用能力：继续预训练继续预训练概述01PART5.1.1继续预训练定义与背景继续预训练，又称增量预训练或持续预训练，是一种先进的持续学习策略。它针对已经经过初步预训练的模型，通过不断引入新数据来进行知识的更新和扩展。这一过程不仅保留了模型原有的知识基础，还使其能够捕捉到最新的发展趋势，从而有效应对数据时效性带来的知识老化问题。在继续预训练中，模型不再从随机状态开始学习，而是基于已有的预训练成果，进一步吸收新的信息和知识。这种训练方式允许模型在保持原有泛化能力的同时，不断适应新的语言环境和使用场景，实现知识的持续积累和进化。继续预训练的示意图如图5-1所示。第1节继续预训练概述1.定义第1节继续预训练概述5.1.1继续预训练定义与背景2.背景与意义解决知识老化问题增强模型适应性提高泛化能力推动自然语言处理应用继续预训练作为一种有效的持续学习策略，在自然语言处理领域具有重要的理论和实践意义。它不仅推动了预训练模型的发展，还为各类应用场景提供了更加灵活、强大的语言理解能力。5.1.2继续预训练作用与优势继续预训练在引导大模型深入理解新知识领域或应对分布外场景方面，扮演着至关重要的角色。以Llama-38B和Mistral7B为代表的基础模型，虽然已在包含数万亿token的庞大语料库上进行了初步预训练，但在某些特定语言或专业领域（如法律、医学等）的数据覆盖上可能仍显不足。因此，通过引入新的token和数据集进行针对性训练，对于填补模型在特定领域的知识空白，提升其在多样化场景下的表现力和适应性尤为重要。本书将借鉴SHI等人[54]的分类思想，将继续预训练放在持续学习的框架下进行阐述，并将继续预训练分为横向继续预训练和纵向继续预训练两个维度，以及继续微调和继续人类反馈强化学习，总体框架图如图所示。第1节继续预训练概述第1节继续预训练概述5.1.2继续预训练作用与优势纵向继续学习包括继续预训练、领域自适应预训练、继续微调以及继续人类反馈强化学习，其中继续微调和继续人类反馈强化学习将放在第6章和第7章进行讲解，纵向继续学习的作用是防止大模型遗忘一般知识。横向继续学习是指在部署大模型之后，当一组新的数据可用时，模型将不断更新，横向继续学习的目标是防止在长任务序列中知识的平行遗忘。横向继续预训练和纵向继续预训练的区别如图所示。5.1.2继续预训练作用与优势1.横向继续预训练：提升模型对时间推移和内容变化的适应性语言迁移多语言能力代码转换内容迁移从单模态向多模态学习的模态扩展从单领域到多领域的领域扩展时间迁移时序数据理解知识更新第1节继续预训练概述5.1.2继续预训练作用与优势2.纵向继续预训练：增强模型特定领域表现和专业性DAP的优势领域特定知识学习提升领域任务表现减少遗忘DAP的挑战数据质量数据异质性遗忘风险DAP的应用法律、医学、金融、科学、代码等DAP的未来研究方向更有效的数据利用方法领域自适应模型架构可解释的DAP领域自适应预训练（Domain-AdaptivePre-training，DAP）利用特定领域的无标签数据，对通用预训练模型进行调整，使其更擅长理解和生成特定领域的语言。它位于纵向继续学习的中间阶段，介于继续预训练和继续微调之间。第1节继续预训练概述继续预训练的技术实现02PART第2节继续预训练的技术实现5.2.1数据准备与模型选择OpenCompass大模型测试平台（/home）第2节继续预训练的技术实现5.2.2训练环境Docker的基本工作逻辑1）DockerDocker是一个开源的容器化平台，它允许开发者将应用程序及其依赖项打包到一个可移植的容器中。这个容器可以在任何支持Docker的平台上运行，从而实现“一次构建，到处运行”。Docker的基本工作逻辑如图所示。第2节继续预训练的技术实现5.2.2训练环境1）DockerDocker的核心组件包括DockerEngine、DockerHub和DockerCompose等。Docker

Engine是Docker的核心运行环境，负责创建和管理容器。它提供了容器运行时环境、镜像管理和存储管理等一系列关键功能。DockerEngine的架构由DockerDaemon、DockerCLI和DockerRESTAPI三部分组成，其中DockerDaemon负责后台管理，DockerCLI提供命令行接口，而DockerRESTAPI则允许程序化地与DockerEngine交互。DockerHub则是一个公共的Docker镜像仓库，用户可以从中拉取官方或第三方镜像，也可以上传自己的镜像。它不仅提供镜像存储和搜索功能，还支持镜像版本管理，方便用户跟踪和管理不同版本的镜像。此外，Docker

Hub还支持私有仓库，用于存储敏感或专有的镜像，确保用户的数据安全和隐私。DockerCompose是一个用于定义和运行多容器Docker应用的工具。它通过YAML文件定义应用的服务、网络和卷等配置，然后可以一键启动所有服务，大大简化了多容器应用的部署和管理过程。DockerCompose特别适用于微服务架构和多容器应用的开发和部署场景，使得开发者能够更好地管理和运行复杂应用程序。第2节继续预训练的技术实现5.2.2训练环境1）DockerDocker关键技术。Docker的关键技术涵盖了容器技术、镜像管理、网络管理和容器编排等多个方面。在容器技术中，Docker利用Linux内核的命名空间（Namespace）实现进程、网络、挂载点等的隔离，并通过控制组（Cgroup）限制容器的CPU、内存等资源使用，同时Docker镜像由多个只读层组成，每个层代表一次文件系统更改。镜像管理方面，通过Dockerfile定义镜像的构建过程，包括基础镜像、安装依赖、复制文件等，而镜像仓库如DockerHub、私有仓库或其他第三方仓库则用于存储和分发镜像，镜像标签则用于区分不同版本的镜像，便于管理和使用。在网络管理上，Docker支持桥接模式、主机模式、无网络模式等多种网络模式，实现容器间网络隔离，确保安全性和独立性，并通过端口映射将容器内的端口映射到主机，实现外部访问。至于容器编排，Docker提供了原生的集群管理工具DockerSwarm，支持多主机容器编排，同时虽然Kubernetes不是Docker的一部分，但与Docker紧密集成，提供更强大的容器编排能力，此外，容器间通过服务发现实现相互通信。这些技术共同构成了Docker的强大功能体系，确保了Docker的高效、灵活和安全性。第2节继续预训练的技术实现5.2.2训练环境1）DockerDocker的应用场景微服务架构：Docker容器是实现微服务架构的理想选择，每个微服务可以运行在独立的容器中。持续集成与持续部署（CI/CD）：Docker容器用于构建、测试和部署应用程序，实现自动化流程。云原生应用开发：Docker是云原生应用开发的基础，支持快速迭代和弹性伸缩。开发环境一致性：确保开发、测试和生产环境的一致性，减少“在我的机器上可以运行”的问题。应用迁移与部署：通过Docker镜像，应用程序可以轻松迁移到不同的主机或云平台。Docker的优势与挑战。Docker具有可移植性、高效性、一致性和隔离性等优势，允许容器在任何支持Docker的平台上运行，快速启动且资源占用少，确保应用程序在不同环境中的一致运行，并提供强大的环境隔离能力；然而，它也存在挑战，包括对初学者而言的学习曲线、需要关注的安全配置和镜像漏洞问题，以及大规模部署时可能出现的存储管理复杂性。第2节继续预训练的技术实现5.2.2训练环境2）CondaConda是一个开源的跨平台包管理器和环境管理系统，主要用于Python、R、(Lua、Scala、Java、JavaScript、C/C++、FORTRAN)等数据科学与机器学习相关的编程语言环境。它是由Anaconda分发版提供的，但也可以独立安装。它允许用户轻松地安装多种版本的软件包及其依赖关系，并能够在其上构建和管理虚拟环境。Miniconda是一个免费的、用于安装Conda的精简版安装程序。它是Anaconda的一个轻量级引导版本，仅包括conda、Python、它们所依赖的包以及一些其他有用的包（如pip、zlib等）。Anaconda是一个开源的数据科学和机器学习平台，包含强大的包管理器Conda，提供了一个统一的集成环境，用于安装、管理和运行Python或R编程语言的包和库。第2节继续预训练的技术实现5.2.2训练环境3）PipPip是Python官方认证的包管理工具，专门用于管理Python包。它通常用于从PythonPackageIndex（PyPI）安装Python包，由PythonPackagingAuthority（PyPA）管理和支持。Pip可以在任何环境中安装Python包，但仅限于Python包的管理。Pip的主要功能包括安装、升级和删除Python包。它管理的是wheel或源码格式的包，可能在安装过程中需要编译器。尽管Pip本身不直接支持虚拟环境的管理，但它常与virtualenv或venv等工具结合使用，以实现不同项目间环境的隔离。在依赖管理方面，Pip的依赖性检查主要针对Python包，对于外部依赖的跟踪和管理能力较弱。这意味着，如果需要用到很多依赖于外部库的Python包（如NumPy、SciPy和Matplotlib），Pip可能无法完全满足需求。本章小结03PART本章小结继续预训练的背景与意义主要体现在以下几个方面：（1）解决知识老化问题：通过持续引入新数据，继续预训练确保模型能够跟上时代的发展，避免因数据过时而导致性能下降。（2）增强模型适应性：通过吸收不同风格、主题或领域的文本信息，模型能够更好地适应多样化的语言环境和使用场景。（3）提高泛化能力：通过知识蒸馏等策略，新模型不仅学习新知识，还继承旧模型的泛化能力，实现稳定性和连续性的平衡。（4）推动自然语言处理应用：在新闻摘要、社交媒体分析等领域，继续预训练能够确保模型输出与时代脉搏紧密相连，提高应用的准确性和有效性。本章还介绍了继续预训练的技术实现，包括数据准备、模型选择、训练环境准备以及启动第一个继续预训练程序。在数据准备方面，需要构建训练数据集并进行注册；在模型选择方面，需要权衡模型的性能和算力承载能力；在训练环境准备方面，介绍了Docker、Conda和Pip三种环境管理工具的使用方法；最后，通过LLaMA-Factory的继续预训练示例，展示了如何构建docker环境并启动一个继续预训练进程。谢谢第六章拓展领域专业知识：指令微调《大模型时代：行业大模型构建及关键技术解密》01PART指令微调与继续预训练的差异Thedifferencebetweeninstructionfine-tuningandcontinuedpre-training03指令微调概述OverviewofInstructionFine-tuning01本章小结Summary04指令微调的技术实现Thetechnicalimplementationofinstructionfine-tuning02目录CONTENT第6章拓展领域专业知识：指令微调指令微调概述01PART第1节指令微调概述6.1.1定义与背景大模型指令微调（简称微调，很多时候也被称为有监督微调或SFT）是指在预训练的大规模深度学习模型基础上，利用特定任务的小规模数据集对模型进行针对性的参数调整和优化过程。其目的是使预训练模型更好地适应新任务的数据分布和任务需求，从而提升模型在特定任务上的性能。大模型微调包括三个关键要素，如图所示：大模型微调是迁移学习的一种典型应用，通过利用预训练模型的学习成果，加速新任务的学习过程，并提高模型的泛化能力。特定任务数据集：指针对特定任务的小规模数据集，用于微调预训练模型的参数。参数调整：通过梯度下降等优化算法，根据特定任务的数据分布和损失函数，对预训练模型的部分或全部参数进行细微调整。预训练模型：指在大规模数据集上预先训练好的深度学习模型，如Transformer、GPT等，这些模型具有强大的特征提取和表示能力。随着深度学习技术的不断进步，预训练语言模型如GPT等已经展现出了惊人的语言理解和生成能力。这些模型在大规模、多样化的数据集上进行了预训练，从而积累了丰富的语言知识。然而，尽管它们在通用语言任务上表现出色，但在特定领域或专业应用中，其专业化程度往往显得不足。这种不足主要体现在以下几个方面：（1）领域特定知识的缺失：预训练模型主要学习的是通用语言知识，而对于特定领域如医学、法律、金融等的专业术语、概念和逻辑关系可能缺乏深入理解。（2）数据分布的差异：特定领域的文本数据在词汇分布、句子结构和表达方式上可能与预训练数据存在显著差异，导致模型难以直接适应。（3）任务需求的特殊性：不同领域或应用可能对模型有特定的需求，如对某些类型的错误更加敏感，或需要特定的输出格式等。第1节指令微调概述图6‑1微调在行业大模型构建过程中所处的位置以预训练的大型语言模型（LLM）为例，微调在行业大模型构建过程中扮演着至关重要的角色。如图6-1所示，在预训练阶段之后，通过在特定行业的标注数据上进行微调，可以显著提升模型在行业应用中的性能。这种微调不仅保留了预训练模型在通用语言任务上的优势，还增强了模型在特定领域的专业化能力，从而为各种行业应用提供了更加精准、高效的解决方案。第1节指令微调概述1.提升领域专业性微调的价值在于通过这种针对性的训练，显著提升模型在特定领域的专业性、准确性和表达能力。这种训练不仅是对预训练模型的简单调整，而是一种深入、细致的优化过程，旨在使模型更好地适应特定任务的需求。以下是微调过程中的关键价值点：第1节指令微调概述6.1.2意义与价值第1节指令微调概述6.1.2意义与价值提高领域专业通过微调，大模型可以学习并适应某一领域的专业术语和表达习惯。这种领域适应性是通过在特定领域的数据集上进行训练实现的。增强任务表现微调过程利用了迁移学习的优势，将预训练阶段积累的通用知识和技能转移到特定任务中解决特定场景问题微调的另一个显著价值在于其对特定场景问题的解决能力。不同应用场景对模型的需求各不相同，通过微调可以针对这些需求进行优化优化表达逻辑和连贯性大模型通过微调可以学习并遵循特定的逻辑结构，从而在生成文本时更加连贯和有条理。对于一些需要复杂推理和逻辑表达的任务，如科学研究报告撰写或技术文档编写第1节指令微调概述6.1.3困难与挑战构造微调数据集设置微调参数过拟合与欠拟合管理计算资源公平性和可解释性数据隐私与安全指令微调的技术实现02PART第2节指令微调的技术实现6.2.1数据准备与模型选择1.训练数据集构造第2节指令微调的技术实现6.2.1数据准备与模型选择2.选择合适的预训练模型第2节指令微调的技术实现6.2.2启动第一个微调训练1.微调方法概述尽管在前面的章节介绍了多种类型的微调方法，但在实际使用过程中，往往只集中在其中几种。以LLaMA-Factory为例，其支持的微调方法包括Full-tuning、LoRA和QLoRA等，且其中的LoRA和QLoRA都属于参数有效性微调中的一类；另一方面，微调其实是一个非常广泛的称谓，包括了指令微调和人类反馈强化学习中涉及的多种类型和方法，而本章节所提到的微调其实特指指令微调第2节指令微调的技术实现6.2.2启动第一个微调训练2.训练环境准备进行LLaMA-Factory项目微调训练的环境搭建可参照5.2.2节中关于继续预训练环境的指导。换言之，一旦成功配置了继续预训练的环境，该环境同样适用于执行指令微调训练。3.启动第一个指令微调训练程序本节将以LLaMA-Factory的指令微调训练为例，展示如何构建docker环境并启动一个指令微调训练进程。第2节指令微调的技术实现6.2.3微调技术的优化与挑战指令微调技术，作为构建行业大模型的核心手段，虽广泛应用于各类任务，但在实际操作中亦面临诸多挑战。首当其冲的是过拟合问题，即在微调过程中，模型易对训练数据产生过度依赖，进而导致在测试数据上的表现大打折扣。为应对这一挑战，读者可采用数据增强策略，以扩充数据集的丰富性；同时，引入L2正则化、Dropout等正则化手段，有效抑制模型复杂度，防止过拟合；此外，实施早停机制，即在验证集性能不再提升时及时终止训练，也是避免过拟合的有效策略。另一大挑战是梯度消失或爆炸，这在微调深度模型，尤其是深层次网络时尤为突出。针对这一问题，借助预训练模型是较好的解决方案，因其已学习了丰富的特征表示，能够有效缓解梯度问题；同时，采用梯度裁剪技术，确保梯度在合理范围内波动；此外，使用自适应优化器如Adam、RMSprop等，它们能根据训练过程自适应调整学习率，进一步减轻梯度消失或爆炸的风险。再者，预训练模型与目标任务之间的特征表示不一致也是微调过程中常见的问题，它可能导致微调效果不尽如人意。针对这一问题，我们可实施特征对齐策略，通过线性或非线性变换，使预训练模型与目标任务的特征表示达到一致；此外，不仅利用预训练模型的最后一层特征，还考虑使用中间层特征，以捕捉更丰富、更全面的语义信息，从而提升微调效果。1.常见问题与解决方案第2节指令微调的技术实现6.2.3微调技术的优化与挑战2.优化策略多任务学习模型融合精细化调整策略一：精细化调整在精细化调整方面，学习率的个性化设置至关重要。我们应根据不同层的重要性，为其分配不同的学习率。具体而言，预训练模型的早期层，由于其已经学习了通用的特征表示，学习率应设置得较低，以保留这些有用的信息；而与目标任务直接相关的层，则应设置较高的学习率，以便更快地适应特定任务的需求。此外，层选择也是精细化调整的重要一环。根据目标任务的具体需求，我们有选择性地对预训练模型的特定层进行微调。这种针对性的层选择不仅避免了不必要的计算资源浪费，还能显著提升微调效果。第2节指令微调的技术实现6.2.3微调技术的优化与挑战2.优化策略多任务学习模型融合精细化调整策略二：多任务学习多任务学习是提升微调技术效果的另一有效途径。通过引入与主任务相关的辅助任务，模型可以在学习过程中同时掌握多种技能，从而增强其泛化能力。这种多任务学习方式使得模型能够更好地应对各种复杂场景，提高其在不同任务上的表现。此外，迁移学习也是多任务学习的重要组成部分。我们将已在相关任务上训练好的模型迁移到目标任务上，利用这些模型已学习的知识来加速训练过程并提升性能。这种迁移学习策略不仅节省了训练时间，还提高了微调效果。第2节指令微调的技术实现6.2.3微调技术的优化与挑战2.优化策略多任务学习模型融合精细化调整策略三：模型融合模型融合是提升微调技术效果的另一重要策略。通过集成学习，我们将多个微调后的模型进行有机结合，通过投票或加权平均的方式获得最终结果。这种集成学习方式不仅提升了模型的鲁棒性，还增强了其对未知数据的预测能力。此外，知识蒸馏也是模型融合的一种有效方法。我们将大型预训练模型的知识蒸馏到小型模型中，实现了模型的压缩和加速的同时，保持了其性能。这种知识蒸馏策略使得我们能够在资源受限的环境下still享受到大型预训练模型带来的优势。指令微调与继续预训练的差异03PART第3节指令微调与技术预训练的差异目标不同：微调目标，继续预训练目标训练数据集不同：微调数据集，继续预训练数据集应用场景不同计算资源需求不同模型适应性不同微调：微调适用于需要高度专业化和准确性的特定任务和应用场景。继续预训练：继续预训练适用于需要提升模型整体性能和知识水平的广泛应用场景。本章小结04PART本章小结本章深入探讨了微调技术，一种在预训练模型基础上，通过特定任务的小规模数据集对模型进行参数调整和优化的过程。微调技术旨在使模型更好地适应新任务的数据分布和需求，从而提升其在特定任务上的性能。本章概述了微调技术的定义和背景，指出微调是迁移学习的一种典型应用，通过利用预训练模型的学习成果，加速新任务的学习过程，并提高模型的泛化能力。接着，本章详细阐述了微调技术的意义与价值，包括提高领域专业性、增强任务表现、优化表达逻辑和连贯性，以及解决特定场景问题等。然而，微调技术也面临着一系列挑战，如构造指令微调数据集、设置微调参数、避免过拟合与欠拟合、管理计算资源、确保模型的公平性和可解释性，以及保护数据隐私和安全等。本章对这些挑战进行了分析和讨论，并提出了相应的解决方案。在技术实现方面，本章介绍了指令微调数据集的构造和模型选择的重要性，以及如何通过指令微调有效提升模型的性能。此外，本章还探讨了微调技术的优化与挑战，包括常见问题与解决方案，以及精细化调整、多任务学习和模型融合等优化策略。最后，本章对比了微调与继续预训练的差异，指出两者在目标、数据集、应用场景、计算资源需求和模型适应性等方面存在显著不同。微调专注于提升模型在特定任务和领域中的表现，而继续预训练则侧重于增强模型的整体知识水平和通用性能。总体而言，本章全面介绍了微调技术的概念、意义、挑战和实现方法，为读者提供了深入理解和应用微调技术的理论基础。通过本章的学习，读者可以更好地把握微调技术的核心要点，并在实际应用中发挥其优势，推动大模型在各个领域的创新和发展。谢谢第七章人类反馈强化学习《大模型时代：行业大模型的构建及关键技术解密》01PARTRLHF与SFT的区别DifferencebetweenRLHFandSFT03基本概述Overview01本章小结Chaptersummary04技术实现TechcologicalRealization02目录CONTENT第7章人类反馈强化学习人类反馈强化学习基本概述01PART

第1节基本概述—定义与背景

第1节基本概述—意义与价值

第1节基本概述—困难与挑战技术实现02PART

第2节技术实现—PPO算法原理部分可以参考书中内容……

第2节技术实现—PPO的技术流程框架

第2节技术实现—DPO

第2节技术实现—DPO

第2节技术实现—DPO的工作流程

第2节技术实现—ORPO

第2节技术实现—ORPO

第2节技术实现—ORPO

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备

第2节技术实现—数据集准备的注意事项

第3节技术实现—启动第一个RHLF程序

第3节技术实现—启动第一个RHLF程序相关指令参考书中内容……RHLF与SFT的区别03PART第1节RHLF与SFT的区别第1节RHLF与SFT的区别第1节RHLF与SFT的区别第1节RHLF与SFT的区别第1节RHLF与SFT的区别第1节RHLF与SFT的区别本章小结04PART本章小结谢谢第八章提示工程《大模型时代：行业大模型的构建及关键技术解密》01PART提示工程的应用TheApplicationofPromptEngineering03基本概述Overview01本章小结Chaptersummary04技术实现TechcologicalRealization02目录CONTENT第8章提示工程提示工程基本概述01PART

第1节基本概述

第1节基本概述—举例说明完整示例参考书中内容……

第1节基本概述—感兴趣的读者可以自己试试

第1节基本概述—从交互窗口的角度来解读Prompt

第1节基本概述—Prompt到底是什么？

第1节基本概述—Prompt到底是什么？

第1节基本概述—Prompt的基本构成

第1节基本概述—Prompt的基本构成

第1节基本概述—Prompt的基本构成

第1节基本概述—Prompt

Engineer

第1节基本概述—相关知识补充

第1节基本概述—相关知识补充

第1节基本概述—相关知识补充提示工程的技术实现02PART

第2节技术实现

第2节技术实现—Zero-shot

第2节技术实现—One-shot

第2节技术实现—Few-shot

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT完整示例参考书中内容……

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—CoT

第2节技术实现—Self-Consistency

第2节技术实现—Self-Consistency

第2节技术实现—Self-Consistency

第2节技术实现—Self-Consistency

第2节技术实现—System2AttentionPrompting

第2节技术实现—System2AttentionPrompting

第2节技术实现—System2AttentionPrompting

第2节技术实现—基于事实的提示方法-RAG

第2节技术实现—基于事实的提示方法-RAG

第2节技术实现—基于事实的提示方法-ReAct

第2节技术实现—基于事实的提示方法-ReAct

第2节技术实现—基于事实的提示方法-ReAct

第2节技术实现—基于事实的提示方法-CoVe

第2节技术实现—基于事实的提示方法-CoVe

第2节技术实现—基于事实的提示方法-CoVe

第2节技术实现—基于事实的提示方法-CoVe

第2节技术实现—基于事实的提示方法-CoN

第2节技术实现—基于事实的提示方法-CoN

第2节技术实现—基于事实的提示方法-CoN

第2节技术实现—基于事实的提示方法-CoK

第2节技术实现—基于事实的提示方法-CoK

第2节技术实现—其他提示方法-ActivePrompting

第2节技术实现—其他提示方法-ActivePrompting

第2节技术实现—其他提示方法-ActivePrompting

第2节技术实现—其他提示方法-APE

第2节技术实现—其他提示方法-APE

第2节技术实现—其他提示方法-APE

第2节技术实现—其他提示方法-APE更多提示方法请参考本书……提示工程的应用03PART第1节生成行业和领域数据第2节代码生成第3节逻辑推理第4节减少危害第5节用户交互第6节微调和优化第7节提示一致性和连贯性第8节管理情感和语调本章小结04PART本章小结谢谢第九章RAG应用实践《大模型时代：行业大模型的构建及关键技术解密》01PART高级RAG应用实践AdvancedRAGapplicationpractices03RAG技术基础与核心价值RAGtechnologyFoundationandcorevalues01模块化RAG应用实践ModularRAGapplicationinpractice04基础RAG的关键组件和应用实践ThekeycomponentsandapplicationpracticesoftheFoundationRAG02目录CONTENT第9章RAG应用实践本章小结Chapterconclusion05RAG技术基础与核心价值01PART

第1节基本概述

第1节基本概述

第1节基本概述

第2节技术演进

第2节技术演进

第2节技术演进

第2节技术演进

第3节技术原理拆解

第3节技术原理拆解

第3节技术原理拆解

第3节技术原理拆解

第3节技术原理拆解

第3节技术原理拆解

第3节技术原理拆解基础RAG的关键组件和应用实践02PART

第1节准备工作

第2节几种推荐的安装方式……

第2节几种推荐的安装方式……

第2节几种推荐的安装方式……

第3节配置大模型API

第3节配置大模型API

第3节配置大模型API

第4节代码层搭建基础版RAG

第4节代码层搭建基础版RAG更多内容参考本书……高级RAG应用实践03PART第1节高级RAG的应用实践模块化RAG应用实践04PART第1节模块化RAG的应用实践第1节模块化RAG的应用实践本章小结04PART本章小结本章小结谢谢第十章微调一个行业大模型《大模型时代：行业大模型的构建及关键技术解密》01PART利用云服务平台实现低门槛微调Thecloudserviceplatformisusedtoachievelowthresholdfine-tuning03微调的核心价值与技术实现Thecorevalueandtechnicalrealizationoffine-tuning01在自有服务器完成全流程微调Finetuningthewholeprocessinourownserver04借助通用平台实现无代码微调Code-freefine-tuningwiththehelpofacommonplatform02目录CONTENT第10章微调一个行业大模型本章小结Chapterconclusion05微调的核心价值与技术实现01PART

第1节微调的背景与核心价值

第2节技术实现框架与关键要素—数据

第2节技术实现框架与关键要素—数据

第2节技术实现框架与关键要素—模型

第2节技术实现框架与关键要素—模型

第3节技术实现框架与关键要素—技术挑战与前沿突破

第3节技术实现框架与关键要素—技术挑战与前沿突破

第3节技术实现框架与关键要素—技术挑战与前沿突破借助通用平台实现无代码微调02PART

第1节微调平台介绍

第1节微调平台介绍

第1节微调平台介绍

第1节微调平台介绍

第2节财务大模型无代码微调实践—数据准备

第2节财务大模型无代码微调实践—数据准备

第2节财务大模型无代码微调实践—上传数据集

第2节财务大模型无代码微调实践—创建微调任务

第2节财务