Chapter7-第7章 大模型-厦门大学-林子雨-人工智能通识：零基础学AI（2025年12月）

E-mail:ziyulin@林子雨

副教授厦门大学人工智能通识——零基础学AI主讲教师和作者林子雨简介厦门大学计算机科学与技术系副教授以第一作者编著20本大数据与人工智能教材被国内1000余所高校采用荣获“2022年福建省高等教育教学成果奖特等奖（个人排名第一）”入选“2021年高校计算机专业优秀教师奖励计划”2018年国家精品在线开放课程（独立主讲）2020年国家级线上一流本科课程（独立主讲）2021年国家级线上一流本科课程（独立主讲）入选“2023年教育部国家智慧教育公共服务平台应用典型案例”《人工智能通识——零基础学AI》教材《人工智能通识——零基础学AI》林子雨

编著人民邮电出版社2025年12月第1版ISBN:978-7-115-68594-0定价：49.8元教材官网提供详细信息和样书申请官网：/post/ai-basic/扫码访问教材官网了解详情、获取资源、申请样书教材官网提供配套教学资源：教学大纲、讲义PPT、上机实验手册、案例视频、MOOC视频、大模型科普讲座PPT、大模型讲座视频和1000道题库等第7章大模型：人工智能的前沿01大模型概述目录02大模型产品03大模型的基本原理04大模型的特点05大模型的分类06大模型训练的硬件设施07大模型的成本09大模型对人们工作和生活的影响10大模型的挑战与未来发展08大模型的应用领域11大模型实战案例01大模型概述Partone7.1.1大模型的概念大模型通常指的是大规模的人工智能模型，是一种基于深度学习技术，具有海量参数、强大的学习能力和泛化能力，能够处理和生成多种类型数据的人工智能模型大模型的“大”的特点体现在：参数数量庞大训练数据量大计算资源需求高2020年，OpenAI公司推出了GPT-3，模型参数规模达到了1750亿2023年3月发布的GPT-4的参数规模是GPT-3的10倍以上，达到1.8万亿大模型的优势主要体现在：大模型具有更强的上下文理解能力，能够理解更复杂的语意和语境。这使得它们能够产生更准确、更连贯的回答上下文理解能力大模型可以从大量的数据中学习，并利用学到的知识和模式来提供更精准的答案和预测。这使得它们在解决复杂问题和应对新的场景时表现更加出色学习能力强大模型可以生成更自然、更流利的语言，减少了生成输出时呈现的错误或令人困惑的问题语言生成能力学习到的知识和能力可以在不同的任务和领域中迁移和应用。这意味着一次训练就可以将模型应用于多种任务，无需重新训练可迁移性高7.1.1大模型的概念小模型通常指参数较少、层数较浅的模型，它们具有轻量级、高效率、易于部署等优点，适用于数据量较小、计算资源有限的场景，例如移动端应用、嵌入式设备、物联网等7.1.2大模型与小模型的区别而当模型的训练数据和参数不断扩大，直到达到一定的临界规模后，其表现出了一些未能预测的、更复杂的能力和特性，模型能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式，这种能力被称为“涌现能力”。而具备涌现能力的机器学习模型就被认为是独立意义上的大模型，这也是其和小模型最大意义上的区别相比于小模型，大模型通常参数较多、层数较深，具有更强的表达能力和更高的准确度，但也需要更多的计算资源和时间来训练和推理，适用于数据量较大、计算资源充足的场景，例如云端计算、高性能计算、人工智能等7.1.2大模型与小模型的区别大模型发展历经三个阶段，分别是萌芽期、沉淀期和爆发期7.1.3大模型的发展历程萌芽期（1950-2005）这是一个以CNN（ConvolutionalNeuralNetworks，卷积神经网络）为代表的传统神经网络模型阶段1956年，从计算机专家约翰·麦卡锡提出“人工智能”概念开始，AI发展由最开始基于小规模专家知识逐步发展为基于机器学习1980年，卷积神经网络的雏形CNN诞生1998年，现代卷积神经网络的基本结构LeNet-5诞生，机器学习方法由早期基于浅层机器学习的模型，变为了基于深度学习的模型，为自然语言生成、计算机视觉等领域的深入研究奠定了基础，对后续深度学习框架的迭代及大模型发展具有开创性的意义7.1.3大模型的发展历程沉淀期（2006-2019）这是一个以Transformer为代表的全新神经网络模型阶段2013年，自然语言处理模型Word2Vec诞生，首次提出将单词转换为向量的“词向量模型”，以便计算机更好地理解和处理文本数据。2014年，被誉为21世纪最强大算法模型之一的GAN（GenerativeAdversarialNetworks，对抗式生成网络）诞生，标志着深度学习进入了生成模型研究的新阶段2017年，Google颠覆性地提出了基于自注意力机制的神经网络结构——Transformer架构，奠定了大模型预训练算法架构的基础2018年，OpenAI基于Transformer架构发布了GPT-1大模型，意味着预训练大模型成为自然语言处理领域的主流，其中，GPT的英文全称是GenerativePre-TrainedTransformer，是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型2019年，OpenAI发布了GPT-27.1.3大模型的发展历程爆发期（2020-至今）这是一个以GPT为代表的预训练大模型阶段2020年6月，OpenAI公司推出了GPT-3，模型参数规模达到了1750亿，成为当时最大的语言模型，并且在零样本学习任务上实现了巨大性能提升。随后，更多策略如基于人类反馈的强化学习（RLHF，ReinforcementLearningfromHumanFeedback）、代码预训练、指令微调等开始出现，被用于进一步提高推理能力和任务泛化2022年11月，搭载了GPT3.5的ChatGPT（ChatGenerativePre-trainedTransformer）横空出世，凭借逼真的自然语言交互与多场景内容生成能力，迅速引爆互联网，在全球范围内引起轰动，使得大模型的概念迅速进入普通大众的视野。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务7.1.3大模型的发展历程爆发期（2020-至今）OpenAI在2023年3月发布了GPT-4，它是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力。2023年12月，谷歌发布大模型Gemini，它可以同时识别文本、图像、音频、视频和代码五种类型信息，还可以理解并生成主流编程语言（如Python、Java、C++）的高质量代码，并拥有全面的安全性评估7.1.3大模型的发展历程人工智能包含了机器学习，机器学习包含了深度学习，深度学习可以采用不同的模型，其中一种模型是预训练模型，预训练模型包含了预训练大模型（可以简称为“大模型”），预训练大模型包含了预训练大语言模型（可以简称为“大语言模型”），预训练大语言模型的典型代表包括OpenAI的GPT和百度的文心ERNIE，ChatGPT是基于GPT开发的大模型产品，文心一言是基于文心ERNIE开发的大模型产品7.1.4人工智能与大模型的关系人工智能和大模型是相互关联的。人工智能是研究和开发使机器能够模仿人类智能行为的技术和方法的学科，包括机器学习、自然语言处理、计算机视觉等。而大模型则是指训练过程中使用了大量数据和参数的模型，这些模型包含了大量的知识和规则，能够更好地模拟人类智能行为为了提高人工智能系统的性能，研究者们不断尝试使用更大的模型来提高准确率和效果。例如，近年来非常热门的Transformer模型，就是一种大模型，它在自然语言处理领域取得了很多突破性进展。大模型的使用能够帮助人工智能系统更好地理解语义、提高处理能力和决策准确性人工智能的发展也推动了大模型的发展大模型的出现，使得人工智能技术得到了更广泛的应用。在许多领域，如自然语言处理、图像识别、语音识别等，大模型都能够提供更准确、更高效的处理能力。例如，在自然语言处理领域，大模型可以通过学习大量的文本数据，自动提取出文本中的语义信息，从而实现对文本的自动分类、情感分析、问答等任务。随着数据量的不断增加和计算能力的不断提升，大模型能够处理的数据量和处理速度也在不断提升。这使得人工智能技术能够更好地应对各种复杂的问题和挑战，进一步推动了人工智能技术的发展大模型是人工智能技术发展的重要推动力7.1.4人工智能与大模型的关系大模型在人工智能领域的重要性大模型的展示可以让更多的人了解人工智能技术的潜力和影响力，从而增加公众对人工智能技术的信任和支持。这也可以为人工智能行业争取更多的政策支持和资源投入增加公众对人工智能技术的信任和支持大模型作为人工智能技术的重要组成部分，展示了人工智能技术的最新进展和趋势。这些新技术和模型的应用场景可能会更加广泛，效果也可能会更好，从而推动人工智能技术的进步推动人工智能技术的进步大模型能够使用大量的数据和强大的计算资源，学习到数据中的复杂特征和规律，从而在各种任务中表现出色。这使得人工智能技术在各个领域的应用效果得到了显著的提升提升人工智能的应用效果大模型的展示能够吸引更多的投资者和用户关注人工智能行业，从而加速行业的发展。同时，大模型也可以促进人工智能领域的交流和合作，从而推动整个行业的发展促进人工智能行业的发展7.1.5大模型在人工智能领域的重要性02大模型产品ParttwoChatGPTChatGPT是一种由OpenAI训练的大语言模型。它是基于Transformer架构，经过大量文本数据训练而成，能够生成自然、流畅的语言，并具备回答问题、生成文本、语言翻译等多种功能ChatGPT的应用范围广泛，可以用于客服、问答系统、对话生成、文本生成等领域。它能够理解人类语言，并能够回答各种问题，提供相关的知识和信息。与其他聊天机器人相比，ChatGPT具备更强的语言理解和生成能力，能够更自然地与人类交流，并且能够更好地适应不同的领域和场景。ChatGPT的训练数据来自互联网上的大量文本，因此，它能够涵盖多种语言风格和文化背景7.2.1国外的大模型产品GeminiGemini是谷歌发布的大模型，它能够同时处理多种类型的数据和任务，覆盖文本、图像、音频、视频等多个领域。Gemini采用了全新的架构，将多模态编码器和多模态解码器两个主要组件结合在一起，以提供最佳结果Gemini包括三种不同规模的模型：GeminiUltra、GeminiPro和GeminiNano，适用于不同任务和设备。2023年12月6日，Gemini的初始版本已在Bard中提供，开发人员版本可通过GoogleCloud的API获得。Gemini可以应用于Bard和Pixel8Pro智能手机。Gemini的应用范围广泛，包括问题回答、摘要生成、翻译、字幕生成、情感分析等任务。然而，由于其复杂性和黑箱性质，Gemini的可解释性仍然是一个挑战7.2.1国外的大模型产品Sora2024年2月16日，OpenAI再次震撼全球科技界，发布了名为Sora的文本生成视频大模型，只需输入文本就能自动生成视频。这一技术的诞生，不仅标志着人工智能在视频生成领域的重大突破，更引发了关于人工智能发展对人类未来影响的深刻思考。随着Sora的发布，人工智能似乎正式踏入了通用人工智能（AGI：ArtificialGeneralIntelligence）的时代。AGI是指能够像人类一样进行各种智能活动的机器智能，包括理解语言、识别图像、进行复杂推理等。Sora大模型能够直接输出长达60秒的视频，并且视频中包含了高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。这种能力已经超越了简单的图像或文本生成，开始触及到视频这一更加复杂和动态的媒介。这意味着人工智能不仅在处理静态信息上越来越强大，而且在动态内容的创造上也展现出了惊人的潜力7.2.1国外的大模型产品Sora右图是Sora根据文本自动生成的视频画面，一位戴着墨镜、穿着皮衣的时尚女子走在雨后夜晚的东京市区街道上，抹了鲜艳唇彩的唇角微微翘起，即便带着墨镜也能看到她的微笑，地面的积水映出了她的身影和灯红酒绿的霓虹灯，热闹非凡的唐人街正在进行舞龙表演，熙熙攘攘的人群目光都聚焦在跃动的彩龙身上，整个环境的喜庆氛围仿佛令人身临其境7.2.1国外的大模型产品7.2.1国外的大模型产品OpenAIo32024年12月20日，OpenAI发布推理模型o3，无论在软件工程、编写代码，还是竞赛数学、掌握人类博士级别的自然科学知识能力方面，o3都达到了很高的水平7.2.1国外的大模型产品Grok4Grok4是马斯克旗下xAI团队于2025年7月10日发布的大模型，性能卓越，在人类最后考试（HLE）中纯文本模式准确率26.9%，启用工具后达41.0%，Grok4Heavy在“重思考”模式下更是达到58.3%，在ARC-AGI-2挑战赛中得分创纪录，AIME25美国数学邀请赛中Grok4Heavy获满分，智能指数73分，领先GPT-411分；它具备多智能体协同机制，面对问题可分裂出5-8个智能体，从不同视角推导，通过““思维链共享”交换推理路径，整合最优解法；其以最大化寻求真相为使命，面对敏感问题会呈现多方论证，推理附带信源溯源标签，结论不确定时会明确标注；该模型由20万张H100GPU训练而成，推理专项训练量较Grok2暴增100倍，可用于黑洞模拟、游戏开发、商业决策模拟、生物医药研发、法律文书生成等场景。7.2.1国外的大模型产品GPT-52025年8月8日，OpenAI发布了最新一代大模型GPT-5。OpenAI首席执行官奥特曼对GPT-5给出了极高评价，称其是“此前所有模型的巨大飞跃”。GPT-5最核心的亮点是，它并非单一的语言或者推理模型，而是整合了GPT系列（大语言模型）和o系列（推理模型），具备调度子模型的能力，这意味着用户在使用时不再需要手动切换各类不同的模型。据OpenAI公开的测试数据，GPT-5在数学、编程、视觉感知和健康等领域，都表现出了顶尖性能，全部大幅度超越前代，成为目前最强大模型。7.2.2国内的大模型产品大模型图标指标排名DeepSeek

能力测评第一豆包

用户数量第一Kimi

文本处理第一即梦AI

作图能力第一通义万相

视频生成第一智谱清言

文档归纳第一2025年1月国内大模型排行榜7.2.2国内的大模型产品DeepSeek（深度求索）2024年12月26日，杭州一家名为“深度求索”（DeepSeek）的中国初创公司，发布了全新一代大模型DeepSeek-V3。在多个基准测试中，DeepSeek-V3的性能均超越了其他开源模型，甚至与顶尖的闭源大模型GPT-4o不相上下，尤其在数学推理上，DeepSeek-V3更是遥遥领先。DeepSeek-V3以多项开创性技术，大幅提升了模型的性能和训练效率。DeepSeek-V3在性能比肩GPT-4o的同时，研发却只花了558万美元，训练成本不到后者的二十分之一。因为表现太过优越，DeepSeek在硅谷被誉为“来自东方的神秘力量”。2025年1月20日，DeepSeek-R1正式发布，拥有卓越的性能，在数学、代码和推理任务上可与OpenAIo1媲美。DeepSeek创始人梁文峰通义千问通义千问是阿里云推出的一个超大规模的语言模型，它具备多轮对话、文案创作、逻辑推理、多模态理解、多语言支持的能力。通义千问这个名字有“通义”和“千问”两层含义，“通义”表示这个模型能够理解各种语言的含义，“千问”则表示这个模型能够回答各种问题。通义千问基于深度学习技术，通过对大量文本数据进行训练，从而具备了强大的语言理解和生成能力。它能够理解自然语言，并能够生成自然语言文本同时，通义千问还具备多模态理解能力，能够处理图像、音频等多种类型的数据。通义千问的应用范围非常广泛，可以应用于智能客服、智能家居、移动应用等多个领域。它可以与用户进行自然语言交互，帮助用户解决各种问题，提供相关的知识和信息。同时，通义千问还可以与各种设备和应用进行集成，为用户提供更加便捷的服务7.2.2国内的大模型产品7.2.2国内的大模型产品豆包字节跳动的豆包大模型是一款多模态大模型家族，包括通用、语音识别、语音合成等多种模型。它日均处理1200亿Token文本（Token是大模型底层处理数据的基本单位），生成3000万张图片，通过火山引擎对外提供服务。该模型广泛应用于企业智能化转型，助力多行业场景落地，是字节跳动在AI领域的重要布局。KimiKimi是北京月之暗面科技有限公司于2023年10月9日推出的一款智能助手。Kimi主要有6项功能：长文总结和生成、联网搜索、数据处理、编写代码、用户交互、翻译。主要应用场景为专业学术论文的翻译和理解、辅助分析法律问题、快速理解API开发文档等，是全球首个支持输入20万汉字的智能助手产品。2025年7月11日，KimiK2大模型发布，在多项基准性能测试中表现优异，展现出在自主编程、智能体工具调用和数学推理等方面的领先能力，上线一周后便登顶全球开源模型榜单，在开闭源总榜上排名第五。文心一言文心一言是由百度研发的知识增强大模型，能够与人对话互动、回答问题、协助创作，高效便捷地帮助人们获取信息、知识和灵感文心一言基于飞桨深度学习平台和文心知识增强大模型，持续从海量数据和大规模知识中融合学习，具备知识增强、检索增强和对话增强的技术特色文心一言具有广泛的应用场景，例如智能客服、智能家居、移动应用等领域。它可以与用户进行自然语言交互，帮助用户解决各种问题，提供相关的知识和信息文心一言还可以与各种设备和应用进行集成，例如智能音箱、手机APP等，为用户提供更加便捷的服务。文心一言在深度学习领域有着重要的地位，它代表了人工智能技术的前沿水平，是百度在人工智能领域持续投入和创新的成果。文心一言的推出，不仅将为用户提供更加智能化和高效的服务，也将为人工智能行业的发展注入新的动力7.2.2国内的大模型产品讯飞星火认知大模型讯飞星火认知大模型是科大讯飞发布的一款强大的人工智能模型。它具有多种核心能力，包括文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力以及多模态能力。这些能力使得讯飞星火认知大模型能够处理各种复杂的语言任务，并为用户提供准确、高效的服务讯飞星火认知大模型采用了先进的技术和算法，能够快速地处理大量的数据，并从中提取有用的信息。这使得它能够更好地理解和处理复杂的语言信息，提高人机交互的效率和准确性数据收集和处理讯飞星火认知大模型已经被广泛应用于多个领域，如自然语言处理、计算机视觉、智能客服等。通过与各领域的专业知识和经验相结合，讯飞星火认知大模型能够提供更加精准和个性化的服务，提高各行各业的工作效率和质量应用7.2.2国内的大模型产品讯飞星火认知大模型讯飞星火认知大模型还注重可解释性和公平性。通过改进算法和技术，它能够提供更加清晰和准确的决策依据，减少偏见和不公平现象。同时，它还具备强大的自适应学习能力，能够不断适应新的任务和环境，提高自身的性能和表现7.2.2国内的大模型产品腾讯混元大模型腾讯混元大模型是由腾讯全链路自研的通用大语言模型，具备强大的中文创作能力、复杂语境下的逻辑推理能力以及可靠的任务执行能力具备上下文理解和长文记忆能力，流畅完成各专业领域的多轮问答01支持文学创作、文本概要和角色扮演02准确理解用户意图，基于输入数据或信息进行推理、分析03有效解决事实性、时效性问题，提升内容生成效果04多轮对话内容创作逻辑推理知识增强7.2.2国内的大模型产品华为盘古大模型华为盘古大模型是华为云推出的一个大语言模型，旨在提供更加智能化、高效化的语言交互体验。它基于深度学习技术，通过对大量文本数据进行训练，从而具备了强大的语言理解和生成能力。华为盘古大模型采用了先进的架构和技术，包括Transformer、BERT等模型架构以及注意力机制、自注意力机制等先进的神经网络技术它还采用了多模态学习技术，能够处理文本、图像、音频等多种类型的数据。这使得它能够更好地理解和处理复杂的语言信息，提高人机交互的效率和准确性华为盘古大模型的应用范围非常广泛，可以应用于智能客服、智能家居、移动应用等多个领域。它可以与用户进行自然语言交互，帮助用户解决各种问题，提供相关的知识和信息。同时，它还可以与各种设备和应用进行集成，为用户提供更加便捷的服务7.2.2国内的大模型产品03大模型的基本原理Partthree大模型是基于Transformer架构的，这种架构是一种专门用于自然语言处理的“编码-解码器”架构。在训练过程中，大模型将输入的单词以向量的形式传递给神经网络，然后通过网络的编码解码以及自注意力机制，建立起每个单词之间联系的权重。大模型的核心能力在于将输入的每句话中的每个单词与已经编码在模型中的单词进行相关性的计算，并把相关性又编码叠加在每个单词中。这样，大模型能够更好地理解和生成自然文本，同时还能够表现出一定的逻辑思维和推理能力大模型基于深度学习利用大量的数据和计算资源训练具有大量参数的神经网络模型不断地调整模型参数模型能够在各种任务中取得最佳表现7.3.1原理概述大模型的学习主要依赖于大量的文本数据。这些数据可以来自互联网、书籍、文章等各种来源。通过对这些数据进行训练，大模型能够学习到自然语言的统计规律和模式数据驱动大模型通常使用深度学习中的神经网络，尤其是Transformer结构。这种结构特别适合于处理序列数据（比如文本）。神经网络由多层的神经元组成，每一层都会对数据进行一定的转换和处理神经网络在Transformer架构中，编码器和解码器是两个核心组件。编码器负责将输入的文本转换为一种内部表示，而解码器则负责将这种内部表示转换回文本编码-解码过程这是Transformer的一个关键特性，允许模型在处理文本时考虑到每个单词与其他单词的关系。通过计算每个单词与其他所有单词的关联度，模型能够捕捉到文本中的复杂依赖关系自注意力机制大模型的训练通常使用梯度下降等优化算法。在训练过程中，模型会不断地调整其内部的参数，以最小化预测结果与实际结果之间的差异训练和优化一旦训练完成，大模型就能够对新的、未见过的文本进行理解和生成。这种能力使得大模型在各种自然语言处理任务中表现出色，如机器翻译、文本摘要、问答系统等泛化能力7.3.1原理概述7.3.2大模型训练的实例演示“厦门大学是一所具有光荣传统的大学”会被切分成8个Token，即“厦门”、“大学”、“是”、“一所”、“具有”、“光荣”、“传统”、“的”、“大学”。大模型是无法识别文本类型的数据的，它只能识别数值型数据（比如1,2,3,0.3,0.9等）。因此，需要采用“词向量化”技术把单词转化为向量。一维向量[2]，二维向量[0.1,8]，三维向量[2,0.4,9]“厦门”被转化成向量[0.3,8,2.5]，“大学”被转化成向量[2,1.3,7]。这种转化的数学本质就是，把每个单词都映射到一个三维数学空间中目前的主流大模型中，每个Token都是被映射到1000维以上的高维空间中7.3.2大模型训练的实例演示04大模型的特点Partfour（1）巨大的规模大模型通常包含数十亿个参数，模型大小可以达到数百GB甚至更大。这种巨大的规模不仅提供了强大的表达能力和学习能力，还使得大模型在处理复杂任务时具有更高的效率和准确性7.4大模型的特点（2）涌现能力涌现能力是指模型在训练过程中突然展现出之前小模型所没有的、更深层次的复杂特性和能力。当模型的训练数据突破一定规模时，模型能够综合分析和解决更深层次的问题，展现出类似人类的思维和智能。这种涌现能力是大模型最显著的特点之一，也是其超越传统模型的关键所在大模型的涌现能力源于其巨大的规模和复杂的结构。这些模型包含数亿甚至数十亿个参数，能够捕捉到数据中的复杂模式和关系。在训练过程中，大模型通过不断优化参数，逐渐形成了一种高度协调和自适应的结构，从而产生了意想不到的特性和能力。这种涌现能力使得大模型在处理复杂任务时具有更高的效率和准确性。它们能够更好地理解和模拟现实世界中的各种复杂现象，并从中提取出更深层次的知识和规律。这种能力使得大模型在自然语言处理、图像识别、语音识别等领域中展现出了卓越的性能7.4大模型的特点（3）更好的性能和泛化能力大模型因其巨大的规模和复杂的结构，展现出更出色的性能和泛化能力。它们在各种任务上都能表现出色，超越了传统的小模型。这主要归功于大模型的参数规模和学习能力。大模型能够更好地理解和模拟现实世界中的复杂现象，从而在各种任务中表现出更高的准确性和效率。它们能够捕捉到数据中的微妙差异和复杂模式，使得在未见过的数据上也能表现优秀，即具有良好的泛化能力（4）多任务学习大模型的多任务学习特点使其能够同时处理多种不同的任务，并从中学习到更广泛和泛化的语言理解能力。通过多任务学习，大模型可以在不同的NLP（NaturalLanguageProcessing）任务中进行训练，例如机器翻译、文本摘要、问答系统等。这种多任务学习的方式有助于大模型更好地理解和应用语言的规则和模式在多任务学习中，大模型可以共享参数和知识，使其在不同的任务之间建立联系，提高模型的泛化能力。通过多任务学习，大模型能够从多个领域的数据中学习知识，并在不同领域中进行应用。这有助于促进跨领域的创新，使得大模型在自然语言处理、图像识别、语音识别等领域中展现出卓越的性能7.4大模型的特点（5）大数据训练大模型需要大规模的数据来训练，通常在TB级别甚至PB级别。这是因为大模型拥有数亿甚至数十亿的参数，需要大量的数据来提供足够的信息供模型学习和优化。只有大规模的数据才能让大模型的参数规模发挥优势，提高模型的泛化能力和性能。同时，大数据训练也是保证大模型能够处理复杂任务的关键。通过使用大规模数据，大模型能够更好地理解数据中的复杂模式和关系，从而更好地模拟现实世界中的各种现象（6）强大的计算资源大模型需要强大的计算资源来训练和运行。由于模型规模庞大，参数数量众多，计算复杂度极高，因此需要高性能的硬件设备来支持。通常，训练大模型需要使用GPU（GraphicsProcessingUnit，图形处理器）或TPU（TensorProcessingUnit，张量处理器）等专用加速器来提高计算效率。这些加速器能够并行处理大量的参数和数据，使得大模型的训练和推断速度更快。除了硬件设备，大模型的训练还需要大量的时间。由于模型参数众多，训练过程中需要进行大量的迭代和优化，因此，训练周期可能长达数周甚至数月7.4大模型的特点（7）迁移学习和预训练通过在大规模数据上进行预训练，大模型能够学习到丰富的语言知识和模式，从而在各种任务上展现出卓越的性能。迁移学习和预训练有助于大模型更好地适应特定任务在大规模数据上进行预训练后，大模型可以在特定任务的数据上进行微调，从而更好地适应目标任务的特性和要求。这种微调过程可以帮助大模型更好地理解和处理目标任务的特定问题，进一步提高模型的性能在特定任务的数据上进行微调迁移学习和预训练也有助于大模型实现跨领域的应用。通过在多个领域的数据上进行预训练，大模型可以学习到不同领域的知识和模式，并在不同领域中进行应用。这种跨领域的应用能力，有助于大模型更好地服务于实际需求，推动人工智能技术的创新和发展跨领域的应用能力7.4大模型的特点（8）自监督学习自监督学习利用大规模未标记数据进行训练，通过从数据中挖掘内在的规律和模式，使模型能够自动地理解和预测数据中的信息。在大规模的未标记数据中，大模型通过预测输入数据的标签或下一个时刻的状态来进行训练。这种训练方式使得大模型能够从大量的数据中自动地学习到语言的内在结构和模式，而不需要人工标注和干预自监督学习使得大模型能够更好地适应大规模未标记数据的处理，减少了对于人工标注的依赖，提高了训练的效率和泛化能力。同时，自监督学习也使得大模型能够更好地捕捉数据的内在结构和模式，进一步提高模型在处理复杂任务时的性能和准确性7.4大模型的特点（9）领域知识融合大模型通过领域知识融合，能够将不同领域的数据和知识融合在一起，从而更好地模拟现实世界中的复杂现象领域知识融合使得大模型能够从多个领域中学习到广泛的知识和模式，并将这些知识和模式整合到统一的框架中通过领域知识融合，大模型能够更好地理解不同领域之间的联系和共同规律，从而更好地处理复杂任务。这种能力有助于大模型在不同领域之间进行知识迁移和应用，促进跨领域的创新和发展7.4大模型的特点（10）自动化和效率大模型在应用中展现出高度的自动化和效率。由于大模型具有强大的表达能力和学习能力，它可以自动化许多复杂的任务，大大提高工作效率。大模型通过预训练和微调过程，能够自动地适应特定任务，而不需要过多的手工调整和干预。这使得大模型能够快速地应用于各种实际场景，并且自动地处理复杂的任务，如自动编程、自动翻译、自动摘要等大模型的自动化和效率还体现在其对大规模数据的处理能力上。大模型能够高效地处理TB级别甚至PB级别的数据，从中自动地提取出有用的信息和知识。这种高效的数据处理能力使得大模型在处理大规模数据时具有显著的优势，提高了数据处理和分析的效率7.4大模型的特点05大模型的分类Partfive语言大模型视觉大模型多模态大模型是指在自然语言处理（NaturalLanguageProcessing，NLP）领域中的一类大模型，通常用于处理文本数据和理解自然语言。这类大模型的主要特点是它们在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则。代表性产品包括GPT系列（OpenAI）、Bard（Google）、文心一言（百度）等是指在计算机视觉（ComputerVision，CV）领域中使用的大模型，通常用于图像处理和分析。这类模型通过在大规模图像数据上进行训练，可以实现各种视觉任务，如图像分类、目标检测、图像分割、姿态估计、人脸识别等。代表性产品包括VIT系列（Google）、文心UFO、华为盘古CV、INTERN（商汤）等是指能够处理多种不同类型数据的大模型，例如文本、图像、音频等多模态数据。这类模型结合了NLP和CV的能力，以实现对多模态信息的综合理解和分析，从而能够更全面地理解和处理复杂的数据。代表性产品包括DingoDB多模向量数据库（九章云极DataCanvas）、DALL-E(OpenAI)、悟空画画（华为）、midjourney等7.5.1

按照输入数据类型划分按照应用领域的不同，大模型主要可以分为L0、L1、L2三个层级是指可以在多个领域和任务上通用的大模型。它们利用大算力、使用海量的开放数据与具有巨量参数的深度学习算法，在大规模无标注数据上进行训练，以寻找特征并发现规律，进而形成可“举一反三”的强大泛化能力，可在不进行微调或少量微调的情况下完成多场景任务，相当于AI完成了“通识教育”通用大模型L0是指那些针对特定行业或领域的大模型。它们通常使用行业相关的数据进行预训练或微调，以提高在该领域的性能和准确度，相当于AI成为“行业专家”行业大模型L1是指那些针对特定任务或场景的大模型。它们通常使用任务相关的数据进行预训练或微调，以提高在该任务上的性能和效果垂直大模型L27.5.2

按照应用领域划分7.5.3大语言模型的分类大语言模型分为：通用大模型和推理大模型，二者不是彼此取代关系如果你需要完成数据分析、逻辑推理、代码生成等逻辑性较强且较为复杂的任务，请选择推理大模型如果你面临创意写作、文本生成、意图识别等发散性较强且较为创意多样的任务，请选择通用大模型特性推理大模型通用大模型适用场景复杂推理、解谜、数学、编码难题文本生成、翻译、摘要、基础知识问答复杂问题解决能力优秀，能进行深度思考和逻辑推理一般，难以处理多步骤的复杂问题运算效率较低，推理时间较长，资源消耗大较高，响应速度快，资源消耗相对较小幻觉风险较高，可能出现“过度思考”导致的错误答案较低，更依赖于已知的知识和模式泛化能力更强，能更好地适应新问题和未知场景相对较弱，更依赖于训练数据擅长任务举例解决复杂逻辑谜题，编写复杂算法，数学证明撰写新闻稿，翻译文章，生成产品描述，回答常识问题成本通常更高通常更低06大模型训练的硬件设施Partsix7.6大模型训练的硬件设施存储设备大容量硬盘固态硬盘分布式存储系统网络设备高速网络交换机光传输设备03服务器高性能服务器服务器集群02计算芯片GPU、TPU、ASIC010407大模型的成本Partseven大模型的成本涉及到多个方面，包括硬件设备、软件许可、数据收集和处理、人力资源以及运营和维护等（1）硬件设备成本大模型的训练和推理需要大量的计算资源，包括高性能的计算机、服务器、存储设备等。这些硬件设备的购置和维护成本通常较高。为了满足大模型的计算需求，需要购买或租赁大量的服务器和存储设备，并进行相应的硬件升级和维护GPT-3训练一次的成本约为140万美元，对于一些更大的大模型，训练成本更高，GPT-4的一次训练成本约为6300万美元。以ChatGPT在2023年1月的独立访客平均数1300万计算，其对应芯片需求为3万多片英伟达A100GPU，初始投入成本约为8亿美元，每日电费在5万美元左右7.7大模型的成本（2）软件许可成本大模型的训练和推理通常需要使用特定的软件和框架，如TensorFlow、PyTorch等。这些软件通常需要购买许可证或订阅服务，这也会增加大模型的训练成本（3）数据收集和处理成本大模型的训练需要大量的标记数据。数据的收集、清洗、标注和处理都需要投入大量的人力、物力和时间成本。此外，为了确保数据的准确性和有效性，还需要进行数据验证和校验，这也增加了数据处理的成本（4）人力资源成本大模型的训练和推理需要专业的团队进行维护和优化。这包括数据科学家、机器学习工程师、运维人员等。这些人员需要具备专业的技能和经验，因此，人力资源成本也是大模型成本的重要组成部分（5）运营和维护成本大模型的运营和维护也需要投入成本。这包括模型的部署、监控、调优、更新等。为了确保模型的稳定性和性能，需要进行持续的维护和优化，这也增加了运营和维护的成本7.7大模型的成本08大模型的应用领域Parteight大模型的应用领域非常广泛，涵盖了自然语言处理、计算机视觉、语音识别、推荐系统、医疗健康、金融风控、工业制造、生物信息学、自动驾驶、气候研究等多个领域（1）自然语言处理大模型在自然语言处理领域具有重要的应用，可以用于文本生成（如文章、小说、新闻等的创作）、翻译系统（能够实现高质量的跨语言翻译）、问答系统（能够回答用户提出的问题）、情感分析（用于判断文本中的情感倾向）、语言生成（如聊天机器人）等（2）计算机视觉大模型在计算机视觉领域也有广泛应用，可以用于图像分类（识别图像中的物体和场景）、目标检测（能够定位并识别图像中的特定物体）、图像生成（如风格迁移、图像超分辨率增强）、人脸识别（用于安全验证和身份识别）、医学影像分析（辅助医生诊断疾病）等7.8大模型的应用领域（3）语音识别大模型在语音识别领域也有应用，如语音识别、语音合成等。通过学习大量的语音数据，大模型可以实现高质量的跨语言翻译和语音识别以及生成自然语音（4）推荐系统大模型可以用于个性化推荐、广告推荐等任务。通过分析用户的历史行为和兴趣偏好，大模型可以为用户提供个性化的推荐服务，提高用户满意度和转化率7.8大模型的应用领域大模型可以用于自动驾驶中的感知、决策等任务。通过学习大量的驾驶数据，大模型可以实现对车辆周围环境的感知和识别，以及进行决策和控制，提高自动驾驶的安全性和效率自动驾驶大模型可以用于医疗影像诊断、疾病预测等任务。通过学习大量的医学影像数据，大模型可以辅助医生进行疾病诊断和治疗方案制定，提高医疗水平和效率医疗健康大模型可以用于信用评估、欺诈检测等任务。通过分析大量的金融数据，大模型可以评估用户的信用等级和风险水平，以及检测欺诈行为，提高金融系统的安全性和稳定性金融风控7.8大模型的应用领域工业制造大模型可以用于质量控制、故障诊断等任务。通过学习大量的工业制造数据，大模型可以辅助工程师进行产品质量控制和故障诊断，提高生产效率和产品质量气候研究在气候研究领域，大模型可以处理气象数据，进行天气预测和气候模拟。它们能够分析复杂的气象现象，提供准确的气象预报，帮助人们做出应对气候变化的决策生物信息学在生物信息学领域，大模型可以用于基因序列分析（识别基因中的功能元件和变异位点）、蛋白质结构预测（推测蛋白质的二级和三级结构）、药物研发（预测分子与靶点的相互作用）等7.8大模型的应用领域09大模型对人们工作和生活的影响Partnine提高工作效率大模型在自然语言处理、机器翻译等领域的应用，使得人们能够快速、准确地处理大量文本数据，提高工作效率。例如，在翻译领域，大模型能够自动翻译多种语言，减少人工翻译的时间和成本，提高翻译效率优化决策过程大模型能够收集、整理和分析大量的数据，通过数据挖掘和机器学习技术，帮助人们更准确地了解问题现状，预测未来趋势，从而做出更明智的决策自动化部分工作大模型的发展使得一些繁琐、重复的工作可以由机器来完成，从而减轻了人们的工作负担。例如，在金融领域，大模型可以自动分析大量的金融数据，帮助人们做出更准确的决策创造新的就业机会随着大模型的普及和应用，将创造出许多新的就业机会。例如，需要更多的人来开发和维护大模型，也需要更多的人来利用大模型进行各种应用开发7.9.1

大模型对工作的影响大模型在智能家居、智能客服等领域的应用，使得人们的生活更加便利、舒适。例如，通过智能家居系统，人们可以通过语音指令控制家电，实现智能化生活改善生活质量大模型在教育领域的应用，可以帮助人们更高效地学习新知识。例如，通过大模型的智能推荐功能，人们可以根据自己的兴趣和需求，获取更加个性化的学习资源提高学习效率大模型在娱乐领域的应用，可以提供更加丰富、多样的娱乐体验。例如，通过大模型的语音识别功能，人们可以通过语音指令控制游戏，实现更加智能化的游戏体验增强娱乐体验7.9.2大模型对生活的影响10大模型的挑战与未来发展Partten大模型在人工智能领域的应用带来了显著的进步和便利，但同时也面临着一些挑战可解释性训练时间和数据量资源消耗数据隐私和安全模型泛化能力公平性和偏见大模型的挑战7.10.1大模型的挑战大模型幻觉（1）资源消耗大模型通常需要大量的计算资源和存储空间。训练大模型需要高性能的计算机集群以及大量的存储空间，来存储训练过程中的数据和模型参数。这使得大模型的训练和部署成本较高，限制了其在一些资源有限的环境中的应用。此外，大模型训练和使用过程也带来了大量水资源的消耗，以ChatGPT为例，一个用户和ChatGPT聊天可能会消耗500毫升的水。大模型需要大量的计算能力和数据处理，这会涉及到庞大的机房、服务器和数据中心，而这些机房和服务器需要进行冷却来保持正常运行，而冷却又需要大量的水资源。这个过程中，水通过散热器冷却这些设备，带走了设备工作时产生的热量，以保证设备的正常运行（2）训练时间和数据量大模型的训练需要大量的时间和数据。通常，训练一个大型神经网络需要数周甚至数月的时间，这取决于模型的复杂度、计算能力和可用数据量。此外，为了获得更好的性能，大模型通常需要大量的标记数据来训练。这不仅增加了训练成本，还限制了其在缺乏足够数据的环境中的应用7.10.1大模型的挑战大模型的训练和使用，可能引入公平性和偏见问题。如果训练数据中存在偏见或不公平因素，那么，模型的输出也可能受到这些因素的影响。这可能导致不公平的决策或偏见的结果。因此，在大模型的训练和使用过程中，需要考虑公平性和偏见问题，并采取相应的措施来减少这些影响公平性和偏见大模型的复杂性和黑箱性质，使得其决策和预测的依据难以解释。这使得在某些领域，如医疗、金融等，大模型的应用受到限制。人们往往需要知道模型做出决策的原因，而不仅仅是结果。因此，提高大模型的可解释性是一个重要的挑战可解释性在训练和使用大模型的过程中，需要处理大量的个人数据。如何保证数据的安全和隐私是一个重要的挑战。一旦数据泄露或被滥用，将对个人隐私和企业声誉造成严重损害。因此，在大模型的训练和使用过程中，需要采取严格的数据保护措施，确保数据的安全和隐私数据隐私和安全尽管大模型在特定任务上表现出色，但其泛化能力仍然是一个挑战。在某些情况下，大模型可能过于复杂，导致过拟合，即过度拟合训练数据，而无法泛化到新数据。此外，当任务发生变化时，大模型可能需要重新训练或调整参数，这增加了其应用和维护的成本模型泛化能力7.10.1大模型的挑战大模型是个概率模型，用它生成的内容具有不确定性。大模型幻觉，用一种形象的说法就是“大模型一本正经的胡说八道”，准确地说，是指大模型生成的内容与现实世界事实或用户输入不一致的现象。目前研究人员也在积极研究消除大模型幻觉的相关技术，比如，检索增强生成（Retrieval-augmentedGeneration），简称RAG，就是当下热门的大模型前沿技术之一大模型幻觉7.10.1大模型的挑战大模型将继续在自然语言处理、计算机视觉等领域发挥重要作用。随着数据量的不断增加和计算能力的提升，大模型将能够更好地理解和处理复杂的语言和图像信息，提高人机交互的效率和准确性大模型将在医疗、金融、教育等更多领域得到应用。通过与各领域的专业知识和经验相结合，大模型将能够提供更加精准和个性化的服务，提高各行各业的工作效率和质量随着技术的不断进步，大模型将更加注重可解释性和公平性。通过改进算法和技术，大模型将能够提供更加清晰和准确的决策依据，减少偏见和不公平现象随着云计算、边缘计算等技术的发展，大模型的训练和推理将更加高效和便捷。这些技术将使得大模型能够在更多设备上运行，扩展其应用范围随着全球人工智能研究的不断深入和发展，大模型将成为人工智能领域的重要基石。它将与其他技术相结合，推动人工智能技术的不断创新和发展04050301027.10.2大模型的未来发展11大模型实战案例Parteleven7.11.1为什么需要本地部署大模型离线与高效使用定制化与灵活性数据隐私与安全性成本与资源优化避免使用限制本地部署大模型7.11.2DeepSeekR1简介在DeepSeek出现之前，很多市场上的大模型产品都是“贵族”模型，“段位”很高，通常需要依赖高端的硬件，配置大量的GPU，普通个人计算机一般很难运行大模型012025年1月20日，我国杭州深度求索公司的DeepSeekR1大模型正式发布，它是一个基于深度学习的推荐系统模型，通常用于处理推荐任务，如商品推荐、内容推荐等。DeepseekR1的发布，标志着大模型产品的“平民”时代已经到来，它大大降低了对计算机硬件的要求，可以部署在普通的个人计算机上，甚至部署在手机等便携式设备中02DeepSeekR1可以满足用户的数据隐私需求，本地部署能将所有数据运算都限制在本地，数据不会上传至云端，可有效避免数据传输和存储在云端可能带来的隐私泄露风险，满足用户对数据安全和隐私保护的要求。DeepSeekR1还可以满足定制需求，用户可以根据自己的需求对模型进行自定义知识库训练，进一步提升模型在特定领域的性能037.11.3在本地计算机部署DeepSeekR1安装Ollama下载DeepSeekR1运行DeepSeekR1使用OpenWebUI增强交互体验具体安装过程请参考厦门大学数据库实验室博客/blog/5816/大模型是人工智能领域的重要研究方向，其强大的语言理解和生成能力使得它在自然语言处理、机器翻译、智能客服等领域有着广泛的应用。大模型的训练需要大量的数据和计算资源，同时也需要先进的技术和算法支持。随着技术的不断发展，大模型的应用场景也在不断扩展，未来将会更加广泛地应用于各个领域7.12

本章小结林子雨副教授谢谢观看！厦门大学附录A：主讲教师林子雨简介单位：厦门大学计算机科学与技术系E-mail:ziyulin@个人网页：/post/linziyu数据库实验室网站：主讲教师：林子雨林子雨，男，1978年出生，博士（毕业于北京大学），全国高校知名大数据教师，入选“2021年高校计算机专业优秀教师奖励计划”。现为厦门大学计算机科学与技术系副教授，厦门大学信息学院实验教学中心主任，曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会执行委员，中国计算机学会信息系统专业委员会执行委员。国内高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，2013年度、2017年度、2020年度和2023年度厦门大学教学类奖教金获得者，荣获2024年福建省高等教育教学成果奖特等奖（个人排名第七）、2022年福建省高等教育教学成果奖特等奖（个人排名第一）、2018年福建省高等教育教学成果奖二等奖（个人排名第一）、2018年国家精品在线开放课程、2021年国家级线上一流本科课程、2020年国家级线上一流本科课程。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049)，主持的教改课题包括1项2016年福建省教改课题、1项2016年教育部产学协作育人项目、1项2024年教育部产学协作育人项目。编著出版了《大数据技术原理与应用》等18本大数据与人工智能系列教材，被国内1000多所高校采用；建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供全方位、一站式服务，年访问量超过400万次，累计访问量超过2800万次。大数据系列MOOC课程入选“2023年教育部国家智慧教育公共服务平台应用典型案例”。附录B：大数据学习路线图大数据学习路线图访问地址:/post/10164/附录C：林子雨大数据系列教材了解全部教材信息:/post/bigdatabook/附录D：《人工智能通识教程》林子雨

主编《人工智能通识教程》人民邮电出版社ISBN:978-7-04-064880-52025年6月第1版，定价：39.9元

教材官网：/post/ai/本书详细阐述了培养具有人工智能（AI）素养的综合型人才所需要的相关知识储备。作为通识类课程教材，本书在确定知识布局时，紧紧围绕通识教育核心理念，系统介绍人工智能相关知识，努力培养学生的AI思维和AI能力。全书共9章，内容包括信息与计算机基础、人工智能概述、人工智能与其他新兴技术的关系、大模型：人工智能的前沿、智能体、具身智能、AIGC应用与实践、AI智能办公、人工智能伦理等。本书以“零代码”学习人工智能为原则，使用AIGC工具解决学习、工作、生活中的各种问题。书中包含了大量生动、有趣、实用的实战案例，可以让读者切身感受人工智能的强大功能，培养读者使用AI工具解决实际问题的能力。厦门大学数据库实验室和金山WPS校企合作教材附录E：《数字素养通识教程》林子雨编著《数字素养通识教程——大数据与人工智能时代的计算机通识教育》人民邮电出版社ISBN:978-7-115-65946-02025年1月第1版，定价：59.8元

教材官网：/post/digital-literacy/15年计算机教学生涯感悟升华，15本计算机畅销教材知识凝练数字时代的大学计算机公共课教材，重构大学计算机公共课知识体系深刻变革传统大学计算机通识教育，培养学生计算思维、数据思维和AI思维附录F：《大数据导论（通识课版，第2版）》教材高等教育出版社

2024年7月第2版ISBN：978-7-04-062466-3定价：39.50元

教材官方网站:/post/bigdataintroduction2/0503020104引导学生步入大数据时代，积极投身大数据的变革浪潮之中了解大数据概念，培养大数据思维，养成数据安全意识认识大数据伦理，努力使自己的行为符合大数据伦理规范要求熟悉大数据应用，探寻大数据与自己专业的应用结合点激发学生基于大数据的创新创业热情开设全校公共选修课的优质教材，本课程旨在实现以下几个培养目标：附录G：《大数据与人工智能导论（通识课版）》《大数据与人工智能导论（通识课版）》版次：2025年1月第1版林子雨

编著，人民邮电出版社

ISBN:978-7-115-65696-4定价：59.8元

教材官网：/post/bigdata-ai-introduction/本书详细阐述了培养具有数字素养的综合型人才所需要的相关知识储备。作为通识类课程教材，本书在确定知识布局时，紧紧围绕通识教育核心理念，系统介绍大数据、云计算、物联网、人工智能、区块链、元宇宙等技术的相关知识，努力培养学生的数字素养。全书共9章，内容包括大数据概述、大数据技术、大数据应用、大数据基础知识、人工智能、大模型：人工智能的前沿、AIGC应用与实践、新兴数字技术、新兴数字技术的伦理问题。为了避免陷入空洞的理论介绍，本书在很多章节都融入了丰富的案例，这些案例就发生在我们生活的数字时代，很具有代表性和说服力，能够让学生直观感受相应理论的具体内涵。附录H：《大数据导论（第2版）》教材林子雨编著《大数据导论（第2版）》人民邮电出版社

ISBN：978-7-115-64185-4定价：59.80元2024年7月教材官方网站:/post/bigdata-introduction2/开设大数据专业导论课的优质教材，本书详细阐述了培养复合型大数据专业人才所需要的大数据相关知识。全书共10章，内容包括：大数据概述大数据与其他新兴技术的关系大数据基础知识大数据应用大数据硬件环境数据采集与预处理数据存储与管理数据处理与分析数据可视化大数据分析综合案例在大数据基础知识部分，本书详细介绍了与培养学生的数据素养相关的知识，包括大数据安全、大数据思维、大数据伦理、数据共享、数据开放和大数据交易。附录I：《大数据技术原理与应用（第4版）》教材《大数据技术原理与应用——概念、存储、处理、分析与应用（第4版）》林子雨编著，人民邮电出版社

ISBN:978-7-115-64181-6定价：65元2024年8月教材官方网站:/post/bigdata4国内高校第一本系统介绍大数据知识的专业教材，本书系统介绍大数据的相关知识，分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共14章，内容包含：本书在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等相关章安排了入门级的实验，以便读者能更好地学习和掌握大数据的关键技术。大数据概述大数据处理架构Hadoop分布式文件系统HDFS分布式数据库HBaseNoSQL数据库云数据库MapReduceHadoop再探讨数据仓库HiveSpark流计算Flink图计算大数据应用附录J：《大数据基础编程、实验和案例教程（第3版）》与《大数据技术原理与应用（第4版）》教材配套的唯一指定实验指导书林子雨编著，清华大学出版社

ISBN:978-7-302-66922-7

定价：69元

2024年8月第3版《大数据基础编程、实验和案例教程（第3版）》深入浅出，去粗取精，丰富的代码实例帮助快速掌握大数据基础编程方法步步引导，循序渐进，详尽的安装指南为顺利搭建大数据实验环境铺平道路0102精心设计，巧妙融合，八套大数据实验题目促进理论与编程知识的消化和吸收03结合理论，联系实际，大数据课程综合实验案例精彩呈现大数据分析全流程04附录K：《数据采集与预处理（第2版）》详细阐述了大数据领域数据采集与预处理的相关理论和技术林子雨编著，人民邮电出版社2025年1月

978-7-115-65728-2

定价：69.80元教材官网：/post/data-collection2/全书共8章，内容包括：概述大数据实验环境搭建网络数据采集分布式消息系统Kafka日志采集系统Flume数据仓库中的数据集成ETL工具Kettle使用pandas进行数据清洗本书在网络数据采集、Kafka、Flume、Kettle、pandas等重要章节安排了丰富的实践操作，以便读者更好地学习和掌握数据采集与预处理的关键技术。附录L：《Python程序设计基础教程（微课版）》教材：林子雨，赵江声，陶继平.《Python程序设计基础教程（微课版）》人民邮电出版社,2022年2月.教材官网（获取讲义PPT、代码等）：

/post/python/

实验手册：林子雨，郑海山.《Python程序设计实验指导与习题解答》.人民邮电出版社，2022年4月.实验手册官网（获取代码等）：/post/python-experiment/附录M：《Python程序设计基础（通识课版）》教材：林子雨.《Python程序设计基础（通识课版）》人民邮电出版社,2025年2月.教材官网（获取讲义PPT、代码等）：

/post/python-general/

教材ISBN:978-7-115-65678-0定价：59.8元本书详细介绍了获得Python基础编程能力所需要掌握的各方面技术。全书共11章，内容包括Python语言概述、基础语法知识、程序控制结构、序列、函数、模块、异常处理、文件和数据库操作、常用的标准库和第三方库、基于Matplotlib的数据可视化、网络爬虫等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Python编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、源代码、软件、数据集等。附录N：《Python数据分析、挖掘与可视化》教材：林子雨

编著《Python数据分析、挖掘与可视化》人民邮电出版社,2025年5月.教材官网（获取讲义PPT、代码等）：/post/python-analysis/教材ISBN:978-7-115-66088-6定价：59.8元数据分析能够帮助人们深入洞察数据的内在规律和趋势，提取有价值的信息，为决策提供科学依据。在当今信息爆炸的时代，数据分析已成为各行各业不可或缺的技能。本书通过丰富的案例帮助读者快速掌握Python数据分析的核心技能，提高数据处理和分析的能力，从而更好地应对学习和工作中的挑战。全书共10章，内容包括Python语言概述