《新一代信息技术与人工智能导论》全套课件 渠慎明 第1-10章 新一代信息技术-人工智能伦理与治理

第1章

新一代信息技术011.1新一代信息技术的概念021.2互联网与物联网031.3大数据目录contents051.5与人工智能的关系041.4云计算与边缘计算

011.1新一代信息技术的概念信息技术（InformationTechnology,IT）是用于信息获取、加工、表达、管理及评价的技术集合，涵盖计算机科学、通信技术及相关交叉领域。什么是信息技术?01AB旨在应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件。1.1.1信息技术1.1.1信息技术在信息技术发展的初期，人类主要通过简单的物理手段如结绳记事记录和传递信息。随着文字的出现，信息记录的方式变得更加系统化和精确化，如中国的甲骨文印刷术的发明是信息技术发展史上的一个重要里程碑。中国的活字印刷术（北宋时期）和欧洲的古腾堡印刷术（15世纪）极大地提高了信息复制和传播的效率。1.1.1信息技术19世纪，随着电学理论的成熟，通信技术迎来了重大突破。电报的发明（1837年，塞缪尔·莫尔斯）使得信息可以通过电信号进行远距离传输，极大地缩短了信息传递的时间。1.1.1信息技术20世纪中叶，计算机的发明标志着信息技术进入了一个全新的时代。20世纪90年代，随着万维网（WorldWideWeb,WWW）的发明（1989年，蒂姆·伯纳斯-李），互联网迅速普及，成为全球信息共享的重要平台。1.1.1信息技术物联网：从互联到万物互联云计算：从本地到云端大数据：从数据到知识新一代信息技术人工智能：从计算到智能数据的核心地位。在新一代信息技术体系中，数据已跃升为关键生产要素，其重要性堪比工业时代的石油。数字化处理流程。数据从采集、传输到处理、应用，全流程实现了数字化。高度数字化1.1.2新一代信息技术的特点1人工智能技术驱动。人工智能犹如新一代信息技术的引擎，贯穿于各个领域。自主决策与优化。智能系统正逐步具备自主学习和决策能力。。深度智能化1.1.2新一代信息技术的特点2新一代信息技术内部各技术之间呈现出深度交叉融合的态势。物联网与大数据的融合是典型案例。产业融合发展。新一代信息技术有力地推动了不同产业的融合。如在智能汽车领域，信息技术与汽车制造业深度融合，彻底改变了汽车的功能与出行模式。广泛融合性1.1.2新一代信息技术的特点3系统内协同运作。新一代信息技术系统中各组件之间实现了高效协同。跨领域协同创新。不同领域基于新一代信息技术开展协同创新成为趋势。如在医疗、科研与信息技术领域的合作中，远程医疗技术使得专家能够进行远程会诊。高效协同性1.1.2新一代信息技术的特点4技术更新换代频繁。新一代信息技术发展迅猛，技术更新周期极短。如芯片技术是这一特征的典型代表。新应用场景不断涌现。随着技术的快速演进，新的应用场景如雨后春笋般持续产生。快速演进性5021.2互联网与物联网技术1.2.1互联网：跨越时空的信息高速公路互联网的雏形：诞生于1969年的ARPANET（高级研究计划局网络），这是美国国防部应对核战威胁的通讯备份方案。当时，加州大学洛杉矶分校与斯坦福研究所的两台计算机首次实现连接，传输的仅仅是“LO”两个字母（系统在输入“LOGIN”时崩溃），却标志着分布式网络通信的开端。技术转变：互联网从军事科研网络向公众基础设施的转变，始于1983年TCP/IP协议的正式采用。这一技术标准如同网络世界的“通用语”，使不同架构的计算机网络能够互联互通，为知识的传播和创新搭建了广阔的平台。普及化：20世纪90年代初，WWW（万维网）的诞生和浏览器的普及，是互联网发展的重要里程碑。1.2.1互联网：跨越时空的信息高速公路1994年4月20日，中国实现与国际互联网的第一条TCP/IP全功能链接。同年5月15日，中科院高能物理研究所设立国内第一个Web服务器，推出中国首套介绍高科技发展的网页，后更名为“中国之窗”。01以Web1.0为特征的90年代，人民网、新华网、网易、搜狐、新浪等门户网站相继问世，开启了门户时代。0221世纪初，以Web2.0为特征，各种桌面应用软件兴起，互联网的可能性得到深度开发。03近年来，在5G通信技术的强力支撑下，移动互联网迅速发展，智能化设备全面普及，接入互联网的门槛大幅降低。04物联网是通过使用射频识别、传感器、红外感应器、全球定位系统、激光扫描器等信息采集设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的功能。什么是物联网?简单来说，物联网就是将现实世界中的物体数字化，并通过网络实现互联互通，让设备具备“智慧”，赋予设备“表达”能力1.2.2物联网：当物理世界开始“思考”1995年比尔・盖茨在《未来之路》中，率先提出类似物联网的概念。受限于当时无线网络、硬件及传感设备的发展水平，这一概念并未引发广泛关注。从1997年~2005年，国际电信联盟（ITU）从研究互联网/移动互联网对电信业发展影响的角度发布了七份“ITUInternetReports”研究报告。在《ITU互联网报告2005：“TheInternetofThings”》中正式提出物联网的概念。什么是物联网?1.2.2物联网：当物理世界开始“思考”1.2.2物联网：当物理世界开始“思考”物联网主要由感知层、网络层、平台层和应用层组成。平台层平台层是物联网的“大脑”，负责对采集到的数据进行存储、处理和分析。应用层应用层是物联网的“手、足”，将平台层分析得到的结果应用到实际场景中，实现物联网的各种功能。网络层网络层是物联网的“神经系统”，负责将感知层采集到的数据传输到平台层。网络层可以采用多种通信技术，如移动通信网络（4G、5G）、Wi-Fi、蓝牙等。感知层感知层就像是物联网的“眼睛”和“耳朵”，通过各种传感器，如温度传感器、湿度传感器、压力传感器等，采集物理世界中的各种信息。物联网组成1.2.2物联网：当物理世界开始“思考”物联网的关键技术物联网的硬件技术主要包括传感器技术、射频识别技术和无线通信技术。传感器技术是物联网的核心技术之一，大量传感器构成了物联网的感知基础。物联网的软件技术主要包括云计算、大数据分析和人工智能。硬件技术软件技术1.2.2物联网：当物理世界开始“思考”互联网与物联网的关系互联网为物联网提供了数据传输的网络通道，物联网设备借助互联网实现数据的远程传输，从而实现远程控制和管理。互联网与物联网的融合，催生了许多新的应用场景和商业模式。技术支撑融合创新1.2.3互联网与物联网的融合应用智能物流通过在物流设备和货物上安装传感器，实现对货物位置、状态的实时跟踪和监控。智慧医疗通过可穿戴设备（如智能手环）实时采集患者心率、血压、血糖等数据，并上传至云端平台，医生可远程监控，及时干预。智慧农业在农业生产中，通过部署传感器，实时监测土壤湿度、温度、光照等环境参数，借助物联网将数据传输到智能控制系统，实现对灌溉、施肥、通风等环节的自动化控制。智慧城市在城市基础设施中部署传感器，实现对城市交通、环境、能源等方面的实时监测和管理。互联网与物联网的融合应用031.3大数据技术大数据涵盖了数据采集、存储、管理、分析、可视化等多个环节的技术，旨在从大量复杂的数据中提取有价值的信息和知识，为决策提供支持。什么是大数据?从技术层面来看，大数据技术包括数据挖掘、机器学习、分布式计算、云计算等多种技术的综合应用。1.3.1大数据技术的概念1.3.2大数据技术的特点大数据规模庞大，如抖音日数据量达PB级，数据量呈爆发式增长。Variety（种类多）数据种类丰富，包括结构化和非结构化数据，来源广泛。Velocity（速度快）数据处理速度快，如实时金融交易分析，要求高时效性。Value（价值密度低）数据价值密度低，如视频监控数据需深度挖掘才能提取有价值信息。Volume（规模大）1.3.3大数据的处理流程数据采集是大数据处理的第一步。符合规则的网络爬虫、传感器采集等01数据采集面对海量的数据，分布式文件系统，如Hadoop分布式文件系统（HDFS）应运而生。02数据存储03采集到的数据往往存在噪声、重复、缺失等问题，需要进行清洗。数据清洗将分析结果以直观的图表、图形等形式展示出来，能够帮助用户更好地理解数据。05数据可视化数据分析是大数据处理的核心环节，旨在从数据中提取有价值的信息。04数据分析1.3.4大数据技术的应用领域智能城市和交通领域城市管理者通过整合交通流量、环境监测、能源消耗和公共安全等多源数据，优化城市资源配置。制造业与工业互联网工业互联网通过传感器和物联网设备采集生产线的实时数据，结合历史记录分析设备运行状态，实现预测性维护。医疗与健康领域在临床诊疗中，医院通过整合患者的电子病历、基因数据和医学影像，辅助医生进行更精准的诊断和治疗方案制定。商业与金融领域通过对消费者行为、交易记录、社交媒体互动等数据的分析，企业能够精准刻画用户画像，实现个性化推荐和动态定价。互联网与物联网的融合应用041.4云计算与边缘计算云计算（CloudComputing）是一种通过网络“云”将巨大的数据处理程序分解成无数个小程序的分布式计算，并将多部服务器组成的系统进行处理和分析这些小程序得到结果返回给用户。什么是云计算?1.3.1云计算的概念1.4.1云计算的概念20世纪90年代，虚拟化技术的成熟为云计算奠定了重要技术基础。通过将单一物理服务器虚拟化为多个独立运行的逻辑单元，硬件资源利用率得以显著提升。准备期（1990s-2006年）012006年是云计算发展的里程碑。谷歌CEO埃里克・施密特在搜索引擎大会上首次提出“云计算”概念，强调通过互联网提供动态可扩展的资源服务。同年，亚马逊AWS的正式运营标志着云计算从理论走向商业化。发展期（2006-2010年）02随着虚拟化、分布式存储和网络技术的成熟，云计算进入爆发期。数据中心规模持续扩大，亚马逊、谷歌等企业投资建设超大型数据中心，单集群服务器数量突破万台。同时，服务模式从单一的IaaS向PaaS（平台即服务）和SaaS（软件即服务）延伸。成熟期（2010年至今）03边缘计算（EdgeComputing）是指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，以满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。什么是边缘计算?1.4.1边缘计算的概念随着物联网时代的到来，各类智能设备如雨后春笋般涌现。5G网络的普及，也为边缘计算的发展提供了有力支撑。此外，传统云计算面临着成本压力和资源利用率问题。边缘计算怎么产生的?1.4.1边缘计算的概念1.4.2云计算与边缘计算的特点云计算特点1资源池化5访问便捷云服务提供商通常拥有专业的团队和先进的技术来保障云计算系统的高可靠性。只要有网络连接，用户可以在任何地点、使用任何设备访问云计算服务。云计算将计算资源，如服务器、存储设备、网络带宽等，整合到一个巨大的资源池中。弹性是云计算最显著的特征之一，它指的是云计算平台能够根据用户需求动态调整资源分配。按需服务是云计算的另一大核心特征，用户就像在自助餐厅用餐，根据自己的实际需求“取用”云计算资源。3按需服务4高可靠性2弹性伸缩1.4.2云计算与边缘计算的特点边缘计算特点1低时延响应5与本地环境融合边缘计算设备具备一定的自主性，即使在与云端通信中断的情况下，依然能够独立运行。边缘计算设备能够紧密贴合本地的物理环境和业务需求。边缘计算将数据处理节点下沉到靠近数据源的地方，极大地减少了数据传输的时间。边缘计算允许设备在本地对数据进行初步筛选和处理，只把关键信息上传到云端。边缘计算让数据在本地设备或边缘节点进行处理，减少数据在公网上的暴露风险。3数据隐私保护4自主可靠性2减轻网络压力1.4.3云计算与边缘计算的架构（1）基础设施即服务（IaaS）（2）平台即服务（PaaS）（3）软件即服务（SaaS）1.4.3云计算与边缘计算的架构（1）边缘设备（2）边缘服务器（3）云服务器1.4.4云计算与边缘计算的应用场景企业可以将大量的业务数据存储在云端，利用云计算平台的分布式计算技术，对数据进行快速分析和挖掘，获取有价值的信息，为企业的决策提供支持。玩家无需在本地安装大型游戏，只要通过网络连接到云游戏平台，就可以随时随地玩游戏。许多企业选择将自己的业务系统迁移到云端，利用云计算的弹性伸缩和按需服务特性，降低信息化建设成本，提高系统的灵活性和可扩展性。大数据分析企业信息化游戏产业云计算应用场景1.4.4云计算与边缘计算的应用场景在工业生产中，边缘计算可以实现设备的实时监测和故障预测。智能家居系统中的智能家电、智能门锁等设备可以通过边缘计算实现本地控制和联动。交通摄像头可以实时采集交通流量、车辆行驶速度等数据，通过边缘设备进行分析，实现交通信号灯的智能调控，缓解交通拥堵。工业互联网智能交通智能家居边缘计算应用场景051.5新一代信息技术与人工智能关系大数据的本质是对海量、多样化数据的收集、存储、管理与分析。人工智能模型，尤其是深度学习模型，对数据有着极高的依赖。在数据量不足的情况下，模型很容易出现过拟合现象，泛化能力差，无法准确识别新的、未曾见过的图像。大数据分析技术还能为人工智能提供数据预处理和特征工程支持。大数据技术对人工智能的赋能1.5.1新一代信息技术为人工智能发展赋能1物联网技术将物理世界中的各种设备连接起来，形成了一个庞大的感知网络，为人工智能提供了丰富的实时数据。在工业领域，物联网技术的应用使得工业生产过程更加智能化。通过在生产设备上安装传感器，能够实时采集设备的运行数据，如温度、压力、振动等。物联网技术还为人工智能提供了更加广泛的应用场景。如随着物联网技术的发展，智能城市、智能交通等领域得到了快速发展。物联网技术对人工智能的赋能1.5.1新一代信息技术为人工智能发展赋能2云计算技术为人工智能提供了强大的计算资源支持。人工智能模型的训练和推理过程需要大量的计算资源，尤其是深度学习模型，其计算量非常巨大。云计算技术还提供了灵活的资源配置方式。用户可以根据自己的需求，随时调整计算资源的规模。云计算技术还促进了人工智能的分布式计算。云计算技术对人工智能的赋能1.5.1新一代信息技术为人工智能发展赋能3人工智能中的机器学习算法，能够自动从数据中发现模式和规律，大大提高了数据挖掘的效率和准确性。深度学习中的无监督学习算法，能够自动对数据进行分类和聚类。人工智能还可以对大数据进行实时分析。人工智能优化大数据处理1.5.2人工智能推动新一代信息技术升级1人工智能中的强化学习算法，能够根据用户的需求和系统的状态，自动调整云计算资源的分配，提高资源利用率。人工智能中的深度学习算法，能够对网络流量进行实时监测，发现异常行为，及时预警和防范安全威胁。人工智能还可以为云计算用户提供智能化的服务。人工智能赋能云计算智能化1.5.2人工智能推动新一代信息技术升级2在智能家居领域，人工智能技术的应用使得家居设备能够根据用户的习惯和需求自动调整工作状态。在工业物联网领域，人工智能技术的应用能够实现生产过程的自动化和智能化控制。在智能交通领域，人工智能技术的应用能够实现交通流量的优化和自动驾驶。人工智能提升物联网智能化水平1.5.2人工智能推动新一代信息技术升级3人工智能算法往往是基于数据进行训练的，如果训练数据存在偏差，那么算法可能会产生偏见。此外，许多人工智能算法，尤其是深度学习算法，被称为“黑盒算法”，其决策过程难以解释。人工智能模型的训练和推理需要大量的计算资源，尤其是深度学习模型。随着大数据技术的发展，大量的个人数据被收集、存储和使用。如果这些数据被泄露或滥用，将对个人隐私和安全造成严重威胁。算法偏见与可解释性问题数据隐私与安全问题计算资源瓶颈技术层面的挑战1.5.3人工智能与新一代信息技术面临的挑战人工智能的发展也带来了一系列伦理道德问题。例如，在自动驾驶领域，如果自动驾驶汽车面临不可避免的碰撞时，应该优先保护车内乘客还是行人？由于这些技术的研发和应用需要大量的资金和技术人才，只有少数企业和地区能够从中受益。而一些发展中国家和贫困地区，由于缺乏资源和技术，可能会被边缘化，进一步拉大贫富差距。一方面，将创造新的就业机会，如人工智能工程师、数据分析师等。另一方面，也会导致一些重复性、规律性的工作被自动化和智能化设备所取代，从而引发失业风险。伦理道德问题就业结构调整与失业风险社会公平性问题伦理层面的挑战1.5.3人工智能与新一代信息技术面临的挑战下节课再见！第2章

人工智能概论01人工智能概述02人工智能三大学派

03人工智能三大要素04行业应用案例目录contents01人工智能概述人工智能定义人工智能（ArtificialIntelligence,AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，是让计算机像人一样“思考”和“做事”的技术。简单来说，AI就是让电脑变得”更聪明“，来帮助我们完成各种任务。人工智能发展历程1950年，艾伦·图灵提出图灵测试，预示了人工智能的可能性。1956年，在美国召开的达特茅斯会议上，人工智能这一名词被提出，AI作为一门独立学科正式诞生。理论奠基期人工智能自20世纪50年代首次提出到如今大致经历了理论奠基期、两次繁荣和寒冬、稳步发展、蓬勃发展等阶段。图灵测试达特茅斯会议人工智能发展历程1958年，约翰・麦卡锡开发了LISP语言，成为早期人工智能研究的重要工具。1966年首台采用人工智能技术的移动机器人“Shakey”机器人诞生，它具备自主规划路径能力，标志着机器人自主决策技术的重要突破。第一次繁荣到20世纪70年代，由于当时计算机硬件性能难以满足人工智能系统的需求，且主流方法难以应对复杂多面的问题，AI的发展受到质疑，各国政府开始削减或停止对AI研究的资助，AI发展进入第一次寒冬。第一次寒冬LISP语言Shakey机器人AI第一次寒冬人工智能发展历程进入20世纪80年代，计算机的处理性能显著提升，社会各界对人工智能的信心回暖。1980年，为数字设备公司开发的专家系统XCON正式投入使用，标志专家系统从科研验证走向商业化实践的重要跨越。从1983年起，大量AI企业相继成立，人工智能迎来新的发展高潮。第二次繁荣随着人工智能技术在产业界的应用不断扩展，曾被广泛采用的专家系统逐渐暴露出一系列局限性。如开发成本高，使用领域有限等。与此同时，当时计算机硬件性能尚无法支撑大规模、高复杂度的人工神经网络模型训练与运行，导致新兴的学习方法难以取得突破性进展，人工智能再次陷入低谷。第二次寒冬人工智能发展历程1995年，理查德·华莱士受早期聊天程序ELIZA的启发，开发了基于互联网的聊天机器人程序AILCE。2006年，杰弗里·辛顿

提出深度置信网络（DeepBeliefNetwork），标志着深度学习研究的重新兴起，为人工智能的发展注入了新的活力。稳步发展期聊天机器人程序AILCEDeepBeliefNetwork人工智能发展历程随着互联网、云计算、物联网和大数据等信息技术的飞速发展，人工智能特别是以深度神经网络为代表的技术实现突破性进展。2016年，DeepMind研发的AlphaGo在围棋比赛中以4:1击败世界冠军李世石，成为首个在围棋这种高复杂度策略游戏中击败人类顶尖高手的AI系统，震惊全球科技界。2022年，OpenAI发布基于FPT-3.5架构的大语言模型对话系统ChatGPT，引发全球范围的人工智能热潮和应用浪潮‌。2025年，国产大语言模型如DeepSeek等也逐渐崭露头角，成为全球大模型竞争的重要力量之一。

蓬勃发展期AlphaGoChatGPTDeepSeek人工智能核心技术01机器学习机器学习（MachineLearning,ML）是人工智能的核心分支，通过算法和统计模型让计算机从数据中学习并进行预测或决策，而无需明确编程。它包括监督学习、无监督学习、强化学习等子领域。监督学习：通过带标签的数据进行训练，常见算法包括线性回归、逻辑回归等。无监督学习：处理无标签的数据，常见算法包括聚类（如K均值算法）、降维（如主成分分析）等。强化学习：通过与环境互动来学习，使用奖励和惩罚机制来增强行为，常见算法包括Q学习和深度Q网络。人工智能核心技术02深度学习深度学习（DeepLearning,DL）则是机器学习的一个子领域，其核心是通过多层神经网络自动提取数据特征。相较于传统机器学习，深度学习在处理非结构化数据（如图像、语音）时表现更优，成为当前AI发展的主要驱动力。深度学习与机器学习和人工智能的关系人工智能核心技术03自然语言处理自然语言处理（NaturalLanguageProcessing,NLP）是人工智能领域的关键技术之一，其核心目标是让计算机理解、解释并生成人类语言。在信息爆炸时代，海量文本数据每日涌现，NLP有助于高效处理这些信息。NLP人工智能核心技术04计算机听觉计算机听觉（ComputerAudition,CA）也是人工智能领域的关键技术之一，其核心目标是让计算机感知、理解和处理人类语音及环境声音。在万物互联时代，音频数据呈指数级增长，计算机听觉技术有助于高效处理这些声音信息。计算机听觉人工智能核心技术05计算机视觉计算机视觉（ComputerVision,CV）是人工智能领域的另一项关键技术，致力于赋予计算机感知和理解视觉世界的能力，通过对图像、视频等视觉信息的处理和分析，实现目标检测、图像分类、语义分割等功能。计算机视觉02人工智能三大学派符号主义学派核心观点挑战符号主义作为人工智能领域早期研究的关键范式，其核心在于利用逻辑规则与符号操作来模拟智能行为。该假设主张：“一个物理符号系统具备产生智能行为的必要且充分条件。”符号主义系统普遍依赖“搜索”作为主要推理方式，而在实际应用中往往会遇到“组合爆炸”问题——即随着问题规模的扩大，可能的状态和路径数量呈指数级增长，计算成本变得不可承受。符号主义连接主义学派核心观点挑战连接主义主要观点为“在揭示人类大脑结构及其进行信息处理的过程和机理的基础上，设计人工神经元之间的连接机制和神经网络学习算法，利用人工神经网络实现人类智能在机器上的模拟”目前人类大脑中概念的具体表现形式、表示方式、组合方式等机制都尚未研究清楚，深度学习模型的工作机制并非人脑的运行机制，要实现完全的连接主义也面临着极大挑战连接主义符号主义学派核心观点挑战行为主义，也被称为进化主义、控制论学派或行为模拟学派，它认为智能行为的基础是“感知-行动”反应机制，即人工智能可以像人类智能一样分阶段发展和增强，主要观点为“智能行为只能通过与周围环境交互而表现出来”。虽然行为主义方法在某些任务中能够生成类似人类的反应，但它无法真正实现理解、推理和因果建模，缺乏对世界结构的抽象表征，因而在复杂情境中难以泛化。行为主义03人工智能三大要素人工智能三大要素三大要素人工智能的核心驱动力包括数据、算法、算力三个主要要素。其中，数据可以比作人工智能的燃料，算法是发动机，而算力是发动机高速运转的加速。数据数据在人工智能行业发展中占据着至关重要的地位，其质量与规模直接影响模型的学习效果与泛化能力。高质量且大规模的训练数据集是推动各类人工智能算法实现高性能表现的基础支撑。无论是在计算机视觉、计算机听觉，还是自然语言处理等领域，构建强大模型通常依赖于贴近实际应用场景、具有代表性的数据样本。算法如果说数据是人工智能的燃料，那么算法就是发动机。那么如何推动人工智能这台机器快速奔跑，算法的不断提升至关重要。人工智能算法包括机器学习、深度学习等。算法作为人工智能的“灵魂”，既是技术发展的底层驱动力，也是未来突破的关键方向。从早期规则编码到如今的自主学习，其演进推动着AI从“人工智障”迈向“类人智能”。机器学习深度学习算法算力是计算系统处理数据能力的体现，其重要性可与汽车发动机排量相类比——数值越高，处理复杂任务的速率越快。在人工智能发展过程中，算力的进步扮演了关键角色，当前主流的算力类型有CPU、GPU、TPU和量子算力。不同类型的算力平台在部署设备、特点、适用场景及局限性各有不同，对比如表所示。算力类型代表设备特点适用场景局限性CPU算力家用轿车通用性强，适合多任务处理日常办公、网页浏览复杂计算速度慢GPU算力专业赛车并行计算快，适合图形处理游戏、AI训练功耗高、价格贵TPU算力F1方程式赛车为AI定制，计算效率极高大规模深度学习只能跑特定赛道量子算力科幻太空飞船理论速度突破物理限制密码破解、药物研发目前稳定性不足算力类型对比（以汽车为类比）04行业应用案例医学领域AI在肺结节检测中敏感度超90%，显著降低漏诊率，如某医疗肺结节AI系统将早期肺癌检出率提升至92%，助力精准诊断。肺结节检测01基于深度学习的AI系统对乳腺肿块和钙化的检测准确率超90%，微小钙化区域灵敏度达80%-100%，提高早期诊断准确性。乳腺癌诊断03AI与MRI结合，如脑梗死早期诊断，MRI能在2小时内发现病灶，AI辅助诊断使准确率提升15%以上，助力重大病症检测。MRI影像诊断04AI可自动识别冠脉CTA和心脏磁共振中的血管狭窄、斑块，并计算狭窄程度，为医生评估心血管风险提供有力支持。心血管疾病诊断02医疗机器人研发外科手术机器人康复机器人外科手术机器人借助AI实现精准操作，减少手术风险和并发症，如达芬奇手术机器人在复杂手术中表现出色，提升手术成功率。康复机器人通过AI监测患者康复进度，提供个性化康复方案，如智能假肢和康复辅助设备帮助患者恢复身体功能。医疗大数据分析疾病预测AI分析医疗大数据预测疾病流行趋势，如流感爆发预测，提前部署医疗资源，降低疾病传播风险。患者健康管理AI根据患者电子病历和健康数据提供个性化健康管理建议，如慢性病患者管理，提醒用药和检查，提高患者生活质量。交通领域智能交通系统实时采集交通流量数据，优化信号灯时长，如某城市主干道高峰通行时间缩短30%，有效缓解拥堵。交通信号控制01物联网技术实现停车场智能化管理，驾驶者通过APP查询车位并预约，如某商业中心车位周转率提升40%，缓解停车难。智能停车管理03智能调度和线路规划技术根据客流量调整公交、地铁发车时间和频次，某城市公交准点率提高至90%，提升乘客满意度。公共交通优化02自动驾驶技术自动驾驶汽车通过AI感知环境、规划路径，如特斯拉自动驾驶技术在复杂路况下安全行驶，推动未来出行变革。01无人机利用AI实现物流配送，避开障碍物和复杂地形，如亚马逊无人机配送服务提高物流效率，降低成本。

自动驾驶汽车无人机物流配送交通规划与管理城市交通规划交通流量预测智能交通系统收集数据支持城市交通规划，如新区规划中基于数据的方案有效避免后期拥堵，实现交通与城市发展协调。AI预测交通流量，提前部署交通资源，如大型活动前预测交通高峰，合理安排警力和疏导措施，保障交通顺畅。农业领域01020304病虫害识别实时监测精准防治智能预警基于CNN的目标检测技术精准识别稻瘟病、蚜虫等病虫害，如某农业企业监测系统检测准确率超95%，为防治提供依据。--01----02----03----04--物联网传感器和无人机实时采集农田数据，生成病虫害分布图，如美国农业科技公司机器人每天覆盖100公顷农田，高效掌握作物健康状况。AI精准定位受灾区域，减少农药使用量30%，降低生产成本和环境污染，实现绿色农业发展。AI整合历史和实时数据预测病虫害发生趋势，提前7-15天预警稻飞虱等病虫害，争取防治时间。农业领域自动驾驶拖拉机通过AI实现精准作业，提高作业效率和土地利用率，如约翰迪尔自动驾驶拖拉机在大规模农场应用。自动驾驶拖拉机农业机器人完成采摘、播种等任务，如采摘机器人识别成熟果实并精准采摘，降低人力成本，提高作业质量。农业机器人农业领域农业大数据分析农业供应链优化作物生长预测AI优化农业供应链，从生产到销售全程监控，如农产品物流配送优化，减少损耗，提高经济效益。AI分析土壤、气候等数据预测作物生长情况，如精准预测小麦产量，提前安排收割和销售，保障粮食安全。文化保护艺术品修复文物修复计算机视觉技术精准“诊断”艺术品损坏区域，机器学习模型预判退化风险，如敦煌壁画AI修复色彩还原度达95%，助力文化遗产保护。AI技术辅助文物修复，如通过图像分析和模拟修复方案，最大程度恢复文物原貌，延长文物寿命。文化创作于传播01AIGC技术应用AIGC技术生成文本、图像、音频等多元内容，如央视AI微短剧《中国神话》吸引大量观众，提升文化创作效率。AI微短剧《中国神话》文化创作与传播02智能导览与互动AR导览、全息投影等技术让观众与古文明互动，如故宫“数字故宫”项目和三星堆文物全息投影，增强文化体验。数字故宫三星堆文物全息投影下节课再见！第3章

机器学习和深度学习机器学习概述机器学习融合多种理论与技术，通过算法设计与模型训练，实现从数据中自动提取规律、预测未知结果或优化决策过程的能力。其应用范畴覆盖人工智能、自动驾驶等前沿领域。机器学习是实现人工智能的一个核心技术，也是使计算机具有智能的根本途径。4机器学习的概念机器学习是一门通过计算手段利用经验数据优化系统性能的学科。“经验”以结构化或非结构化数据的形式存在，其核心研究内容是开发能从数据中自动生成预测模型的学习算法。经验数据➡学习算法➡反映数据规律的模型新场景（例如收到一封未知邮件）➡模型➡智能决策（如判断是否为垃圾邮件）5机器学习的三大范式监督学习

其核心是从带标签的训练数据中学习映射关系。模型通过输入特征及其对应的已知输出（标签）进行训练，目标是学习一个函数，能对新的、未见过的输入数据预测出正确的输出；主要任务是分类和回归。无监督学习其核心是发现无标签数据中隐藏的结构或模式。模型在没有预定义答案的情况下，通过分析数据本身的特性（如相似性、分布）来探索其内在组织；主要任务是聚类和降维。强化学习其核心是智能体通过与环境交互学习最优决策策略以最大化累积奖励。智能体在特定状态下执行动作，环境给予奖励或惩罚反馈，目标是学习一个策略，使长期获得的奖励总和最大；特点是试错学习和延迟回报。6监督学习Step1：输入数据训练数据包括文本、文档、图像等原始数据，每条数据均带有对应的标签（Label）。例如，一张猫的图片对应标签“猫”，一封邮件对应标签“垃圾邮件”或“正常邮件”。Step2：特征提取原始数据需转化为计算机可理解的数值形式，即特征向量。例如，图像可提取颜色、形状等特征，文本可提取关键词频率等。Step4：预测与应用训练好的模型可将新数据（如新图片）转化为特征向量输入，输出预期标签。例如，输入一张未知动物的图片，模型可预测其类别为“狗”或“猫”。Step3：模型训练机器学习算法（如决策树、神经网络）通过分析特征向量与标签之间的关系，构建一个监督学习模型。训练过程中，模型会不断调整参数以减少预测误差，这一过程可能包含反馈机制（如梯度下降法）。

监督学习（SupervisedLearning）是机器学习中理论基础最完备、应用最成熟的范式。该方法的数学本质是建立从输入空间X到输出空间Y的映射函数f:X→Y。训练过程需要满足三个基本条件：特征数据集合、对应的标签集合以及定义明确的损失函数。典型的损失函数包括均方误差（回归问题）和交叉熵（分类问题）。7无监督学习8

无监督学习（UnsupervisedLearning）的核心目标是发现未标记数据中的内在结构与规律，其数学基础主要依托‌概率统计模型‌（如高斯混合模型、隐变量模型）和‌优化理论‌。与监督学习不同，该方法不依赖外部标注，而是通过定义相似性度量（如欧氏距离、余弦相似度）或概率分布假设来揭示数据本质特征。

在无监督学习领域，核心任务是在向算法提供无标签的训练数据集的条件下，使算法能够独立地辨识数据内部的潜在规律。例如，当向人工智能系统提供1000首未标记的音乐作品时，该系统能够依据节奏和音色等特征，自动将这些音乐作品归类为“摇滚”、“爵士”等不同的风格类别。强化学习（1）智能体（Agent）：强化学习中的主要参与者，它会根据环境的反馈来做出决策。智能体可以是一个软件程序，也可以是一个物理上的实体。（2）环境（Environment）：智能体在强化学习过程中的反馈来源。环境会提供智能体的状态信息和奖励反馈，并根据智能体的动作进行更新。（3）状态（State）：描述了智能体在环境中的当前情况。状态可以是一个向量/矩阵，也可以是一个离散的取值。（4）动作（Action）：智能体在环境中进行的操作。动作可以是一个连续的值，通常是一个实数向量/矩阵，也可以是一个离散的取值，通常是一个整数或符号。（5）奖励（Reward）：智能体在环境中进行操作时收到的反馈信息。奖励可以是正数、负数或者零，表示智能体的行为是好是坏，或者没有明确的奖励和惩罚。（6）策略（Policy）：智能体在不同状态下选择动作的规则。策略可以是确定性的，也可以是随机的。（7）值函数（ValueFunction）：智能体在状态下遵循策略能够获得的累积奖励的期望值。9机器学习常见算法在机器学习的广阔领域中，常见算法就如同基石，支撑着各种实际应用。下面，让我们一起走进这些算法的世界，探索它们的奥秘。回归算法核心目标是预测连续数值输出。它基于输入特征（自变量）与已知的连续目标值（因变量）之间的关系建立数学模型，用于估计未知数据点的数值结果。分类算法核心目标是预测离散类别标签。它通过学习输入特征与预定义类别标签之间的映射关系，构建模型以判断新数据点最可能属于哪个类别。聚类算法核心目标是发现数据中的自然分组（簇）。它基于数据点之间的相似性（距离、密度等）进行无监督学习，将未标记的数据自动划分为不同的组，使得组内数据相似度高，组间差异大。11线性回归以房价预测为例，如果房价只受房子面积这一个因素影响，那就是一元线性回归问题；但实际上，房价往往还会受到楼层、朝向、楼龄、配套设施等多个因素的影响，这就变成了多元线性回归问题。12分类算法根据给定的数据（每个数据都有对应的标签或类别），构建一个模型，以便对新的数据进行分类。当分类的类别有多个时，称为多类分类问题类别只有两个时，就是二类分类问题13逻辑回归逻辑回归（LogisticRegression)，虽然名字里有“回归”，但它是用来解决分类问题的。它的原理很巧妙，是在线性回归输出的结果上加上一个Sigmoid函数，这个函数就像一个“神奇的转换器”，能将连续的输出值转换成概率值（离散型结果）。14K近邻近朱者赤，近墨者黑在一个样本的特征空间中，看它周围K个最相似的样本中大多数属于哪个类别，那么这个样本就属于那个类别K值的选择、距离度量和分类决策规则的确定都非常关键。不同的K值会对分类结果产生很大影响。假设取K=3（3个样本），则？号属于红色三角形，因为红色三角形多于蓝色正方形，如果取K=5（5个样本），则？属于蓝色正方形。因此，选择不同的K值对于KNN算法的分类结果影响很大K值的选择需要综合考虑多种因素，通过实验和交叉验证来确定最佳的K值。在具体应用中，可以选择一些常用的经验值，如3、5、7等，或者根据具体情况选择合适的K值。15聚类算法先给定初始划分的K个类别，然后通过不断迭代，改变样本和簇的隶属关系，让每次划分后的结果都比上一次更好（也就是总的数据集之间的距离和变小）K-means聚类算法的具体步骤如下‌：（1）‌初始化‌：随机选择K个数据点作为初始质心。这就好比在一片数据的“海洋”中，随机选取几个“锚点”。（2）‌分配簇‌：对于数据集中的每个数据点，计算它到各个质心的距离，并将其分配到距离最近的质心所在的簇。就像每个数据点都在寻找离自己最近的“组织”。（3）‌更新质心‌：对于每个簇，计算所有分配到该簇的数据点的平均值，以此更新该簇的质心。这一步是为了让每个“组织”的中心更能代表这个“组织”内的数据特点。（4）‌重复‌：不断重复步骤2和3，直到质心不再发生显著变化，或者达到预设的迭代次数。此时，聚类的结果就相对稳定了。16为什么需要深度学习深度学习是基于人工神经网络的学习算法，特别是那些具有多层（深层）结构的网络。这些算法模仿人脑的信息处理方式，通过构建多层的非线性变换来学习数据的高层次特征。在深度学习模型中，每一层都能对输入数据进行转换和非线性运算，较低层次可能识别边缘、颜色和纹理等简单特征，而更高层次则组合这些简单特征来识别更复杂的模式，如物体的形状、场景的组成等。深度学习模型通常需要大量的数据来训练，以便能够准确地学习和提取特征。18传统方法的局限1920世纪90年代，专家系统虽在特定领域表现出色，却难以应对需要泛化能力的预测性任务，尤其在图像识别等领域表现不佳，导致符号主义技术路线失去资本市场信心，人工智能一度陷入低谷。与此同时，受生物神经机制启发的人工神经网络逐步发展，从简单感知机到多层感知机（MLP）再到深度神经网络，持续取得突破。在图像识别等复杂任务中，传统机器学习方法（如支持向量机、随机森林）难以自动提取有效特征和应对高维数据，而深度学习能够自动学习多层次特征表示，显著提升识别准确率，展现出在智能处理中的巨大优势和重要性。传统方法的局限依赖人工设计特征（如边缘、纹理、颜色统计），难以全面捕捉图像复杂性，导致区分能力弱（如无法分辨猫狗耳朵、毛发与布料、红苹果与红气球）。01特征工程低效对光照、角度、遮挡敏感。例如：光照变化使人脸识别失效；视角变化导致HOG特征不一致；遮挡时无法通过局部特征推断整体。02环境鲁棒性差03图像维度极高（如百万像素），引发"维度灾难"：计算量剧增（如SVM训练指数级耗时），且无法自动过滤像素冗余与噪声。高维数据处理难线性模型（逻辑回归）无法分割非线性交织的类别（如猫狗像素分布）；浅层非线性模型（核SVM）受限于核函数，难以表达多层级抽象关系。04非线性建模不足19深度学习的优势01通过神经网络（如CNN/RNN）直接从原始数据逐层学习抽象特征，避免传统方法中人工设计特征（边缘/纹理等）的低效与局限性。02利用多层非线性变换（激活函数+深度结构）逼近任意复杂函数，突破传统线性模型（逻辑回归）或浅层模型（SVM）的能力边界。03超大规模参数（如千亿级）从海量数据中挖掘统计规律，性能随数据量持续提升，传统模型（如随机森林）则易饱和。自动特征提取强大非线性建模海量数据高扩展性深度学习的优势04统一框架（如Transformer）处理图像/文本/语音等多模态数据，传统方法需为不同模态设计独立算法（SVM/HMM等）。05整合特征提取、分类、后处理等流程为单一模型优化，传统方法依赖复杂多模块流水线。06通过迁移学习/微调复用预训练知识快速适配新任务，传统模型需从头训练。跨模态通用性端到端学习自适应进化能力人类大脑的启示22深度学习的核心思想源于对人类大脑结构和信息处理机制的模拟。本小节通过类比生物神经元与人工神经网络的设计，能够帮助理解深度学习的基本原理及其与大脑的关联。生物神经元示意如图所示。人类大脑的启示22人类大脑由约860亿个神经元组成，这些神经元通过突触连接形成复杂的网络，负责感知、思考和决策。深度学习的灵感正源于此。通过模拟神经元之间的连接和信号传递，构建多层人工神经网络，实现从数据中自动学习复杂规律的能力。大脑的分层信息处理（如视觉皮层从边缘到形状的逐层抽象）启发了深度学习的“分层特征提取”设计。人类大脑的启示22人工神经元中，激活函数常以σ表示，神经元的激活值一般以a表示。如图3-6人工神经元示意图所示，激活函数会获取与之相连的前序神经元的输出，据此确定本神经元的激活值a，并将该状态传递给后续神经元。人工神经元由输入、输出和激活函数三部分构成。类比生物神经元，人工神经元的输入类似树突，负责接收信息；输出如同轴突，用于传递信息；激活函数则相当于神经元的细胞体，对输入信息进行处理。其中，y为神经元的输出，f为激活函数，对输入进行非线性变换决定神经元是否激活；n表示输入数量；wi是第i个输入xi对应的权重体现其重要程度；xi为第i个输入值；b是偏置，影响神经元激活难易程度。人类大脑的启示22激活函数是人工神经元的核心组件，它决定了神经元在何种输入条件下会被激活。最早的人工神经网络——感知机，由美国科学家弗兰克・罗森布拉特（FrankRosenblatt）于1957年提出，它采用阶跃函数作为激活函数。具体而言，对感知机的一个神经元来说，其激活函数为：以简单感知机为例，假设要决策晚上是否去逛街，该决策取决于三个因素：x1代表天气，x2代表交通，x3代表是否有同伴，w1、w2、w3分别是这三个因素对应的权重，反映各因素的重要性。将三个因素加权求和得到z=w1x1+w2x2+w3x3+b。若z≥0，则输出y=1，即去逛街；若z<0，则输出y=0，即不去逛街。其中，偏置b则反映了个人对于去逛街这件事的偏好程度。比如b值较高时，就需要wixi的加权求和值足够大，才会做出去逛街的决策（输出为1）。人工神经网络输入层：接收原始数据（如图像像素），神经元数量等于输入特征维度（如100×100灰度图对应10,000个神经元），仅传递数据不作计算。隐藏层：位于输入/输出层之间，含多层神经元，通过权重连接前后层，执行加权求和+激活函数变换，学习数据的非线性特征与复杂模式。输出层：生成最终结果，神经元数量由任务决定：二分类任务用1个神经元输出概率，多分类任务用N个神经元输出各类别可能性。23人工神经网络前向传播：输入数据从输入层→隐藏层→输出层单向传递，每层执行加权求和+激活函数变换，最终生成预测结果。反向传播：根据损失函数计算预测误差，将误差从输出层反向传递至输入层，逐层计算权重梯度并更新权重，逐步优化模型性能。损失函数作用：量化预测结果与真实标签的差异，指导模型优化方向。均方误差（MSE）：用于回归问题（如房价预测），计算预测值与真实值之差的平方均值。交叉熵损失：用于分类问题（如图像分类），衡量预测概率分布与真实分布（独热编码）的差异，值越小表明预测越准确。24深度学习的流程深度学习在当今科技领域发挥着至关重要的作用，从智能语音助手到精准的图像识别系统，从个性化推荐引擎到自动驾驶技术，它的应用无处不在。而深度学习的卓越性能离不开其严谨且科学的流程。深度学习的流程涵盖数据收集、数据清理、特征提取与选择、模型训练、模型评估测试等多个关键环节，各环节紧密关联、相互影响。25深度学习的流程1．数据收集数据是深度学习的基础，优质的数据集直接影响模型性能。每个样本包含若干特征，如房价预测中的面积和地理位置，不同任务需关注不同特征。可优先使用公开数据集，如MNIST，因其更规范、更易被认可。若没有合适的数据集，则需自行采集和处理数据。通常，数据分为训练集、验证集和测试集，分别用于模型训练、调参和最终评估，确保模型具备良好泛化能力。25深度学习的流程252．数据清理深度学习对数据质量要求高，需进行数据清理。常见做法包括：处理缺失值（如删除、填充均值/中位数，或用模型预测），以减少数据损失并保留特征关系；处理离群点和噪声（如分箱平滑、聚类检测），避免其干扰模型训练；去除冗余（如删除重复样本和可推导特征），以提升训练效率和模型性能。深度学习的流程253．特征提取与选择深度学习中，数据常包含许多无用或冗余特征，容易影响模型效率和准确性，特征选择可以筛选出最有价值的特征，提升模型表现。常用方法有：①过滤法，通过特征与目标的相关性直接筛选，效率高，适合高维数据；②包装法，把特征组合与模型性能结合，反复训练找出最佳特征子集，精度高但计算成本大；③嵌入法，将特征选择融入模型训练过程，模型自动识别和弱化不重要特征，适合复杂神经网络。合理选择特征选择方法能减少过拟合、提高效率和模型解释性。深度学习的流程254．模型训练深度学习模型的选择需根据数据是否有标签（监督或非监督）、任务类型（分类或回归）和数据规模决定，选择合适的网络结构如CNN或RNN。模型训练通过优化算法调整参数，使预测接近真实值，并利用验证集防止过拟合。训练后可用交叉验证和模型融合进一步提升性能。合理的模型选择与训练是深度学习落地应用的关键步骤。深度学习的流程255．模型评估测试深度学习模型训练后需评估其性能，常用二分类指标包括准确率、精确率和召回率。准确率是模型预测正确样本占总样本的比例，但在类别不均衡时可能误导，比如全部预测为“猫”也能得到高准确率。此时，需关注精确率（预测为“猫”中实际为猫的比例）和召回率（实际为猫中被正确识别的比例），才能全面评价模型表现。此外，还需防止过拟合（模型只记住训练数据，泛化能力差）和欠拟合（模型过于简单，学习不足），并关注模型的训练和预测效率（时间复杂度、空间复杂度），以及其稳定性和迁移性，确保模型在实际应用中表现优良。卷积神经网络（CNN）卷积层功能：局部特征提取（边缘/纹理）机制：卷积核滑动扫描

→

加权计算生成特征图关键：权重共享、局部感受野池化层功能：特征压缩与抗扰动机制：降采样（最大池化保留显著特征/平均池化平滑区域）关键：减少数据量，增强平移不变性全连接层功能：特征整合与分类决策机制：展平高维特征

→

加权投票输出类别关键：综合局部特征（如"猫耳+胡须"）生成全局认知核心价值：仿生视觉分层处理，实现端到端图像理解29循环神经网络（RNN）核心机制

时间步状态传递：当前隐藏状态ht

由当前输入xt

与前序状态ht-1

共同决定

时序依赖建模：通过递归连接捕获序列动态（如语言上下文、传感器时序）固有缺陷：长期依赖失效

梯度消失/爆炸导致长程记忆丢失进阶结构：门控机制模型核心创新功能LSTM输入/遗忘/输出门选择性记忆关键信息（如实体词）GRU更新/重置门简化门控，高效过滤噪声核心价值：端到端时序建模（机器翻译、语音识别、时序预测）30自编码器网络编码器：高维输入

→

低维特征向量（关键特征提取）解码器：低维向量

→

高维重建输出目标：最小化重建误差（如均方误差）自动学习本质特征（如轮廓/颜色）过滤冗余信息（如背景噪声）无需标签：纯数据驱动核心价值：无监督场景下的特征发现与降维31下节课再见！自然语言处理

01自然语言处理概述02自然语言处理的基础任务03自然语言处理的挑战与未来方向目录contents01自然语言处理概述自然语言处理的概念自然语言是人类在长期社会活动中自然演化形成的语言系统，用于日常交流、思维表达和文化传承，例如汉语、英语、西班牙语等。自然语言没有严格的语法规则，且同一句话在不同语境中可能表达完全不同的含义。自然语言处理的概念自然语言处理是人工智能研究领域的重要分支，旨在通过计算机技术实现自然语言的机器理解、生成与交互。自然语言处理包括自然语言理解（NaturalLanguageUnderstanding，NLU）和自然语言生成（NaturalLanguageGeneration，NLG）。自然语言理解旨在将人类语言转换为机器可解读的信息，负责理解内容；而自然语言生成则是将机器数据转化为人类可理解的语言表达，负责生成内容。自然语言处理的概念自然语言的技术挑战主要源于自然语言的复杂性，例如：歧义性，动态性，文化差异

动态性

文化差异

歧义性自然语言处理的概念自然语言处理是一门具有交叉性质的学科，它结合了多个领域的知识，包括语言学、计算机科学、数学和统计学等。近年来，随着计算机技术的不断发展，自然语言处理在机器翻译、语音识别、自动回复等方面取得了许多令人瞩目的成果，使得人与机器之间的交流变得更加自然、便捷。机器翻译语音识别自动回复应用领域机器翻译是自然语言处理的重要应用，实现不同语言自动翻译。近年深度学习技术突破显著提升翻译准确性与语言流畅度，许多在线翻译平台和移动应用集成先进机器翻译系统，能提供实时、高质量翻译服务。使用翻译工具阅读外文文献应用领域智能客服是自然语言处理在客户服务领域的典型应用。企业通过构建智能问答系统或聊天机器人，实现客户咨询自动化处理，提高服务效率和质量。客服机器人应用领域情感分析是自然语言处理在文本情感倾向判断上的应用。通过语义分析和情感方向判断，能识别文本表达的积极、消极或中性等情感倾向，在社交媒体监测、市场调研、舆情分析等领域应用广泛。情感方向判断自然语言处理的发展历程阶段核心方法代表成果/模型萌芽期规则驱动图灵测试、乔治城实验、乔姆斯基语法规则与统计博弈概率统计模型HMM、CRF、SVM深度学习时代神经网络特征学习Word2Vec、LSTM、Attention预训练时代自监督预训练+微调BERT、GPT、ChatGPT规则与统计博弈句子：研究生物第一步：生成候选分词方案第二步：计算不同方案的概率第三步：结果对比与选择N-gram模型是一种基于概率统计的语言模型，它通过分析词语的连续组合规律来理解文本。它将句子切割成连续的N个元素组成的词语片段。统计这些片段在语料库中出现的频率。深度学习时代基于神经网络的语言模型可以自动学习表示和抽取特征，无需人工干预。

深预训练时代无需调优完成命名实体抽取任务自然语言处理的基本流程文本获取和处理获取数据，并通过对数据进行预处理去除数据中的噪声和冗余信息。特征方法与表示从预处理后的文本中提取有用信息。模型训练与推理通过特征数据构建计算模型完成语言理解或生成任务。自然语言处理的基本流程文本获取和处理常见数据源公开语料库网页内容用户自己上传不同任务对数据质量的要求也有所差异，但基本要满足具备多样性，能够覆盖不同领域、文体和语言风格。此外，数据需紧密贴合实际应用场景，例如在医疗文本处理任务中，数据不仅要包含专业术语，还应涵盖病历记录、诊断报告、症状描述及药物名称等特定内容，以确保模型在真实医疗环境中具备高度的适用性和准确性。文本获取和处理获取到的原始文本数据往往包含噪声和冗余信息，需要进行预处理以提高后续处理的效果。文本预处理的步骤通常包括：文本清洗：去除噪声与冗余信息，如处理无用的HTML标签、URL链接、重复内容等。分词：将连续的文本切分为单词或词组。去除停用词：移除低信息量词汇，如“的”“是”“在”等高频但无实际意义的词汇。词形还原：将单词转换为其基本形式，如“swimming”还原为“swim”。标准化：统一语言格式，如全角转半角、大小写归一化。去除特殊字符与数字：移除对任务无用的标点符号、特殊符号及数字。特征提取与表示特征提取是从预处理后的文本中提取有用信息的过程。该过程将文本转化为数值化向量，捕捉文本语义、语法及上下文信息。常见的特征提取方法有词袋模型（BagofWords,BoW）、TF-IDF（TermFrequency-InverseDocumentFrequency）、N-gram模型、词嵌入（WordEmbeddings）等。特征表示是将提取的特征以数值矩阵的形式呈现，便于机器学习算法处理。在词袋模型、TF-IDF和N-gram模型中，文本被表示为一个高维向量，向量的每个维度对应一个词汇，向量元素的值表示该词汇在文本中的重要性，如词频、TF-IDF值等。由于文本中词汇的数量通常远大于实际出现的词汇数量，因此这些向量中大部分元素为0，形成了稀疏矩阵。而词嵌入技术（如Word2Vec）将每个词汇映射到一个低维向量空间，向量的每个维度表示词汇的某个语义特征，既能捕捉词汇间的关联性，又提升了计算效率。特征提取与表示（1）词袋模型词袋模型统计每个词汇在文档中出现的频率，并将这些频率作为特征向量。词袋模型忽略词汇的顺序和上下文关系，只关文本2：篮球比赛太精彩了。注词汇的出现次数。使用的步骤为：①构建词汇表②词频统计③向量化文本1：我喜欢看篮球比赛。文本2：篮球比赛太精彩了。根据句子构建词汇表，并建立索引映射关系，如下表：词汇表我喜欢看篮球比赛太精彩词汇索引1234567我喜欢看篮球比赛词向量：[1，1，1，1，1，0，0]篮球比赛太精彩了词向量：[0，0，0，1，1，1，1]词袋模型简单高效，计算成本低，缺点是忽略语序和语义，无法捕捉单词之间的上下文关系，且当词汇量规模过大时会产生高维稀疏向量特征提取与表示（2）Word2Vec一种把词语转换成数字“向量”的方法，这样计算机就能理解词语之间的关系。它其实是一个比较简单的神经网络模型，把每个词变成一个低维的数字列表（向量），并且可以让相似意思的词在数字空间里靠得更近。输入：词语的字符串（如“人工智能”）。2.特征提取：通过神经网络学习权重矩阵W,将词语映射为稠密向量。向量数值由上下文词语共同约束优化生成。输出：低维实数向量（如[0.24,-0.57,…,0.33]）每个维度隐含潜在语义特征（如“性别”、“动作”、“情感”等）。模型训练与推理本阶段通过特征数据构建计算模型完成语言理解或生成任务。模型选择需结合任务复杂度与数据规模。传统机器学习适用于小规模简单任务深度学习适用于复杂序列任务预训练大模型适用于多任务/少样本场景自然语言处理相关工具分类工具名称功能特点通用NLP工具NLTK支持文本处理、词性标注等任务，适合教学与科研StanfordNLP支持词性标注、命名实体识别等功能，解析能力强spaCy具有高效处理能力，支持多语言，适用于大规模文本处理PaddleNLP功能强大，覆盖多种NLP场景，提供产业级效果中文NLP工具HanLP开源且功能全面，适用于各种NLP任务，基于双引擎LTP具有分词、句法分析等功能，可在线演示NLPIR/ICTCLAS支持中文分词、词性标注、命名实体识别等THUCTC是中文文本分类工具包，能实现文本分类功能02自然语言处理的基础任务自然语言处理的基础任务自然语言处理的基础任务是构建语言智能的核心模块，它们从不同维度解析语言的结构与语义，为上层应用提供技术支持。本节将对命名实体识别、文本分类、文本相似度分析和情感分析四项基础任务进行介绍，同时借助哈工大的LTP平台、HanLP多语种自然语言处理工具包对NLP基础任务进行实例展示。命名实体识别命名实体是文本中具有特定意义或指代特定对象的专有名词，这些实体通常具有唯一性和明确类别属性。例如人名“爱因斯坦”、地名“巴黎”、组织名“联合国”等，这些实体承载了文本的核心信息。命名实体可以根据应用场景和标注规范对命名实体分类，见下表：类别定义与示例人名真实或虚构的人物名称，如“鲁迅”“孙悟空”地名地理区域或自然景观，如“珠穆朗玛峰”“上海市”组织名机构、企业或团体名称，如“世界卫生组织”“华为技术有限公司”时间具体时间点或时间段，如“2023年”“公元前220年”。日期日历日期，如“9月15日”“中秋节”货币金额及货币单位，如“500美元”“¥1000”其他专有名词特定领域的专有名词，如科技领域的“人工智能”、医学领域的“糖尿病”等命名实体的分类命名实体识别命名实体识别（NamedEntityRecognition,NER）的任务是从非结构化文本（指没有固定格式或预定义结构的数据）中自动识别并分类这些实体，是信息抽取、知识图谱构建等任务的基础技术。NER通过上下文语义分析，将文本中的实体标记为预定义类别，如人名、地名、时间等。

案例：鲁迅于1881年9月25日出生于浙江绍兴。使用LTP平台分析后的结果显示，“鲁迅”为人名，“浙江”“绍兴”为地名。（注：LTP平台提供最基本的三种实体类型人名、地名、机构名的识别，因此未标注时间、日期。线上的字母表示两个连线词之间的关系。例如，SBV表示主谓关系，ATT表示定语关系。词下面的nh、v、ns等表示词性，例如，nh表示人名，v表示动词。）命名实体识别命名实体的多样性、歧义性、动态性、复合性以及嵌套性等特点给NER工作带来了诸多挑战。多样性：“中国”可简称为“中”，“美国”可写作“USA”歧义性：“苹果”在“我买了一个苹果”这句话指的是水果，而在“苹果公司发布了新手机”中则代表企业名称。动态性：2024年以前没有这个“deepseek”大模型。嵌入性：“北京大学”，外层实体：北京大学（机构名），内层实体：北京（地名）但这些挑战也促使其不断创新。通过上下文分析、领域自适应、数据增强和动态更新等技术，NER系统提升了准确率和应用能力。未来，结合知识图谱和预训练模型，NER将更高效、精准、智能。文本分类文本分类是NLP核心任务之一，旨在将文本数据自动分到预定义类别中，类别可包括情感倾向（如正面、负面、中性）或主题类别（如体育、政治、科技、娱乐等）。其目标是通过算法模型分析文本内容、理解语义，将文本归到最合适的类别，实现这一过程的算法模型称为分类器。①按预定义类别，文本分类分二分类和多分类。如判断邮件是否为垃圾邮件是二分类，将文本主题分为体育、政治等是多分类，多分类可通过二分类实现。②从文本标注类别看，分单标签和多标签。单标签指文本只归为一类，多标签指文本可关联多个类别，例如一段话同时有悲伤、愤怒情绪。文本分类的意义文本分类在信息时代意义重大。互联网发展使文本数据呈指数级增长，人工分类耗时费力且难保证准确性和一致性，而自动化文本分类能快速、准确处理和检索大量文本数据，节省人力和时间成本。其应用场景广泛，包括情感分析、垃圾邮件过滤、新闻分类、事件预测、自然语言推理和关系分类等。新闻分类事件预测关系分类文本分类通过人工设计特征，利用统计模型学习分类，如朴素贝叶斯、支持向量机等。01传统机器学习方法用神经网络自动学习语义特征，如TextCNN、RNN、LSTM等模型。02深度学习方法先预训练模型再微调，适应具体分类任务，如BERT、GPT等。03预训练模型方法文本分类的实现方法文本分类一个文本分类的基本过程如图所示，文本数据经过预处理和特征工程后，送入训练好的分类器中，最终输出文本的类别标签。文本分类基本流程文本相似度分析文本相似度分析是指通过某种量化手段来比较两段文本之间的相似程度。这种相似度可从文本的内容、结构、语义、主题等多个方面进行对比。文本相似度分析是语言智能的基础能力，它有助于我们理解文本之间的关联性和差异性，从而在信息检索、文本分类、问答系统、机器翻译等场景中发挥重要作用。信息检索文本分类问答系统文本相似度分析即“直线距离”，在文本处理中衡量两个文本向量（数字串）的距离，距离越小文本越相似。01欧氏距离通过两向量夹角的余弦值衡量文本相似性，值越大相似度越高，是NLP中常用指标之一。02余弦相似度03指n维空间中两点在各坐标轴上的距离之和，类似在棋盘格状街道中从一处到另一处沿街道行走的总路程（横走路程+竖走路程）。曼哈顿距离衡量两个集合相似度，为集合交集与并集的大小比值，值域0到1，值越大集合越相似。05雅卡尔指数基于汉明距离，比较两个等长字符串相同位置字符的差异，差异位越少相似度越高。04汉明相似度文本相似度度量方法文本相似度分析文本相似度分析实例对于简单任务，可使用HanLP在线演示平台进行文本语义相似度分析，如图所示情感分析情感分析的基本概念文本情感分析定义文本情感分析是指利用计算机科学、语言学等技术来识别和解释文本数据中的观点、态度或情绪。它是对带有情感色彩的主观性文本进行分析、处理和抽取的过程。简而言之，文本情感分析就是让机器理解人类语言中的主观性内容，例如喜怒哀乐、支持反对、满意不满意等。例如，若用户发布：“这家餐馆服务太差了，饭菜也不好吃，尤其是麻婆豆腐咸得很！”系统则能识别出负面情绪，甚至可以抽取“服务-差、麻婆豆腐-过咸”等改进信息反馈给经营者。可以帮助经营者及时发现问题，进而解决问题。情感分析情感分析的基本概念情感分析的任务类型①情感分类②

观点挖掘③情感倾向程度分析④情绪识别⑤反讽识别①判断文本整体的情感倾向

②例如