人工智能：从基础到实践（微课视频版） 课件 第1-4章 人工智能绪论-机器学习基础

人工智能绪论任课教师:CONTENT目录人工智能概述01人工智能的发展02人工智能分类03生成式人工智能04人工智能发展趋势0501人工智能概述古代对智能的理解1荀子对智能的定义古代哲学家荀子在《荀子·正名篇》中提出，智能是认知活动中展现的特定心理特质，是人类理解和处理信息的能力。2王充的“智能之士”概念东汉学者王充在《论衡·实知篇》中首次提出“智能之士”，强调通过学习和提问来提升智能，认为人才应具备一定水准的智能素养。3古代对智能的综合理解古代中国学者普遍认为，智能不仅包括知识和理解能力，还包括运用这些知识解决问题的能力，是对个体综合能力的全面评估。现代心理学对智能的理解（EdwardLeeThorndike）社会性智能涉及理解他人、管理人际关系的能力，是人际交往中不可或缺的一部分，对促进社会和谐与个人成功有重要作用。机械性智能关乎对工具和机械的认知与运用，这种智能使得人类能够创造并有效使用各种机械设备，极大地提高了生产效率。抽象性智能体现在对观念和符号的理解及应用方面，使人们能够进行逻辑推理、解决问题，并在科学、数学等领域取得进步。人工智能的孕育亚里士多德与形式逻辑古希腊哲学家亚里士多德在《工具论》中提出形式逻辑，为演绎推理奠定基础，其三段论至今仍是逻辑思维的核心。图灵机的抽象概念英国数学家图灵提出图灵机模型，虽非实体设备，却精准模拟人类数学计算过程，为电子计算机研发提供理论支撑。冯·诺依曼结构的影响约翰·冯·诺依曼阐述的计算机体系架构，即“冯·诺依曼结构”，明确了计算机采用二进制等关键要素，对后世影响深远。冯·诺依曼结构的贡献冯·诺依曼结构的提出冯·诺依曼结构采用二进制作为基本计算方法，这种方法简化了计算机的设计和操作，提高了计算效率。二进制计算方法的应用冯·诺依曼结构引入了程序存储与运行机制，使计算机能够按照预设的程序自动执行任务，极大地扩展了计算机的功能和应用范围。程序存储与运行机制的创新约翰·冯·诺依曼1945年提出了计算机的体系架构，即冯·诺依曼结构，为后续电子计算机的研发与实现提供了至关重要的理论支撑。图灵测试的提出与争议图灵测试的提出1950年，图灵发表《计算机与智能》，提出图灵测试，通过问答判断机器是否具备人类智能，成为人工智能领域的重要里程碑。图灵测试的争议尽管图灵测试被广泛接受，但也有人质疑其只关注结果，无法深入探究机器的思维过程，如中文屋思想实验所示。图灵测试的影响图灵测试不仅推动了人工智能的发展，也引发了对机器智能本质的深入思考，至今仍是衡量机器智能的重要准则之一。人工智能的诞生达特茅斯会议的意义231人工智能术语的正式提出在1956年的达特茅斯会议上，"人工智能"这一术语被正式提出，标志着人工智能作为一个独立学科的诞生，为后续研究奠定了基础。LISP语言达特茅斯会议后，麦卡锡开发了LISP语言，这是第一个专为人工智能设计的程序设计语言，极大地推动了AI技术的发展和应用。确立人工智能研究领域通过达特茅斯会议，人工智能作为一个独立的研究领域被广泛认可，吸引了众多科学家投身于AI的研究，加速了该领域的进步。人工智能的概念与特征跨界融合的复杂特征人工智能结合了计算机科学、数学和神经科学等多学科知识，促进了不同领域间的深度融合与发展。自主智能系统的特征自主智能系统无需人为干预，通过先进智能技术实现操作与管理，如无人机和自动驾驶汽车等。混合智能的新特征混合智能将生物智能与机器智能结合，创造出性能更强的新型智能系统，引领未来技术发展。概念：人工智能是利用数字计算机模拟、延伸和拓展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。1.知识表示包括符号表示法和连接机制表示法；符号表示法适用于逻辑性知识，连接机制表示法模拟人脑神经元结构。2.机器感知旨在赋予机器类似人类的感知能力，包括机器视觉和机器听觉；模式识别与自然语言理解是机器感知的两个研究方向。3.机器思维是人工智能的核心，依靠机器思维模拟人类思维活动，使其具备逻辑思维和形象思维能力。4.机器学习研究如何赋予计算机类似人类的学习能力，通过多样化的学习途径自动获取知识和技能，实现自我完善。5.机器行为可类比于人类的行为能力，包含计算机的表达能力和智能机器人的操作能力；实现依赖于机器感知与机器思维。人工智能的基本研究内容人工智能的发展02推理期（1956-1970）推理期是人工智能的萌芽阶段，以符号逻辑和推理机制为基础，旨在使计算机模拟人类智能行为，但受限于形式化表达。知识期（1970-1990）知识期标志着人工智能从理论转向实际应用，通过嵌入人类知识，专家系统在特定领域内进行决策和推理，推动了AI的发展。学习期(21世纪~)学习期以深度学习技术为核心，通过大数据驱动，使人工智能从“制造”智能转向“习得”智能，实现了复杂任务的高效处理。推理期成果与局限推理期成果在推理期，人工智能取得了显著的成果，如专家系统、机器学习算法等，成果为人工智能的发展奠定了基础。推理期局限推理期的人工智能仍存在局限性，如知识表达形式化、缺乏常识性知识获取等，限制了其应用范围。知识期的挑战与突破知识工程的兴起20世纪70年代，人工智能研究进入知识期，核心在于将人类知识以规则的形式嵌入计算机系统，实现特定领域的决策支持。专家系统的突破专家系统作为知识期的代表性成果，通过模拟人类专家的决策过程，在医疗诊断、金融分析等领域取得显著成效。知识获取的难题尽管专家系统取得了成功，但知识获取和表示的难题限制了其进一步发展，成为知识期面临的主要挑战之一。机器学习的引入为解决知识获取难题，研究者开始探索机器学习方法，使机器能够从数据中自动学习知识，提高智能系统的自主性。学习期的深度学习010203深度学习的突破2012年，杰弗里·辛顿等人提出了深度神经网络算法，通过模拟人脑的神经网络结构，实现了从“制造”到“智造”的飞跃。大数据驱动的学习深度学习技术通过大量数据训练，自动从数据中学习特征和模式，极大地提高了处理复杂任务的能力，推动了人工智能的发展。应用领域广泛深度学习在图像识别、语音识别、自然语言处理等领域取得了显著成果，广泛应用于医疗、金融、交通等多个行业。03人工智能的分类计算智能、感知智能、认知智能020301计算智能计算智能专注于数据处理与优化，通过数学模型和算法模拟人类的计算能力，解决复杂问题。感知智能感知智能使机器具备视觉、听觉等感知能力，能够识别图像、语音等信息，实现与环境的交互。认知智能认知智能赋予机器理解、推理和决策的能力，处理抽象概念和复杂任务，推动人工智能向更高层次发展。计算智能、感知智能、认知智能对比弱人工智能与强人工智能弱人工智能定义弱人工智能专注于特定任务，无法超越设计范围，如语音助手Siri，仅在特定领域实现一定程度的智能化操作。强人工智能定义强人工智能具备与人类相当的通用智能，能够解决各种问题，如理论上的通用AI，具备自主意识。弱人工智能特点弱人工智能具有高效、精准的特点，缺乏通用性与自主意识，应用于推荐算法、自动驾驶等领域。强人工智能特点强人工智能拥有广泛、多领域的智能，能跨领域学习并适应新任务，具备创造力和理解能力。弱人工智能与强人工智能对比分析04生成式人工智能GAI(GenerativeArtificialIntelligence)生成式人工智能（GenerativeArtificialIntelligence）通过对大量数据的学习和理解，生成与训练数据具有相似特征但又全新的内容。生成式人工智能不仅能够对输入数据进行分类、识别或预测，还能够自主生成全新的数据样本，从而在内容创作、设计优化、数据增强等多个领域展现出巨大的应用潜力。目前较具代表性的生成式人工智能工具有DeepSeek、Kimi、ChatGPT、GPT-4、Gemini、星火认知大模型、文心一言、智谱请言等.Transformer模型010203自注意力机制是Transformer模型的核心，它允许模型在处理每个元素时动态地关注输入序列中的所有其他元素，从而有效捕捉不同位置间的依赖关系。编码器-解码器架构其中编码器负责提取输入数据的特征，而解码器则根据这些特征生成最终结果，广泛应用于机器翻译和文本生成等任务。应用领域与挑战在自然语言处理和计算机视觉等领域取得了显著成就，如BERT、GPT系列模型，但同时也面临着计算资源需求高和调优难度大的挑战。思维链技术思维链技术概述一种模拟人类思考过程的算法，通过构建一系列逻辑推理步骤来解决问题，能够有效地处理复杂的决策和问题解决任务。应用领域广泛思维链技术在多个领域展现出其强大的应用潜力，包括自然语言处理、机器人导航、游戏策略等，帮助机器更好地理解和适应复杂环境。挑战与未来方向面临理解深度、计算资源和算法效率等挑战，未来的研究将致力于克服这些限制，推动技术的进一步发展。人类反馈学习010203人类反馈的定义与重要性人类反馈学习通过收集和利用人类对机器输出的反馈来改进算法性能，包括有监督和无监督两种形式，是提升机器学习模型理解和处理复杂任务能力的关键。人类反馈应用在深度学习领域，人类反馈是获取标注数据的主要途径之一，如AlphaGo通过与人类高手对弈获取反馈优化策略，以及生成式对抗网络利用人类判断生成高质量合成数据。挑战与解决方案获取高质量的反馈并不容易，存在耗时、成本高昂等问题。解决方法包括使用众包平台收集大规模标注数据，开发半监督和无监督学习方法减少对人工标注的依赖。生成式人工智能的应用场景216543文本生成图像生成视频生成代码生成辅助阅读PPT生成应用于新闻撰写、格式文本创作、风格改写以及聊天对话，具备上下文理解和高质量语言生成能力。用于艺术创作、游戏设计、虚拟现实，根据用户需求生成不同风格的图像。用于广告制作、教育教学，根据文本描述或脚本生成视频内容，在短视频和电影制作等领域也具有潜力。应用于办公自动化和教育领域，一键生成内容大纲并辅助完成PPT的设计制作。应用于教育和信息获取，能够根据用户输入的文本内容生成摘要、解释、翻译或问题回答。应用于软件开发、教育和编程辅助，能根据自然语言描述生成代码片段，提高开发效率。面临的挑战与前景技术发展趋势生成式人工智能在文本、图像、视频和代码生成方面展现出巨大潜力，但也面临内容可控性、真实性及版权问题的挑战。潜在应用领域从金融风险评估到医疗诊断，生成式人工智能的应用前景广阔，但需解决技术难题以实现更广泛的行业应用。05人工智能发展趋势技术发展趋势新型机器学习算法不断涌现，并推动着技术边界拓展，提升AI模型在图像识别、语音识别、自然语言处理和自动驾驶等任务中的性能。1.新型机器学习算法的探索人工智能正朝着从“感知智能”向“认知智能”转化的方向发展，未来，AI将结合知识图谱、因果推理等技术，实现从感知到认知的关键突破。2.从感知智能向认知智能的演进量子计算的并行处理能力将极大地提升AI模型训练速度和精确度，为深度学习、机器学习等领域带来前所未有的计算能力。3.量子计算与人工智能的融合5G、大数据中心、人工智能等新型基础设施的建设将促进多智能体协同，放大其在智能交通和物流配送等领域的价值。4.多智能体协同的群体智能成为可能脑机接口技术将在辅助残障人士、远程控制机器人等方面实现突破，逐步走向成熟，也将重塑人与机器之间的关系。5.脑机接口技术的发展潜在应用领域ID潜在应用领域1金融领域2智能制造领域3智能教育领域4智能物流领域5市场营销领域6音乐创作与表演领域7体育训练与竞赛领域8美术创作与设计领域9智能体举例：金融领域的应用财务风险评估通过机器学习和数据分析，能更准确地评估信用风险和市场风险，做出更合理的贷款决策。财务报表分析AI技术可以自动处理大量财务数据，快速生成报表，帮助分析师高效识别关键财务指标，提升工作效率。投资决策支持AI能够预测市场趋势，为投资者提供科学的投资建议，优化投资组合。智能客服应用智能客服通过自然语言处理技术理解客户查询，提供准确回答，显著提高服务效率和客户满意度。举例：教育领域的变革智能教学系统智能教学系统通过整合AI、大数据和自然语言处理技术，为教育提供高效、个性化的解决方案，改变传统教学方式。教育机器人应用教育机器人在课堂教学中的应用日益广泛，成为教师的得力助手和学生的亲密伙伴，激发学习兴趣，培养综合能力。举例：物流与市场营销优化智能物流路径规划通过人工智能技术，企业能优化物流路径，减少运输成本和时间，提升效率与客户满意度。市场营销数据分析利用AI分析消费者数据，提高市场细分精度，深化客户需求理解，为营销策略提供科学依据。THANKS！谢谢！第二章编程与数据分析应用任课教师:CONTENT目录Python概述01基础语法02数据类型与变量03字符串操作04基本运算符与表达式05控制结构06组合数据结构07函数08CONTENT目录库的导入与应用09数据处理与分析10数据可视化11森林火灾数据集分析实验12智能化编程概念1301Python概述解释型语言特点Python解释型语言特性Python是一种解释型语言，意味着其代码无需编译即可运行，这使得开发过程更加灵活和快速。01开发环境搭建安装Python解释器安装Python解释器是开发环境搭建的第一步，通过访问官方网站下载并安装最新版本的Python，确保编程基础环境的建立。选择开发工具根据个人需求选择合适的开发工具，如IDLE、PyCharm或JupyterNotebook，这些工具提供不同级别的代码编辑和调试支持。安装与导入0103安装Python解释器安装Python解释器是进行Python开发的第一步，因为Python是解释型编程语言，需要通过解释器来运行用Python语言写的代码。IDLE的使用IDLE是Python自带的IDE，具有代码编写、分析、编译、调试等功能，可以帮助用户在使用Python语言开发时提高效率。PyCharm和JupyterNotebook的介绍PyCharm是由JetBrains公司开发的一款专业的Python集成开发环境，提供了一整套工具，包括强大的代码补全、错误检查和快速修复功能；JupyterNotebook是一个开源的Web应用程序，允许用户在浏览器中直接编写代码并立即查看结果。0202基础语法注释规则010302单行注释的使用在Python中，单行注释以`#`符号开始，直至行尾。这种注释方式适用于简短的说明或解释，有助于提高代码的可读性和维护性。多行注释的应用Python中的多行注释通过三引号实现，适用于较长的文本说明，如版权信息、功能描述等，使代码结构更加清晰，便于理解。注释的选择与实践根据注释内容的长短和复杂程度，合理选择单行或多行注释。适当的注释不仅提升代码可读性，还能帮助团队成员快速掌握代码逻辑。代码缩进Python采用代码缩进和冒号“:”区分代码之间的层次，通常每个缩进级别使用四个空格或一个Tab键。输入输出函数010203输入函数的基本用法`input()`函数在Python3中用于接收用户的键盘输入，当解释器遇到`input()`时，会等待用户输入内容，回车后即提交内容。输出函数的语法和参数`print()`函数用于将数据输出到屏幕上，它可以输出一个或多个值，并且可以指定分隔符、结束字符等。输入输出函数示例这些函数是Python编程中进行基本输入输出操作的重要工具，它们使得程序能够与用户进行交互。03数据类型与变量数据类型介绍数字类型Python中的数字类型包括整数型、浮点数型和复数型，分别用于表示正负整数、小数以及数学中的复数形式，是进行数值计算的基础。字符串与列表字符串用于存储文本数据，是不可变的字符序列；列表则是可变的元素集合，支持存储不同类型的数据，两者在数据处理中扮演着重要角色。元组、字典与集合元组作为不可变的有序元素集，字典存储键值对映射关系，而集合则存放无序且不重复的元素，这些数据结构为Python编程提供了丰富的数据操作方式。变量定义规则0103变量的直接赋值在Python中，变量无需事先声明即可通过赋值创建，支持多种数据类型，如字符串、整数等，简化了编程过程。变量命名规则变量名必须以字母或下划线开头，可包含字母、数字和下划线，且不能使用Python保留字，保证了代码的清晰与规范性。大小写敏感性Python对变量名的大小写敏感，意味着`age`和`Age`被视为不同的变量，这要求程序员在编写代码时注意一致性。0204字符串操作拼接与检索字符串拼接将多个字符串连接成一个更长的字符串的操作，广泛应用于动态生成文本、数据格式化输出（如报告生成、用户提示信息）以及代码中的变量组合等场景。获取字符串长度或字节数通过内置函数（如

len()）计算字符串字符数或编码后的字节数，常用于数据校验、内存优化、网络传输及文本分析（如统计词频、字符分布）等场景

。检索字符串通过查找子串、匹配模式或定位特定字符位置来定位目标内容，广泛应用于文本搜索（如关键词匹配）、数据清洗（如提取特定字段）、正则表达式验证（如邮箱格式校验）、日志分析（如错误信息定位）及自然语言处理（如词频统计）等场景。格式化方法123使用%操作符格式化在Python中，%操作符提供了一种简单的方式来格式化字符串，通过指定转换说明符和参数，可以灵活地控制数字的显示方式，如对齐、宽度和小数点精度。format()方法介绍format()方法是Python2.6引入的一种更强大的字符串格式化工具，它允许通过花括号{}和冒号来指定占位符和数据类型，支持复杂的格式定制，如对齐方式和字段宽度。格式化参数详解format()方法中的参数包括索引位置、对齐方式、符号显示、前缀选择、字段宽度和小数精度等，这些选项使得字符串格式化更加灵活和精确，满足各种显示需求。05基本运算符与表达式运算符与表达式01020304算术运算符用于数值计算，包括加减乘除、取模、整除和幂运算，（如

+、-、*、/、%、//、**）。赋值运算符将右侧的值或运算结果赋给左侧变量，并支持复合操作，（如=、+=、-=、*=、/=、%=、**=、//=）。比较运算符比较两个值的关系（如

==、!=、>、<、>=、<=）或检测成员资格（如

in、notin），返回布尔值。逻辑运算符对布尔值进行组合运算（如

and、or、not），优先级低于比较运算符，支持条件表达式（如

xifCelsey）。运算符优先级123运算符优先级基础运算符优先级决定了表达式中各运算符的计算顺序，确保数学运算的准确性。了解并正确应用这些规则是编程和数学计算的基础。常见运算符优先级在多数编程语言中，乘法和除法通常优先于加法和减法执行，而括号可以改变默认的运算顺序，提供灵活性以适应不同的计算需求。优先级错误的影响忽视运算符优先级可能导致计算结果错误，这在编程中可能引发逻辑错误或运行时错误，强调了掌握运算符优先级的重要性。06控制结构控制流逻辑010302选择结构在控制流中的作用选择结构是编程中实现条件判断的基础，通过if、if-elif和if-elif-else语句，程序能够根据不同条件执行不同的代码块，实现灵活的逻辑分支。循环结构的应用场景循环结构允许程序重复执行特定代码段，直到满足退出条件。while循环适用于未知次数的重复任务，而for循环则常用于已知次数的迭代过程，如遍历数据集合。跳转语句增强程序灵活性跳转语句如break提供了在循环中提前退出的能力，使得程序能更灵活地应对运行时的特定情况，从而优化控制流并提高代码的可读性和效率。选择结构01020304if-elif-else语句通过依次检查多个条件，当某个条件满足时执行对应代码块，若所有条件均不满足则执行else子句（若存在），常用于需要根据不同条件执行不同操作的场景。if的嵌套在一个if语句的代码块中再包含另一个if语句的结构，用于处理更复杂的条件逻辑，常应用于需要多层次条件判断的场景。单分支if语句根据布尔条件的真假来决定是否执行特定的代码块，是最基本的条件控制结构。双分支if-else语句根据条件判断执行两种不同代码块的逻辑结构，常用于需要二选一执行的场景。循环结构010302`while`循环的应用`while`循环在条件为真时重复执行代码块，适用于未知迭代次数的场景。例如，使用`while`循环打印自然数1到10，通过更新条件变量控制循环结束。`for`循环的使用`for`循环用于已知迭代次数的情况，常与`range()`函数结合使用生成序列。例如，输出自然数1到10，通过`for`循环简洁地实现。循环嵌套与跳转语句循环嵌套允许在一个循环内再嵌套另一个循环，实现复杂逻辑。跳转语句如`break`和`continue`用于控制循环流程，分别用于跳出循环和跳过当前迭代。跳转语句应用使用`break`语句控制循环`break`语句在Python中用于立即终止循环，无论是`while`还是`for`循环，一旦执行到`break`，循环将停止执行，直接跳出循环结构。利用`continue`跳过当前迭代在循环体中使用`continue`语句可以跳过当前迭代的剩余部分，直接进入下一次循环的开始，这在处理数据时非常有用，尤其是需要根据条件跳过某些特定情况时。嵌套循环中的跳转控制当`break`或`continue`语句位于嵌套循环中时，它们仅影响最内层的循环。`break`会跳出最近的内层循环，而`continue`则会导致最近的内层循环跳过当前迭代。07数据结构列表元组操作010203列表的基本操作列表是Python中常用的数据结构，支持元素的增加、删除和修改。通过append()、insert()、remove()等方法，可以灵活地对列表进行操作，满足各种数据处理需求。元组的特性与操作元组是Python中的不可变序列，一旦创建就不能修改其内容。虽然不能直接修改元组元素，但可以通过组合操作生成新的元组，实现数据的重新组织。列表与元组的区别列表和元组的主要区别在于可变性。列表允许在运行时动态地添加、删除和修改元素，而元组则不允许这些操作。这使得列表更适合需要频繁修改数据的场景，而元组则适用于存储固定不变的数据。字典集合使用创建与初始化字典在Python中，字典的创建既可以通过花括号{}直接定义键值对，也可以使用dict()函数，提供了灵活的方式来初始化字典，为数据存储和操作打下基础。修改与删除字典元素字典元素的添加或修改通过简单的赋值操作实现，而删除则可通过del语句或pop()方法完成，这些操作使得字典的管理变得高效且直观。遍历与查找字典遍历字典可通过keys()、values()及items()方法实现，分别用于访问字典的键、值及键值对，而in关键字则提供了一种简便的方法来检查键是否存在于字典中。08函数函数定义调用010203函数定义基础在Python编程中，函数是实现代码重用和模块化的关键。通过`def`关键字定义，后接函数名和括号包围的参数列表，函数体内部的代码块需缩进以表明其归属。函数调用过程函数调用是执行已定义函数的行为，需要传递正确数量和类型的参数。调用时使用小括号，并可接收返回值用于进一步处理，这是实现功能复用的核心步骤。实例解析与应用通过生成指定长度的斐波那契数列和冒泡排序算法对列表排序这两个例子理解函数的定义与调用。参数传递方式位置参数位置参数是Python函数中最常见的参数传递方式，调用时需按照定义顺序传入参数值，如`add(1,2)`直接对应于函数内定义的参数。关键字参数关键字参数允许调用者通过参数名传递值，无需关心参数的顺序，提供了更高的灵活性和代码的可读性，例如`greet(name="Alice",greeting="Hello")`。默认参数与可变长度参数默认参数​​为函数参数提供预设值，在调用时可省略对应参数，简化了函数的使用；而​​可变长度参数​​通过

*args

接收任意数量的位置参数，**kwargs

接收任意数量的关键字参数，极大地增强了函数的灵活性和适应性。变量作用域010203局部变量在函数或代码块内部定义的变量，其作用域仅限于该函数或代码块内，外部无法访问，函数执行结束后会被销毁，常用于存储临时数据以避免命名冲突和提升代码封装性。全局变量在函数或代码块外部定义的变量，可在整个程序范围内访问和修改，常用于跨函数共享数据。global语句用于在函数内部声明一个变量为全局变量，使其能够被修改（而非仅读取），从而突破函数作用域的限制。09库的导入与应用安装与导入方法010203安装Python第三方库使用pip工具在线安装Python第三方库，通过简单的命令行操作，即可完成库的下载与安装，为数据分析和可视化提供强大支持。导入第三方库在Python脚本中导入已安装的第三方库，通过import语句引入，使得代码能够调用库中的函数和方法，实现特定的数据处理和分析功能。安装AnacondaAnaconda是Python的一个免费开源发行版本，包含众多科学计算和数据分析相关的库，通过其内置的包管理器可以方便地安装和管理第三方库。常用库介绍Python标准库。Python标准库​​是Python内置的一系列模块和包的集合，提供了丰富的基础功能，无需额外安装即可直接使用，是Python高效开发的核心资源。。Python第三方库介绍Python的第三方库是由社区开发并发布到PyPI上的可复用代码，用于解决特定问题，增强Python的功能和灵活性。Jieba库的应用Jieba是一个用于中文分词的第三方库，支持精确模式、全模式和搜索引擎模式，适用于文本分析和搜索引擎优化。NumPy库的应用NumPy提供了高性能的多维数组对象和处理数组的函数，是科学计算和数据分析任务的基础库之一。10数据处理与分析数据分析流程02030104数据收集数据收集是数据分析的第一步，常见的途径包括文件读取、网络爬虫、数据库查询和传感器采集等。数据清洗数据清洗是数据分析的关键步骤，涉及识别和修正数据集中的错误、不完整或不准确的部分，确保数据质量

，主要任务包括处理缺失值、异常值、重复数据，统一格式与结构。数据分析与建模探索数据规律，通过统计分析、数据可视化等手段发现数据的特征和规律，另一方面，根据问题的性质选择合适的模型进行建模，以挖掘数据背后隐藏的信息和关系，为决策提供支持。结果呈现可以通过制作图表（如柱状图、折线图、饼图等）、撰写报告等形式展示分析结论。数据分析工具123Python的广泛应用Python因其易学易用和强大的扩展性，在数据分析领域得到广泛应用。其跨平台特性使其能在多种操作系统上运行，极大地方便了数据分析师的工作。Pandas数据处理能力Pandas作为强大的数据处理库，提供了丰富的数据结构和操作方法，使得数据清洗、转换和聚合变得简单高效，支持多种数据格式的读取和写入。Matplotlib的可视化Matplotlib是广泛使用的绘图库，可以将数据以各种静态、动态、交互式图表等可视化的形式呈现出来，直观展示数据分析结果。数据收集——文件读取处理123文本文件读取使用Python内置的open()函数，通过read()或readlines()方法读取文本文件内容，适用于简单的文本数据处理和分析。CSV文件读取利用csv模块的reader()函数或Pandas库的read_csv()函数，可以高效地读取CSV格式的数据，便于进行数据清洗和预处理。Excel文件读取通过pandas库的read_excel()函数或openpyxl库，能够轻松读取Excel文件中的数据，支持多种数据格式和复杂的数据分析需求。数据清洗213处理缺失值数据清洗中，处理缺失值是基础且关键的一步。通过删除或填充含有缺失值的记录，确保数据集的完整性和准确性，为后续分析打下坚实基础。识别与纠正异常值在数据分析过程中，异常值可能扭曲结果。通过识别并纠正这些不符合正常模式的数据点，可以提升模型预测的准确性和可靠性。数据类型转换与字符串处理将数据列的类型转换为适合分析的形式，以及去除字符串前后空格并统一大小写，是数据预处理的重要环节，有助于提高数据处理的效率和质量。11数据可视化Matplotlib绘图折线图的绘制使用Matplotlib库，通过简单的代码即可绘制出展示数据趋势的折线图，适用于时间序列数据的可视化，帮助用户直观理解数据变化。散点图的应用散点图是探索数据分布和关系的强大工具，Matplotlib提供了丰富的参数选项，如颜色、大小和透明度，使得数据点的展示更加灵活多样。条形图与直方图条形图和直方图是两种常见的图表类型，分别用于比较不同类别的数据和展示数据的频率分布，Matplotlib让这两种图表的创建变得简单快捷。Wordcloud词云图词云图的定义与应用词云图是一种数据可视化工具，通过不同大小和颜色的字体展示文本中词语的频率，广泛应用于市场分析、舆情监控等领域。如何制作有效的词云图制作有效的词云图需选择适当的词汇和布局，确保信息清晰可读，同时利用色彩对比增强视觉效果，提升数据表达的准确性。词云图在数据分析中的作用词云图在数据分析中扮演重要角色，它帮助分析师快速识别关键词汇，揭示文本数据的主要趋势和模式，促进深入洞察。12森林火灾数据集分析实验实验环境准备在进行数据分析前，确保已安装必要的库如numpy、pandas、matplotlib等，并从官网下载森林火灾数据集文件。数据集描述本实验使用的森林火灾数据集包含葡萄牙东北部Monteinho公园的火灾记录，涵盖地理坐标、日期、火情发生月份等关键信息。数据探索分析利用numpy、pandas和matplotlib库对森林火灾数据集进行探索性数据分析，发现烧毁面积呈长尾分布，某些月份和星期的火灾发生率较高，温度与烧毁面积可能存在正相关，并为进一步分析其他气象因素与火灾关系及森林火灾预防提供了数据支持。数据探索步骤数据读取与初步检查数据读取是探索分析的第一步，通过Pandas库的函数加载数据后，使用`()`、`data.head()`和data.describe()方法检查数据集的基本信息和统计摘要，了解数据结构和分布情况

。缺失值处理利用isnull()和notnull()方法检测缺失值，并通过`fillna()`或`dropna()`方法进行处理，确保数据质量根据需要选择删除或填充，保证数据的完整性

。异常值处理识别并纠正不符合正常模式的数据点，确保数据分析的准确性和可靠性

。数据可视化分析数据可视化是将复杂数据转化为直观图表的过程，使用Matplotlib工具创建图表，帮助更好地理解数据特征和规律。规律与趋势探讨温度与烧毁面积的关系通过绘制散点图，展示温度与烧毁面积之间的关系，发现二者存在正相关关系，但并非绝对。不同月份火灾次数分布利用柱状图展示不同月份的火灾次数分布情况，有助于识别哪些月份更易发生火灾。平均烧毁面积按月份统计计算并绘制各月份的平均烧毁面积柱形图，分析不同月份火灾严重程度的变化趋势。13智能化编程概念AI辅助开发020301代码自动生成利用AI技术，根据开发者的需求和上下文环境自动生成代码，显著提升开发效率，减少人为错误，使软件开发过程更加高效。智能调试与优化AI辅助开发通过智能分析代码运行状态，快速定位问题并提供优化建议，帮助开发者提高软件质量和性能，确保应用稳定运行。项目管理与协作借助AI工具，实现项目进度的智能跟踪、资源分配和团队协作优化，有效管理复杂项目，促进团队成员间的沟通与合作。代码优化调试智能调试工具的应用利用AI技术，智能调试工具如GitHubCopilot能快速定位代码错误，提供修复建议，通过自然语言处理理解代码意图，大幅减少调试时间。代码分析和优化AI技术对代码进行静态分析，发现潜在错误和性能瓶颈，通过上下文感知的代码补全工具，优化代码结构，提高代码可靠性和性能。自动化测试和文档生成集成自动化测试框架如Jest，自动生成单元测试用例，确保代码正确性；智能文档生成工具根据代码自动生成开发文档，提高开发效率。THANKS！感谢！第三章语音处理及其应用基础理论与应用实践任课教师:CONTENT目录语音处理基本概念01语音识别技术02声纹识别技术03语音合成技术04语音处理应用05Python语音处理实践0601语音处理基本概念语音信号的产生语音信号是人与人交流的自然媒介，它包含丰富的信息，如语义、情感和身份特征。在语音处理的整个流程里，从最初的文本输入到最终语音输出，语音信号贯穿始终。01语音的产生每个人的发音器官存在很大的差异性，这也导致了不同人的语音存在一定的差异性。02语音的传递以声波的形式通过空气等媒介进行传播，过程中容易受到环境因素干扰。03语音的感知由人耳和大脑共同构成的复杂的听觉系统来完成。语音信号特征213频率特性语音信号的频率特性揭示了不同频率下的能量分布，通过振幅谱和共振峰频率等参数，我们能够识别和理解各种语音音素，如元音和辅音。时长特性时长特性关注于语音中音素和音节的持续时间，这对于把握句子的节奏、语调以及区分不同的语音单元至关重要，影响着语音的自然流畅度和可懂度。振幅与共振特性振幅特性描述了语音信号的能量大小，而共振特性则涉及到特定频率下的放大或减弱现象。这两者共同作用于语音的清晰度、可懂度及音质音色的形成。处理流程概述010203语音信号采集与预处理语音信号的采集与预处理是语音处理的第一步，包括放大、增益控制、反混滤波和数字化处理，确保信号质量并转换为计算机可处理的数字格式。特征提取的重要性特征提取是从原始语音信号中提取有用信息的过程，如MFCC等声学特征，这些特征对于后续的模式识别和语音识别至关重要。模式识别技术应用模式识别利用GMM和HMM等模型对提取的特征进行分类和识别，是实现准确语音识别的关键步骤，通过统计方法理解语音信号的内在规律。核心技术模块123语音识别技术语音识别技术通过将人类语音信号转换为文本或命令，实现了人机交互的智能化。从早期的声码器到现代的深度学习模型，语音识别经历了显著的技术革新。声纹识别技术声纹识别利用个性化的语音特征来验证说话人身份，广泛应用于安全认证和智能助手等领域。其技术分类包括确认、辨认、检出和追踪，体现了高度的交互性和便捷性。语音合成技术语音合成技术将文字信息转化为自然流畅的人声，从最初的机械合成发展到现在的深度学习合成，极大地丰富了人机交互的方式和体验。02语音识别技术发展历程萌芽起步阶段20世纪50年代至70年代，语音识别技术开始萌芽，以贝尔实验室的孤立数字识别系统为起点，采用模板匹配技术如DTW和VQ，奠定了后续发展的技术基础。发展阶段20世纪80年代至21世纪初，隐马尔可夫模型与高斯混合模型成为语音识别的主流统计模型，期间李开复等开发的SPHINX系统标志着高性能连续语音识别技术的突破。应用落地阶段进入21世纪后，深度学习技术的引入极大地推动了语音识别技术的发展，神经网络的应用显著提高了识别的准确性和稳定性，使得基于神经网络的语音识别系统成为研究热点。工作原理1语音信号预处理在语音识别系统中，预处理是首要步骤，包括预滤波、采样/模数转换和分帧加窗等操作，旨在将连续的语音信号转换为适合计算机处理的数字信号。2特征提取与声学模型特征提取是从数字化语音中提取关键声学特征的过程，如MFCC和PLP，而声学模型则利用HMM等技术对时间序列进行建模，以捕捉语音的动态变化。3语言模型与搜索算法语言模型评估语句的概率，确保识别结果的语言合理性；搜索算法则负责高效地从众多可能的词序列中找到最匹配的选项，完成语音到文本的转换。目的与应用语音识别技术概述语音识别技术通过模拟信号数字化，特征提取和模式识别等步骤，实现对语音信号的识别和理解，是人机交互的重要技术。语音识别技术目的语音识别技术旨在让机器“听懂”人类语言，实现人机双向沟通，包括将语音信号转换为文本或命令，使机器能理解和执行操作。语音识别技术应用语音识别技术广泛应用于智能家居、智能助手、自动驾驶等领域，极大地提高了生活便利性和工作效率。03声纹识别技术声纹识别声纹识别（VoiceprintRecognition），是一种通过分析语音信号中的个性化特征来识别或验证说话人身份的生物识别技术。声纹识别的原理声纹识别试图寻找的是区别每个人的个性特征，而语音识别则是侧重于对话者所表述的内容进行识别。语音识别关心说的什么，声纹识别关心谁说的。声纹识别的技术分类声纹确认声纹辨认声纹检出声纹追踪04语音合成技术发展历程语音合成技术起源早期发展阶段拼接合成阶段统计参数合成阶段深度学习阶段语音合成技术起源于18世纪，最初通过机械装置模拟人类语音，随着科技发展，逐渐演变为今天的高级电子合成器。最早的语音合成系统采用录音单元拼接的方式。这种技术最大限度地保留了原始发音人的音质,自然度和清晰度都很高,达到人们能够接受的水平。进入21世纪，深度学习技术的运用极大提升了语音合成的自然度和表现力，开启了智能语音合成的新纪元。从第二次工业革命前以机械音素合成为主，到20世纪30年代的声码器发明，语音合成技术逐步实现电子化和自动化。20世纪90年代引入统计模型如HMM，使语音合成能生成更自然的语音，标志着从规则驱动向数据驱动的转变。工作流程语音合成的工作流程主要包括文本分析和语音合成两大模块，这两个阶段紧密相连，高效地完成从文本到语音的转换任务。我/喜欢/学习/人工智能/课程标注词性：名词/动词/形容词等工作流程语音合成的工作流程主要包括文本分析和语音合成两大模块，语音合成阶段则是将这些内部表示转换为声音波形，包括声学特征生成、波形合成、后处理等。语音输出波形合成后处理拼接合成统计参数合成端到端神经网络深度学习合成声学特征生成主流方法介绍WaveNet方法WaveNet是谷歌DeepMind开发的深度神经网络，通过模拟波形直接生成类人声音，显著提升了语音合成的自然度和表现力。FastSpeech系列FastSpeech系列是语音合成领域的重要成果，具备“推理速度极快”、“语音输出稳定且高质量”、“强大的可控性”等优势。Tacotron系列模型Tacotron是谷歌提出的端到端语音合成模型，简化了传统语音合成的复杂流程，提高了语音合成的速度及质量。05语音处理技术应用应用场景智能语音助手的广泛应用智能语音助手作为现代科技的产物，已广泛应用于手机、家庭音箱和车载设备中，通过先进的语音识别技术，为用户提供便捷的生活体验。语音导航系统的革新语音导航系统利用语音识别与合成技术，在车载领域实现了声控操作，极大提升了驾驶的安全性和便捷性，是智能语音技术的重要应用之一。语音交互教育产品的前景语音交互教育产品通过转录、识别和合成技术，在教育领域实现了创新应用，如AI课堂和虚拟教师，预示着教育方式的未来发展方向。智能语音助手发展历程123初期探索阶段20世纪60至80年代，语音识别系统处于探索阶段，在发展初期时，语音识别系统主要用于文字转录，准确率较低。深度学习驱动的产品智能化阶段20世纪90年代至21世纪10年代，语音助手采用隐马尔可夫模型（HMM）与高斯混合模型（GMM）成为主流，提升语音识别准确率。随着深度学习的发展，大幅提升语音识别和语义理解能力，使语音助手能支持多轮对话且具备一定的情境理解能力。大模型与多模态AI阶段21世纪20年代至今，大语言模型（LLM）如GPT-3、GPT-4的兴起，使语音助手进入多轮交互、上下文理解、个性化推荐的时代。AI可以生成更自然的对话，甚至能处理编程、创意写作等任务。工作流程1.语音唤醒通过特定词语激活设备，将设备从待机状态切换到工作模式，准备接收并处理用户的语音指令。2.语音识别将用户语音信号转换为数字信号，通过声学模型和语言模型分析，提取出文本信息以供后续处理。3.语义理解对识别出的文本进行深入分析，理解用户意图，并从中提取关键信息，为执行具体任务做准备。4.指令执行根据语义理解的结果，确定需要执行的任务，调用相应模块或功能组件完成操作，如查询天气、发送短信等。语音导航系统132语音导航系统概述语音导航是以语音识别、语音编解码为代表的智能语音技术,该技术应用在车载领域，实现车内语音声控操作,可改变汽车现有的人机信息交流方式，极大提升了驾驶的便捷性和安全。车载语音导航系统的关键技术车载系统的关键技术包括GPS定位、蓝牙通信、语音识别等，这些技术的应用使得车载系统更加智能化，提升了驾驶的便利性和安全性。语音导航系统的发展趋势随着人工智能技术不断达代，语音导航的语音交互将愈发精准智能，实现在更复杂环境下准确识别语音指令。还能根据用户过往出行习惯、偏好主动提供个性化建议。工作流程语音指令输入借助语音识别技术，将用户的语音转化为机器可理解的指令。路线规划语音播报借肋语音合成技术，在系统规划好从起点到目的地的路线后，将文字形式的路线信息（如“前方500米右转进入xX路”）通过语音合成转化为语音输出。智能语音助手应用综合运用语音识别、语音合成以及数据处理等技术。语音导航系统通过与交通数据中心实时连接，获取道路拥堵、事故、施工等路况信息。语音交互教育产品语音转录丰富教学模式通过语音识别实时转写教师讲课的语音为文字，可在授课视频中嵌入字幕，并进行关键词和知识点的快速定位，应用于直播课、小班课、互动课堂。语音识别系统助力口语评测语音识别系统能够准确捕捉学生的发音，实现口语评测和听力训练，为教师提供客观评价依据，促进学生口语能力提升。语音合成系统辅助阅读理解语音合成系统将文本转换为自然流畅的语音，辅助学生进行阅读和听力理解，尤其对视力障碍者提供了极大的便利。06Python语音处理实践环境搭建123安装必要库环境搭建的第一步是使用pip命令安装SpeechRecognition、pyaudio、chardet和baidu-aip等第三方库，这些库为语音识别提供了必要的支持。注册百度AI开放平台为了获取百度AI的语音识别服务，需要在百度AI开放平台官网进行注册登录，创建应用并调用百度AI服务，这是实现语音识别功能的关键步骤。获取APIKey和SecretKey在成功注册并创建应用后，需要获取APIKey和SecretKey，这两个密钥将用于验证用户身份，确保只有授权的用户才能访问和使用百度AI的语音识别服务。本地音频识别音频文件读取将读取的音频数据转换为适合语音识别模型处理的格式，如PCM编码，采样率为16000Hz，单声道。这是为了确保音频数据能够被语音识别算法正确解析和理解。音频数据处理处理后的音频数据通过HTTPPOST请求发送到语音识别服务端，服务端接收到请求后使用语音识别算法对音频数据进行分析，识别出语音内容并返回结果给客户端。发送请求与服务端处理本地音频识别的第一步是从本地文件系统读取音频文件，通常采用WAV格式。这一步骤是整个语音识别过程的基础，确保后续处理能够顺利进行。THANKS！感谢观看！第四章机器学习基础任课教师:1：基础概念1171.1:什么是人工智能、机器学习、深度学习？

118AI,ML,DL:关系与应用三者之间的关系图示:119机器学习的应用领域举例:图像识别自然语言处理(NLP)推荐系统金融风控与量化交易医疗诊断与药物研发1201.2:机器学习的分类根据数据是否有标签：有监督学习(SupervisedLearning):数据有标签(e.g.,(图片,“猫”))无监督学习(UnsupervisedLearning):数据无标签(e.g.,用户购买记录)半监督学习(Semi-SupervisedLearning):部分数据有标签根据与环境的交互：强化学习(ReinforcementLearning):通过与环境交互学习，获取奖励/惩罚其他分类角度:批量学习(BatchLearning)vs在线学习(OnlineLearning)参数化模型(Parametric)vs非参数化模型(Non-parametric)1211.3:机器学习工作流程概述问题定义与目标设定:明确业务需求，定义问题类型(分类、回归等)数据收集与理解:获取原始数据，理解数据含义、来源、质量数据预处理与特征工程(至关重要!):清洗数据、处理缺失/异常值、特征提取/转换/选择模型选择与训练:选择合适的算法，用训练数据训练模型模型评估与调优:使用评估指标衡量模型性能，调整超参数模型部署与监控:将模型集成到实际应用，持续监控性能1221.4:数据基础数据类型:结构化数据:表格数据(e.g.,数据库、CSV)非结构化数据:文本、图像、音频、视频半结构化数据:JSON,XML特征(Features)和标签(Labels):特征(X):输入变量，用于预测的属性。标签(y):输出变量，需要预测的目标(有监督学习)。123数据集的划分:训练集(TrainingSet):用于训练模型。验证集(ValidationSet):用于调整模型超参数和初步评估。测试集(TestSet):用于最终评估模型泛化能力。数据质量问题:缺失值、异常值、噪声。特征工程的重要性:从原始数据中提取有用的信息，决定了模型性能的上限。1242：有监督学习(SupervisedLearning)1252.1:有监督学习深入

126

1272.2:线性回归(LinearRegression)-单变量

128

129单变量线性回归:可视化与梯度下降

1302.3:线性回归-多变量

131

132多变量线性回归:梯度下降梯度下降(GradientDescent)变种:批量梯度下降(BatchGD):每次迭代使用所有训练样本计算梯度。优点:梯度准确，易收敛到全局最优(对于凸函数)。缺点:数据量大时，每次迭代慢。随机梯度下降(StochasticGD,SGD):每次迭代随机选一个样本计算梯度。优点:迭代快，可能跳出局部最优。缺点:梯度有噪声，收敛慢，可能在最优解附近震荡。小批量梯度下降(Mini-batchGD):每次迭代使用一小批样本计算梯度。优点:结合BGD和SGD的优点，常用。133

1342.4:线性模型扩展

135

1362.5:逻辑回归(LogisticRegression)-二分类

137逻辑回归:损失函数与多分类

138

1392.6:决策树(DecisionTrees)概念:基于特征对数据进行递归划分的树状结构模型。每个内部节点代表一个特征上的判断。每个分支代表一个判断结果的输出。每个叶节点代表一个类别标签(分类树)或一个数值(回归树)。140构建过程(ID3,C4.5,CART):选择最佳划分特征和划分点:使划分后的子集“纯度”最高。递归地构建子树:对划分后的子集重复步骤1。停止条件:节点样本全部属于同一类别。达到最大深度。节点样本数小于预设阈值。节点纯度提升小于预设阈值。141决策树:划分标准与剪枝

142剪枝(Pruning):避免过拟合。预剪枝(Pre-pruning):在构建过程中提前停止(e.g.,限制深度、叶节点样本数)。后剪枝(Post-pruning):构建完整树后，自底向上移除一些子树，用验证集评估。优缺点:优点:易于理解和可视化，可处理分类和回归，对缺失值不敏感，无需特征缩放。缺点:容易过拟合，对样本扰动敏感(不稳定)，忽略特征间关联性，倾向于选择取值多的特征(信息增益)。1432.7:集成学习(EnsembleLearning)概念:结合多个（弱）学习器的预测结果以获得比单个学习器更好的性能和泛化能力。“三个臭皮匠，顶个诸葛亮”为什么有效？统计层面:减少因随机性导致的错误。计算层面:帮助跳出局部最优。表示层面:扩大假设空间。通常能减少方差(Bagging)，减少偏差(Boosting)，提高稳定性。144常见方法:Bagging(BootstrapAggregating):并行训练多个独立模型。代表:随机森林(RandomForest)Boosting:串行训练多个模型，每个模型关注前一个模型预测错误的样本。代表:AdaBoost,GradientBoosting(GBDT),XGBoost,LightGBMStacking(StackedGeneralization):训练一个元模型(meta-model)来结合多个基础模型的预测。1452.8:随机森林(RandomForests)

146

1472.9:支持向量机(SupportVectorMachines-SVM)概念:寻找一个最优的超平面(Hyperplane)，使得不同类别之间的间隔(Margin)最大化。目标是找到“最胖”的那条分割线。支持向量(SupportVectors):距离超平面最近的那些点，它们决定了超平面的位置和间隔大小。主要思想:线性可分:找到最大间隔分离超平面。线性不可分:软间隔:允许少量样本被错误分类或在间隔内。核技巧:将数据映射到更高维空间，使其线性可分。148SVM:硬间隔与软间隔

149

150SVM:核技巧与优缺点

151

1522.10:有监督学习评估指标(分类)混淆矩阵(ConfusionMatrix):TP(TruePositive):实际为正，预测为正TN(TrueNegative):实际为负，预测为负FP(FalsePositive/TypeIError):实际为负，预测为正(误报)FN(FalseNegative/TypeIIError):实际为正，预测为负(漏报)153

154ROC曲线(ReceiverOperatingCharacteristicCurve):以假正例率(FPR=FP/(FP+TN))为横轴，真正例率(TPR=Recall)为纵轴。展示分类器在不同分类阈值下的性能。曲线越靠近左上角，性能越好。AUC(AreaUnderCurve):ROC曲线下的面积。AUC值在0.5到1之间。AUC=1表示完美分类器，AUC=0.5表示随机猜测。一个综合评估分类器性能的指标，对类别不平衡不敏感。155有监督学习评估指标(回归)

156

157交叉验证(Cross-Validation)目的:更可靠地评估模型性能，避免因单次划分数据集的随机性带来的偏差，辅助超参数调优。K折交叉验证(K-FoldCross-Validation):将原始训练数据随机分成K个互不相交的子集(折,fold)。进行K次迭代：每次选择1个子集作为验证集。其余K-1个子集作为训练集。训练模型并在验证集上评估。最终评估指标是K次评估结果的平均值。[Diagram:Illustrationof5-FoldCross-Validation]其他方法:留一法(LOOCV,K=N)，分层K折(StratifiedK-Fold,保持类别比例)。1583：无监督学习(UnsupervisedLearning)1593.1:无监督学习深入回顾:定义:从未标记的数据中学习隐藏的模式或结构。目标:发现数据本身的内在规律。常见任务:聚类(Clustering):将相似的数据点分到同一组。降维(DimensionalityReduction):减少数据特征数量，同时保留重要信息。关联规则挖掘(AssociationRuleMining):发现数据项之间的有趣关系(e.g.,“啤酒与尿布”)。异常检测(AnomalyDetection):识别与大多数数据显著不同的数据点。160与有监督学习的区别:无监督：输入数据X，无标签y。有监督：输入数据(X,y)。应用场景举例:客户分群、图像分割、文本主题建模、基因表达分析。1613.2:聚类分析(ClusteringAnalysis)

162聚类算法类型:基于划分(Partition-based):K-Means,K-Medoids基于层次(Hierarchical):凝聚型(Agglomerative),分裂型(Divisive)基于密度(Density-based):DBSCAN,OPTICS基于模型(Model-based):高斯混合模型(GMM)基于网格(Grid-based):STING,CLIQUE1633.3:K-Means聚类

164选择K值:肘部法则(ElbowMethod):绘制不同K值对应的WCSS曲线，选择曲线斜率变化最明显的“肘点”。轮廓系数(SilhouetteScore):衡量簇的紧密性和分离度。优缺点:优点:简单易实现，计算效率高(对大数据集)。缺点:需预先指定K值。对初始质心敏感，可能陷入局部最优(可多次运行取最优)。对非球形簇、不同大小/密度的簇、噪声和异常值敏感。假设簇是凸形的。1653.4:层次聚类(HierarchicalClustering)概念:构建一个树状的聚类结构（树状图Dendrogram）。不需要预先指定簇的数量K。类型:凝聚型(Agglomerative/Bottom-up):开始时，每个数据点自成一簇。重复合并最相似(距离最近)的两个簇。直到所有数据点合并成一个簇，或达到指定簇数。分裂型(Divisive/Top-down):开始时，所有数据点在一个簇。重复分裂簇(通常较复杂)。直到每个数据点自成一簇，或达到指定簇数。166簇之间的距离计算方法(Linkage):单链接(SingleLinkage/MIN):两个簇中最近样本间的距离。全链接(CompleteLinkage/MAX):两个簇中最远样本间的距离。平均链接(AverageLinkage/UPGMA):两个簇中所有样本对之间距离的平均值。Ward’sLinkage:合并后使得簇内平方和增量最小的两个簇。167树状图(Dendrogram):可视化聚类过程。横轴是样本，纵轴是距离。通过在某个距离阈值水平切割树状图，可以得到不同数量的簇。[Diagram:ExampleDendrogram]优缺点:优点:不需要预先指定簇的数量，可以得到层次结构，易于理解。缺点:计算复杂度高(通常O(N³)或O(N²logN))，对大数据集不适用，对异常值敏感，一旦合并/分裂不可撤销。1683.5:DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)

169

1703.6:聚类评估指标

171

1723.7:主成分分析(PrincipalComponentAnalysis-PCA)概念:一种常用的线性降维(DimensionalityReduction)技术。目标:找到数据中方差最大的几个正交方向(主成分,PrincipalComponents)。将高维数据投影到这些主成分构成的低维子空间上，实现降维。尽可能保留原始数据的大部分信息(方差)。为什么降维?去除冗余特征和噪声。减少计算复杂度，加速后续模型训练。数据可视化(降到2D或3D)。缓解维度灾难。173PCA:数学原理

174

175PCA:选择K值与优缺点

176优缺点:优点:简单易实现，计算效率较高。有效去除数据冗余，降低噪声。主成分之间无相关性(正交)。缺点:只捕捉线性关系，对非线性结构效果不佳。对数据缩放敏感(需要预先标准化)。主成分的解释性可能不强(是原始特征的线性组合)。可能丢失少量方差，但有用的信息。选择K值依赖经验或启发式方法。1773.8:其他降维方法线性判别分析(LinearDiscriminantAnalysis,LDA):有监督的降维方法(与PCA不同)。目标:投影后使得类内方差最小，类间方差最大。更侧重于分类任务的降维。178流形学习(ManifoldLearning):非线性降维方法，假设高维数据实际分布在一个低维流形上。目标:找到这个低维流形结构。t-SNE(t-DistributedStochasticNeighborEmbedding):常用于高维数据的可视化(2D或3D)。保留局部结构，但全局结构可能失真。计算成本高。Isomap(IsometricMapping):基于测地线距离保持点之间的全局几何结构。LLE(LocallyLinearEmbedding):假设每个数据点可以由其邻近点的线性组合来重构。保留局部邻域结构。1794：强化学习(ReinforcementLearning)1804.1:强化学习基础

181马尔可夫决策过程(MarkovDecisionProcess,MDP)

182

183贝尔曼方程(BellmanEquation)

184

1854.2:强化学习学习类型

186

187Actor-Critic:结合基于价值和基于策略的方法。Actor(行动者):学习策略。Critic(评论者):学习价值函数，用于评估Actor的行为。代表:A2C,A3C,DDPG.1884.3:动态规划(DynamicProgramming)

189

1904.4:MonteCarlo(MC)方法

191

192优点:无需MDP模型。可以从真实或模拟经验中学习。对马尔可夫性要求不高(可用于非MDP问题)。缺点:只适用于回合式任务(必须有终止状态)。学习效率较低，方差可能较高(回报依赖于整个回合)。需要等到回合结束后才能更新价值。1934.5:时序差分学习(Temporal-DifferenceLearning)

194

195Sarsa与Q-Learning(TD控制算法)

196

1974.6:强化学习案例分析经典案例(常用于研究和教学):走迷宫(GridWorld):智能体在网格中移动，目标是到达终点。小车爬山(MountainCar):小车动力不足，需来回晃动积累动能爬上山顶。倒立摆(CartPole):控制小车移动，使杆子保持平衡。棋类游戏:国际象棋(DeepBlue)围棋(AlphaGo,AlphaZero)-里程碑式突破Atari游戏(DeepQ-Network,DQN)198实际应用案例:机器人控制:机械臂操作、机器人导航、无人机飞行。自动驾驶:决策制定(路径规划、速度控制)。推荐系统:动态调整推荐策略以最大化用户长期参与度。资源调度与优化:数据中心能源管理、网络流量控制、供应链优化。金融交易:自动交易策略制定。自然语言处理:对话系统、机器翻译。1995：半监督学习(Semi-SupervisedLearning)2005.1:半监督学习(Semi-SupervisedLearning)定义:一种介于有监督学习和无监督学习之间的学习范式。训练数据同时包含少量有标签数据(labeleddata)和大量无标签数据(unlabeleddata)。动机(WhySSL?):获取有标签数据通常成本高昂、耗时费力(e.g.,需要人工标注)。无标签数据则相对容易获取且数量庞大。SSL旨在利用无标签数据来辅助学习，提高模型性能，减少对有标签数据的依赖。201

202半监督学习方法类型基于生成模型(GenerativeModelbased):假设数据是由某个潜在的参数化生成过程产生的(e.g.,高斯混合模型GMM)。利用有标签数据估计模型参数，然后用模型对无标签数据进行预测或参数修正。例如：使用EM算法。基于图的方法(Graph-basedMethods):构建一个图，节点是数据点(有标签和无标签)，边表示点之间的相似度。通过在图上传播标签信息(LabelPropagation)来预测无标签数据的标签。例如：标签传播算法、调和函数法。203基于半监督支持向量机(S3VM/TransductiveSVM):目标:找到一个超平面，在正确划分有标签数据的同时，也穿过无标签数据密度较低的区域，最大化间隔。通常是非凸优化问题，求解困难。协同训练(Co-training):前提:数据具有两个或多个条件独立的视图(特征子集)，每个视图都足以进行分类。训练两个或多个分类器，分别在不同的视图上。每个分类器将其在无标签数据上置信度最高的预测结果作为“伪标签(pseudo-labels)”提供给其他分类器进行训练。204自训练(Self-training