模式识别与数据挖掘 课件 张东祥 第1-6章-绪论、数据-专家先验驱动交互

第一章

绪论PatternRecognitionandDataMining模式识别与数据挖掘目录Contents引言Introduction模式与模式识别PatternandPatternRecognition模式识别发展简史ABriefHistoryofPatternRecognition模式识别流程PatternRecognitionProcess01020304数据挖掘发展简史ABriefHistoryofDataMining数据挖掘流程DataMiningProcess0607数据与数据挖掘DataandDataMining05本书主要内容MainContentofThisBook08引言Introduction01引言模式识别与数据挖掘智能的本质之一,在于对模式的感知与利用。模式是蕴含在数据、事物与现象中的规律性特征。模式识别,是研究如何用计算机实现对此类特征的自动辨识与分类的理论与方法。与之相辅相成的数据挖掘,则更侧重于从海量数据中发掘潜在的、未知的有价值模式。

学习内容本章将系统阐述这两大领域的基本思想、发展简史与技术流程,旨在为读者构建一个完整的知识框架,为后续深入探索具体算法与技术应用奠定坚实的基础。模式与模式识别02PatternandPatternRecognition生物特征识别是利用人体固有的生理特性(如指纹、虹膜等)和行为特征(如步态等)来进行个人身份的鉴定。模式与模式识别基础术语定义模式(pattern)

：是指数据、事物或现象所具有的某种规律性或结构性的特征。模式可以是抽象的概念,也可以是具体的形式。模式识别(patternrecognition)：是指通过某种方法或算法,从复杂的数据或信息中自动识别并提取模式,以便进行分类、预测或其他决策。。典型场景光学字符识别(opticalcharacterrecognition,OCR)是对图像中文字的特征进行提取和模式识别,从而将图像中的文字转化为可编辑文本。模式与模式识别医疗影像识别是利用X射线、计算机断层扫描(computertomography,CT)、磁共振成像(magneticresonanceimaging,MRI)、超声影像(ultrasonicimaging)来辅助医学疾病的诊断。典型场景模式识别发展简史03ABriefHistoryofPatternRecognition模式识别发展简史1929年20世纪30年代陶谢克发明光电阅读机，开启OCR技术费希尔提出统计分类理论1955年1958年20世纪60-70年代塞尔弗里奇正式提出“模式识别”术语罗森布拉特提出感知机统计模式识别与结构模式识别（傅京孙）成为主流20世纪80年代20世纪90年代神经网络复苏支持向量机等核方法崛起21世纪20世纪70年代至今深度神经网络主导中国模式识别发展模式识别流程04PatternRecognitionProcess模式识别流程数据采集：收集图像、文本、传感器数据等原始信息数据预处理：清洗噪声、归一化处理，提升数据质量特征提取与选择：挖掘本质特征，降维优化分类器设计：训练模型（统计、传统机器学习、深度学习）分类决策：输出最终识别结果（如类别标签）识别阶段数据与数据挖掘05DataandDataMining数据与数据挖掘模式识别与数据挖掘区别数据:是对客观事物的符号表示,可以表示为数字、文字、图像、声音等多种形式。数据按照类型可划分为结构化数据、半结构化数据和非结构化数据。数据挖掘:是从大量的、不完全的、有噪声的数据中提取隐含在其中的、人们事先不知道的、有潜在利用价值的信息和知识的过程。基础术语定义模式识别数据挖掘识别特定、清晰模式（监督分类任务），如人脸识别、OCR发现隐藏模式、关系和知识，如关联规则、文本挖掘数据与数据挖掘数据挖掘典型应用场景(1)关联规则发现是指在大规模数据集中挖掘数据之间的关系,揭示数据中的潜在模式。在零售数据挖掘场景中,电商平台通过关联规则发现算法,可以挖掘出用户购买行为之间的关联关系。(2)网络文本挖掘是指从互联网的海量文本数据中提取出有价值的信息和知识的过程。可以通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦等,实现用户的网络舆情监测和新闻专题追踪等信息需求。(3)社交媒体挖掘是指从社交媒体平台上提取有价值的信息和知识的过程。通过对用户在社交媒体上发布的文本、图片、视频和互动行为(如点赞、评论、分享)进行分析,社交媒体挖掘可以帮助我们深入了解用户的兴趣、情绪、关系网络及其背后的社会动态和趋势。数据挖掘发展简史06ABriefHistoryofDataMining数据挖掘发展简史1989年20世纪70年代皮亚特茨基-夏皮罗等人在IJCAI会议上首次提出“知识发现”（KDD）术语，奠定数据挖掘理论框架数据库管理系统成熟，支持大规模数据存储与查询，推动数据分析实用化1995年20世纪90年代末2006年12月首届KDD国际会议在蒙特利尔召开，标志数据挖掘成为独立研究领域韩家炜、裴健合著《数据挖掘：概念与技术》出版，系统介绍数据挖掘理论方法ICDM会议评选出数据挖掘领域十大经典算法21世纪大数据与分布式处理兴起，乌尔曼等编著《MiningofMassiveDatasets》成为重要教材数据挖掘发展简史2006年12月,IEEE国际数据挖掘会议(IEEEInternationalConferenceonDataMining,ICDM)评选出数据挖掘领域的十大经典算法。十大经典算法数据挖掘流程07DataMiningProcess数据挖掘流程数据筛选：选择与分析任务相关的数据数据预处理：提升数据质量（去噪、清洗等）数据变换：优化数据形式（正则化、降维、编码等）数据挖掘：核心步骤，使用分类、聚类、关联分析等技术模式解释与评价：识别有用知识，应用于决策并评估调整1.均需数据预处理、特征提取2.均依赖机器学习算法（决策树、SVM、神经网络、聚类等）模式识别与数据挖掘的共性本书主要内容08MainContentofThisBook本书主要内容核心目标：实现“数据

→

价值”转化

感谢聆听汇报人：某某某Thankyouforlistening第二章

数据主讲人：某某某PatternRecognitionandDataMining模式识别与数据挖掘目录Contents数据基本概念BasicConceptsofData数据采集与处理DataCollectionandProcessing数据可视化DataVisualization小结与讨论SummaryandDiscussion01020304数据基本概念01BasicConceptsofData数据类型数据集：数据（集）可以定义为数据对象的集合，其中每个数据对象由一个或多个属性描述。属性：属性（attribute）表示数据对象的基本特征，其类型是由该属性可能具有的值的集合决定。根据属性值的特点，可以将属性分为四种类型：标称（nominal）、序数（ordinal）、区间（interval）和比率（ratio）。数据基本概念属性类型描述例子分类的、定性的（不具有数的大部分性质）标称标称属性的值用于标识和区分不同对象的名称，不具有大小或顺序信息学号、职业、肤色、性别序数序数属性的值能够确定对象的相对次序，但不同值之间的间隔大小无法准确衡量街道号码、满意度、职称数值的、定量的（具有数的大部分性质）区间区间属性的值存在测量单位，其值之间的差是有意义的日期、摄氏或华氏温度比率比率属性的值的差和比率都是有意义的货币量、年龄、长度、速度需要注意的是，表中每种属性类型不仅具有并支持其上方属性类型的所有性质和操作，还拥有其自身特定的操作。然而，对于某种属性类型适用的操作，对其上方的属性类型未必完全适用。属性变换属性的类型可以通过不改变属性意义的变换来表述。例如，对于性别，我们可以使用编码方式，其中0表示女，1表示男，更多信息如下表所示：数据基本概念属性类型变换注释分类的（定性的）标称任何一对一变换例如，如果所有学生的学号都重新赋值，不会有不同之处序数值的变换保序，即新值=

f

(旧值)其中

f

是单调函数例如，包含很不满意、不太满意、一般、满意、十分满意的属性可以完全等价地用值{0,

1,

2,

3,

4}表示数值的（定量的）区间新值

=

a

×旧值+

b，其中a、b是常数例如，华氏和摄氏温度的零度的位置不同，1度的大小（即单位长度）也不同比率新值

=

a

×旧值例如，长度可以用米度量数据基本概念离散属性和连续属性离散属性：离散属性

（discreteattribute）可以取有限个值，或无限但可数的值。它们可以是分类的（如肤色），也可以是数值的（如计数）。二元属性：二元属性（binaryattribute）是离散属性的一种特殊类型，仅接受两个可能的取值，例如0和1或真和假。通常，二元属性可以用布尔变量表示，或用仅取0和1两个值的整型变量表示。当二元属性的两种状态具有相同的重要性和权重时，该属性是对称的。即，无论哪个状态被编码为0或1，并无区别。例如，性别可视为对称的二元属性。如果二元属性的两个状态在重要性上存在差异，则该属性是非对称的。例如，在肝功检测结果中，若阳性编码为1，阴性编码为0，如果更关注阳性病例，则该二元属性是非对称的。此外，非对称属性不仅限于二元属性，还可以是离散或连续的。例如，在满意度评价中，用户评分数据通常属于非对称的离散属性。连续属性：连续属性（continuousattribute）是取实数值的属性，例如，身高和体重。通常，连续属性使用浮点数表示。

数据基本概念

数据基本概念中心趋势度量众数：众数（mode）是另一种常用的中心趋势度量。数据集的众数指的是在集合中出现次数最多的值。因此，众数可以适用于定性和定量属性。在某些情况下，出现频率最高的值可能对应多个不同的值，从而导致数据集存在多个众数。根据众数的数量不同，数据集可以是单峰的、双峰的或三峰的。一般而言，具有两个或更多众数的数据集是多峰的。如果每个数据值仅出现一次，则该数据集没有众数。在一个完全对称的单峰分布数据集中，均值、中位数和众数是相同的中心值。然而，在大多数实际应用中，数据分布往往是不对称的。数据可能呈现正倾斜（右倾斜），此时众数小于中位数，中位数小于均值；或者呈现负倾斜（左倾斜），此时众数大于中位数，中位数大于均值。这种分布特性表明，在非对称数据集中，不同的中心趋势度量可能会有所偏差（如图所示）。数据基本概念

数据基本概念

数据基本概念

数据基本概念

数据基本概念协方差矩阵：学生成绩与游戏时间假设我们调查了6名同学，记录了他们数学成绩（满分100分），每天玩手机游戏的时间（小时），数据如下：ABCDEF9585756555901.02.03.04.05.01.5数据散布度量数据基本概念

数据基本概念

数据基本概念

数据基本概念

数据基本概念属性数11100100

数据基本概念

数据基本概念

数据基本概念

数据基本概念数据基本概念

数据相似性

数据基本概念余弦相似度由于余弦相似度仅反映向量方向的相似性，而不考虑向量长度，它不满足典型的度量定义所要求的所有条件（非负性、同一性、对称性、三角不等式），因此它被称为非度量测度（nonmetricmeasure）。尽管如此，余弦相似度在文本分析、推荐系统等领域有着广泛应用，因其对向量长度不敏感的特性适合高维稀疏数据。数据基本概念

文档词频我爱中国富强民主文明和谐文档

111277115310文档

2719712300数据采集与处理02DataCollectionandProcessing概念：从多样化外部数据源获取信息，为分析决策提供基础支撑。贯穿数据从获取到应用的全生命周期。三大核心要点：全面性：数据量足、价值高、维度广，确保情境完整与用户画像清晰。多维性：涵盖多种属性与类型，支持从多角度进行深度业务洞察。高效性：追求快速、精准、经济的数据获取流程，优化采集效率。主要数据源：物理世界（硬感知）：图像数据、传感器数据、工业设备数据。数字世界（软感知）：互联网数据（网络爬虫）、日志文件、企业业务系统数据。数据采集与处理数据采集：数据分析的起点必要性：原始数据存在“脏乱”问题，必须清洗以确保分析准确性。主要数据质量问题：异常值：显著偏离正常模式的数据。噪声：随机波动（图2.3）。离群点：明显孤立的点（图2.4）。识别工具：箱线图、散点图（图2.5）。缺失值：数据完全随机丢失、随机丢失、非随机丢失。非一致值：违反逻辑或业务规则的值（如年龄为负数）。重复数据：完全相同、关键字段相同或高度相似的记录。数据采集与处理数据清洗：识别四大数据质量问题处理异常值识别：用箱线图（IQR法）和散点图定位。处理：删除、替换（中位数/均值）、转换。缺失值：数据完全随机丢失、随机丢失、非随机丢失。处理缺失值删除法：直接移除缺失记录（适用于少量缺失）。填充法：用均值、中位数、插值或机器学习预测值填充。保留法：将缺失本身作为一个特征。处理非一致值标准化：统一日期、文本、数值、编码的格式（如所有日期转为YYYY-MM-DD）。处理重复数据去重：使用如Pandas的duplicated()函数识别并删除重复行。数据采集与处理数据清洗：关键处理方法与步骤目标：将来自多个异构数据源的信息融合成一个一致、高质量的数据集。关键流程：数据源识别：利用机器学习、深度学习（如BERT）、知识图谱等技术自动识别数据源结构与语义。数据转换：方式：ETL（先转换后加载）vs.ELT（先加载后转换，适合大数据）。冲突处理：检测（基于规则/机器学习）与解决（基于优先级、规则或协同过滤）。非一致值：违反逻辑或业务规则的值（如年龄为负数）。数据匹配与融合：模式匹配：识别不同数据源字段间的对应关系（模式连接、实体解析）。数据融合：合并信息，消除冗余。方法包括基于规则、概率、特征级、决策级融合。数据加载与存储：采用自适应数据流、增量加载、并行加载等技术优化效率，并选择合适存储方案（数据仓库/数据湖）。数据采集与处理数据集成：融合多源信息目标：从海量数据中策略性地选取代表性子集，以降低计算复杂度、提高分析效率，同时保持总体关键特性。基本策略：简单随机采样：总体中每个单位被选中的概率均等，确保随机性与代表性。广泛应用于调研、质量控制等领域。分层采样：先将总体按特征划分为若干互斥的“层”，再从每层内独立进行随机抽样。确保样本能代表所有重要子群体，提高估计精度。系统采样：将总体单位按序排列，随机确定一个起始点，然后按固定的间隔（如每第k个）抽取样本。操作简便，样本分布均匀。整群采样：随机选择自然群体（如学校、社区），调查群内所有个体，降低成本。。数据采集与处理数据采样：策略与目的核心挑战：分类任务中类别样本数量严重不均，导致模型偏向多数类。基本策略：随机上采样：随机复制少数类样本以增加其数量（可能导致过拟合）。随机下采样：随机删除多数类样本以平衡数量（可能丢失重要信息）。SMOTE：合成少数类过采样技术。原理：对每个少数类样本，在其特征空间的最近邻之间线性插值，合成新样本。最近邻样本对采样：除互为最近邻的异类样本对，清理决策边界。依赖技术：例如kNN算法（如图2.6所示）用于寻找最近邻。数据采集与处理数据采样：机器学习中的采样技术数据可视化03DataVisualization数据可视化把复杂数据转成直观图形，帮助我们更快识别分布特征与异常值。数据可视化单变量数据可视化单变量数据可视化的主要目的是展示一个数据集的分布情况、集中趋势以及离散程度。常用的单变量图表包括直方图、箱线图和密度图。1.直方图（Histogram）将数据按区间（bins）分箱，展示频率分布观察：对称/偏态/多峰、分布宽窄、极端条形（潜在离群点）2.箱线图（BoxPlot）用四分位数展示数据分布，突出集中趋势与异常值关键：中位数、Q1/Q3、IQR、1.5×IQR外的离群点适合：对比不同组/类别的分布差异3.密度图（DensityPlot）对直方图做平滑化，估计概率密度（PDF）优点：趋势更平滑、不受分箱影响观察：峰值位置、分布范围、尾部（长尾/极端值）数据可视化二变量数据可视化二变量数据可视化的目标是展示两个变量之间的关系。常用的图表包括散点图、气泡图和折线图。1.散点图（ScatterPlot）每个点代表一条观测，直观看变量关系观察：线性/非线性趋势、相关强弱、离群点2.气泡图（BubbleChart）散点图扩展：用气泡大小/颜色编码第三变量适合：比较多维信息（如城市：人口–GDP–失业率）3.折线图（LineChart）展示时间序列随时间的变化趋势适合：识别增长/下降、周期波动、长期趋势数据可视化动态与交互式数据可视化除了静态图表,动态与交互式数据可视化为分析者提供了更大的灵活性和交互性。3.交互与动态结合交互决定“看哪里”，动态负责“看变化过程”，两者结合能显著提高探索与解释效率。结论优先：动画与交互要服务问题，不要为了炫技而增加操作负担控制复杂度：交互层级清晰（总览→细分→钻取），避免按钮过多性能与体验：数据量大时注意加载/抽样/缓存，否则交互会卡顿影响理解1.交互式可视化（InteractiveVisualization）支持：筛选、缩放、悬停提示、维度切换、联动更新核心应用：交互式仪表盘（Dashboard）场景：商业智能（BI）实时监控、钻取分析（时间/地区/产品）2.动态可视化（DynamicVisualization）用动画/时间滑块展示数据随时间或维度变化的演化场景：疫情传播、股价走势、市场波动等典型图：桑基图（Sankey）展示能量/资金/资源流向（宽度=流量）小结与讨论04SummaryandDiscussion小结与讨论小结数据基本概念：数据怎么“描述”，类型+基本统计（中心/离散/相关）数据采集和处理：数据怎么“变干净”，缺失/异常/不一致/重复→清洗与融合数据可视化：数据怎么“讲清楚”，按任务选图（分布/关系/趋势）+交互增强理解讨论根据属性可能的取值,可以将属性分为哪几种类型?请分析何谓通用数据采集,何谓定向数据采集;请描述定向数据采集算法的典型步骤。在大数据时代,数据采集的工具多种多样。网络爬虫是一种按照一定的规则自动地抓取Web数据的程序或者脚本。请描述网络爬虫的工作流程。第三章

特征工程主讲人：某某某PatternRecognitionandDataMining模式识别与数据挖掘目录Contents特征提取FeatureExtraction特征变换与降维FeatureTransformationandDimensionalityReduction特征选择FeatureSelection小结与讨论ConclusionandDiscussion01020304特征提取是指从原始数据中提取出具有代表性和区分性的特征，用于数据分析和模式识别的过程。经典的特征提取方法：统计特征提取2.频域特征提取3.几何特征提取4.文本特征提取5.图像特征提取6.图数据特征提取特征提取基本概念与方法概述通过计算数据集中的各种统计量（如均值、方差、偏度、峰度等）来捕捉数据的分布特性。这些特征可以有效地用于数据分析、建模以及进一步的机器学习任务。常用统计特征有：均值（Mean）：数据集的平均值，反映了数据的集中趋势方差（Variance）：数据偏离均值的程度，衡量数据的分散程度标准差（StandardDeviation）：方差的平方根，也是衡量数据波动性的常用指标。协方差（Covariance）：描述两个变量之间的线性关系。皮尔逊相关系数（PearsonCorrelationCoefficient）：衡量两个变量之间的相关程度。特征提取统计特征提取频域特征提取是将数据从时域转换为频域的方法。它通过应用傅立叶变换或小波变换等算法，将数据从时域转换为频域表示，从而提取出频域上的特征。常用频域特征有：傅里叶变换（FFT）：傅里叶变换将信号从时域转换为频域，使得每个频率分量的幅度和相位可以被提取出来其中,是信号在频域的表示,是信号在时域的样本,N是样本数功率谱密度（PSD）：功率谱密度表示信号在不同频率上的功率分布

其中，x(t)是信号在时域上的表示，通常为一个连续时间信号或离散时间信号的函数。是一个复指数函数，表示信号中的频率成分，其中f是频率，t是时间。P(f)是频率f处的功率谱密度。T是信号观察的时间窗口。

特征提取频域特征提取几何特征提取是从图像和三维模型等几何对象中提取特征的方法。它通过计算几何属性，如形状、尺寸、角度和曲率等，来表示对象的特征。几何特征能够反映对象的形状、结构等空间属性，可用于图像识别、目标跟踪、三维重建、机器人导航等任务。常用几何特征有：形状因子（ShapeFactor）：形状因子是一种用于描述物体形状的度量，常用于分析物体是否接近某种理想的几何形状，如圆形。形状因子通常通过物体的面积A和周长P来计算：曲率（Curvature）：曲率是衡量曲线或表面在某一点处弯曲程度的度量。在二维平面上的曲线y=f

(x)

的曲率

通过以下公式计算特征提取几何特征提取文本特征提取文本特征提取是将文本数据转换为可以用于机器学习算法的向量表示的方法。将文本数据转换为稠密或稀疏向量，以表示词语的出现频率、重要性和语义关联性，可用于文本分类、情感分析和信息检索等任务。常用方法：词袋模型：将文本表示为单词的集合的方法。不考虑单词的顺序，仅仅统计文本中各个单词出现的频率。

词袋模型示例假设有三个文档：文档1：“Ilovemachinelearning”文档2：“Ilovedeeplearning”文档3：“Ihatemachinelearning”词汇表为：{I,love,machine,learning,deep,hate}基本概念文本特征提取常用方法：TF-IDF（TermFrequency-InverseDocumentFrequency）：TF-IDF是一种加权的词频方法，通过考虑单词在文档中的出现频率（TF）以及该单词在整个语料库中的重要性（IDF），来衡量单词在文本中的重要性。词频（TF）：单词在文档中出现的频率，通常计算为某个单词在文档中出现的次数与文档中总词数的比值：其中，nij表示词条

ti在文档

dj出现的次数，TFij表示词条

ti在文档

dj出现的频率。逆文档频率（IDF）：单词在文档集合中的重要性，计算为总文档数与包含该单词的文档数的比值的对数：其中，D表示总文档数，

表示包含该词条的文档数。基本概念文本特征提取常用方法：TF-IDF（TermFrequency-InverseDocumentFrequency）：TF-IDF是一种加权的词频方法，通过考虑单词在文档中的出现频率（TF）以及该单词在整个语料库中的重要性（IDF），来衡量单词在文本中的重要性。TF-IDF计算公式：基本概念图像特征提取是从图像中提取有代表性的特征的方法。这些特征可以提取出图像的颜色、纹理、形状和局部结构等信息，可用于图像分类、目标检测和人脸识别等任务。常用图像特征提取方法有：颜色直方图：通过统计图像中每个颜色的出现频率来表示图像的颜色分布。假设颜色直方图有

n个区间（bins），Pi为第i个区间的像素数量。即Hi

表示第i个区间的频率值。图像的颜色直方图可以表示为特征提取图像特征提取局部二值模式（LocalBinaryPattern,LBP）：一种用于纹理特征提取的有效方法。LBP是基于图像局部区域的灰度值变化来计算的。计算每个像素的LBP值:对于一个中心像素c和其周围P个邻域像素pi，i=0,1,...,P-1，计算每个邻域像素与中心像素的灰度值比较结果。如果，则si

=1，否则si

=0，其中si为二值结果。然后，LBP值为：构建LBP图像统计LBP的直方图特征提取图像特征提取①

度中心性节点的度中心由节点的度（即直接相连的边数）来定义。度越大，意味着该节点与更多的节点直接连接，可能是信息传播的核心节点，因此度中心性越高。对于一个节点v，其度中心性可以表示为：其中，deg(v)是节点v的度，即与其相连的边的数量。同时，可以对其度中心性值进行标准化处理：节点的度中心性是一个需要考虑的基本统计量。度值代表了一个节点在图结构中的局部重要性。但节点度值只是表示一个节点有多少个邻居，这并不足以衡量一个节点在整个图中的重要性。图数据的特征提取节点特征提取

图数据的特征提取节点特征提取②

中介中心性如图所示，对于节点B而言，从A出发的最短路径有：A-B-C，A-B-D，A-B-D-E或A-B-C-E，A-B-D-F。因此，从节点A出发对节点B贡献的中介中心性值为1/1+1/1+2/2+1/1=4，再判断其他最短路径例如C-D、E-F都不经过节点B，即B贡献的中介中心性值为0，最终得到节点B的中介中心性为4。图数据的特征提取节点特征提取

图数据的特征提取节点特征提取

图数据的特征提取节点特征提取

图数据的特征提取节点特征提取①

最短路径距离最短路径距离即两个节点之间的最短路径的长度，它反映的是从一个节点到另一个节点的最小跳数。如下图中，可提取出从A出发的最短路径长度为1(A一B)、2(A一B一C)、2(A一B一D)、4(A一B一D一E)、4(A一B一D一F)。图数据的特征提取边特征提取

图数据的特征提取边特征提取其中，

分别为节点u和节点v的邻居节点集合的交集并集。图数据的特征提取边特征提取

图数据的特征提取图特征提取①Graphlet图向量Graphlet图向量是基于图中节点邻域的局部拓扑结构，通过统计节点周围不同类型子图的频率来生成图的特征表示。Graphlet是一种小型的无向子图，它包含固定数量的节点和边，且图中的节点是完全连接或部分连接的。在图中以每个节点为中心枚举所有可能的Graphlet，统计不同Graphlet在图中出现的次数。如下图给出了节点数为3的Graphlet集合。图数据的特征提取图特征提取

图数据的特征提取图特征提取

图数据的特征提取如图所示，图G和图G'通过汇聚自身节点和邻居节点的标签，通过哈希映射生成新的标签，最终统计所有更新后的标签频率，得到两个图的图向量特征变换与降维

“维数灾难”问题特征变换与降维特征降维方法线性降维方法非线性降维方法线性判别分析主成分分析奇异值分解核化线性降维流形学习特征变换与降维主成分分析基本原理:通过将原始数据从原来的坐标系转换到一个新的坐标系，使得新坐标系中的：第一个坐标轴对应于原始数据中方差最大的方向第二个坐标轴对应于次大的方差方向，以此类推这个过程一直进行，直到覆盖大部分的方差。该算法的基本步骤如下：以数据的中心为坐标轴的中心，并旋转坐标轴，使得数据在X1轴上的方差最大。这样可以尽量多地保留信息，从而使X1成为第一主成分。寻找第二主成分：找一个X2轴，使得X2与X1的相关系数为0，以避免X2与X1信息重叠，并使数据在该方向的方差尽量最大。以此类推，找到第三主成分、第四主成分，直到第

n

个主成分。一般地，n

个随机变量可以有

n

个主成分。两个特性：最近重构性：样本点到这个超平面的距离都足够用近；最大可分性：样本点在这个超平面的投影尽可能分开。特征变换与降维主成分分析优化目标：基本计算步骤：通过一个实例来展示PCA的降维效果。如右图所示，以蓝色显示的两个向量是这个分布的协方差矩阵的特征向量，其长度按对应的特征值之平方根为比例，并以原分布的平均值为原点。拉格朗日乘子法求解特征变换与降维核化线性降维动机：在现实情况中，往往很难找到一个线性函数映射，使样本从高维空间映射到低维空间后仍能保持良好的低维嵌入核主成分分析原理：引入一个非线性映射函数（通常称为核函数），将原始数据点映射到一个高维（甚至是无限维）特征空间中，原本复杂的非线性关系可能变为线性可分的或更容易处理具体推导在主成分分析问题中，需要求解方程：

其中，z(i)

是样本点

x(i)在高维特征空间中的像，假设

z(i)由

x(i)通过映射

产生，即上式可转化为：一般并不需要

的具体形式，于是引入核函数：特征变换与降维核化线性降维示例：考虑如下图所示的三组同心点云，试图使用核PCA对其进行识别。图中各片的颜色并不是算法的一部分，仅用于展示各组数据点在变换前后的位置同心点云数据示例图特征变换与降维流形学习“流形”是指在局部具有欧氏空间性质的一个空间，即可以在这个局部空间中使用欧氏距离进行计算。假设数据采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简。流形学习线性流形学习算法非线性流形学习算法等距映射/等度量映射(isomap)拉普拉斯特征映射（Laplacianeigenmaps,LE)局部线性嵌入(locallylinearembedding,LLE)主成分分析（PCA)多维尺度变换(multidimensionalscaling，MDS)特征变换与降维等度量映射该算法以MDS为计算工具，创新性地采用微分几何中的测地距离来计算高维流形上数据点间的距离，而非传统的欧氏距离，并且找到了一种用实际输入数据估计其测地距离的算法，如采用最短路径算法中的Dijkstra算法或Floyd算法。特征变换与降维局部线性嵌入Isomap算法是全局的，它要找到所有样本的全局最优解，当数据量很大或者样本维度很高时，耗时将大幅增长。因此更常用的算法是局部线性嵌入（LLE），LLE放弃所有样本全局最优的降维，仅通过保证局部最优来降维。局部线性嵌入（LLE)的基本思想是保持邻域内样本之间的关系。如下图所示，样本从高维空间映射到低维空间后，各个邻域内的样本之间的线性关系不变。特征变换与降维局部线性嵌入

特征选择特征选择是一类可有效解决数据“维数灾难”问题的重要算法，在考虑特征间复杂交互关系的前提下从原始特征空间中寻找一组影响某一事物信息量最大、最有用的特征集合常见的特征选择方法包括过滤式（filter)、包裹式（wrapper)、嵌入式(embedded)三种。过滤式特征选择通过评估每个备选特征与目标变量的相关关系来确定每个特征的重要性，并按照某种规则来选取一组与目标变量相关性较高的特征子集。包裹式特征选择直接利用机器学习模型的性能来评估特征子集的优劣程度。根据评估指标（如准确率、精确率、召回率等）的变化，选择具有最佳性能的特征子集作为最终的特征组合。嵌入式特征选择将特征选择过程嵌入到模型的训练过程中，通过在模型训练过程中对特征的重要性或权重因子进行评估和调整，选择出对模型性能影响最大的特征子集。特征选择基于互信息的特征选择算法信息熵和互信息的基本概念①信息熵：对可能性的一种度量。一个事件的不确定性越大，我们从该事件的发生中获得的信息就越多。信息熵的数学定义为：

特征选择基于互信息的特征选择算法

特征选择基于互信息的特征选择算法

特征选择基于互信息的特征选择算法联合熵的性质如下：(1)大于每个独立的熵：一集变量的联合熵大于或等于这集变量中任一个的独立熵。即

特征选择基于互信息的特征选择算法③

互信息定义：用于衡量两个随机变量之间的相互依赖程度。在特征选择中，互信息可用来衡量特征与目标变量之间的相关性。两个随机变量X和Y的互信息的计算方式为:其中，H(X)是随机变量X的熵，表示X的不确定性;

H(X|Y)

是在已知Y的情况下X的条件熵，表示在Y已知后X的不确定性。互信息可以理解为在知道Y后，X的不确定性减少的量。互信息和信息熵的关系如下图所示：特征选择基于互信息的特征选择算法③互信息给定两个离散随机变量X和Y，它们的联合概率分布为P(X，Y)，各自的边缘概率分布为P(X)和P(Y)，互信息I(X;Y)定义为:对于连续随机变量，上述求和变为积分：特征选择互信息的性质如下：

(1)

非负性：互信息总是非负的，即：这表示知道随机变量Y的值不会增加关于随机变量X的不确定性。(2)

对称性：互信息是对称的，即：这表示X和Y之间的互信息量是相同的，不论先知道哪一个变量的值。(3)

与熵的关系：互信息可以表示为两个随机变量的联合熵与它们各自熵的差，即：这表示互信息衡量了通过知道Y的值可以减少多少关于X的不确定性（或反之亦然)，以及联合熵与各自熵之间的关系。特征选择互信息最大特征选择算法（MIM）：选择那些能够最大化与目标变量互信息的特征。在特征选择过程中，算法会计算每个特征与目标变量之间的互信息，并根据互信息值的大小对特征进行排序。然后，算法会选择互信息值最大的前k个特征作为最优特征子集。基于互信息的特征选择算法(MIFS)：通过最大化特征与类别之间的互信息，最小化特征之间的互信息来选择特征最大相关最小冗余算法（mRMR）：从高维数据中选择最优的特征子集，使得选定特征与目标变量的相关性最大化（即“最大相关”）以及选定特征之间的冗余性最小化（即“最小冗余”）。基于互信息的特征选择算法特征选择稀疏正则化的概念稀疏正则化（SparseRegularization）是一种在模型训练过程中通过添加正则化项，促使模型参数变得稀疏的方法。通过稀疏正则化，可以自动地从数据中筛选出重要的特征或参数，减少模型的复杂度，防止过拟合，提高模型的泛化能力和可解释性正则化的基本思想是在损失函数中加入一个惩罚项，限制模型参数的大小或分布。稀疏正则化具体通过限制参数的数量或使得许多参数趋近于零，实现参数的稀疏化常见的正则化方法包括：套索模型（Lasso）、弹性网正则化（ElasticNet）、融合Lasso（FusedLasso）、组Lasso（GroupLasso）等稀疏正则化特征选择算法特征选择套索模型（Lasso）

稀疏正则化特征选择算法线性模型：套索模型（Lasso）：岭回归正则模型：不具备显式解，使用坐标下降算法不断迭代，更新公式为：特征选择弹性网模型(ElasticNet）是将Lasso和岭回归结合的一种正则化方法

稀疏正则化特征选择算法朴素弹性网：两两弹性网：标准弹性网：缩放纠正特征选择融合Lasso模型:假设全部变量是有序的，它不仅对回归系数进行惩罚，还对相邻变量的回归系数之差的绝对值进行惩罚

组Lasso模型：假设存在P个变量，预先人为地将它们划分成J个变量组，则组Lasso为：

稀疏正则化特征选择算法特征选择

基于图结构的特征选择算法动机：传统向量特征选择具备局限性，忽视样本间结构关联与高阶交互信息基本步骤01构建特征超图基于协变量构建高阶关联的超图结构，利用多维互信息量化特征间复杂交互，以超边连接相关特征组。02量化交互作用采用多维互信息方法度量特征间的高阶依赖关系，有效捕捉非线性与协同效应。03形成图结构将特征组通过超边整合为图结构，反映变量间的复杂关联模式。04嵌入结构先验把超图作为先验知识引入模型，指导正则化过程中的结构约束设计。05动态调整相关性在正则化中动态修正协变量与响应变量的相关性度量，提升稳健性。06稀疏优化求解构建带结构约束的稀疏优化问题，平衡特征选择的简洁性与代表性。07应用ADMM算法使用ADMM算法高效求解优化问题，实现对重要特征子集的快速识别。08提取特征子集自动筛选最具影响力的特征组合，增强模型对高阶关系的表达能力。小结与讨论

特征工程在机器学习流程中的核心作用：提升模型性能、增强可解释性并降低过拟合风险特征提取基本概念针对频域、文本、时序等不同类型数据的常见特征提取方法特征变换与降维基本概念与重要作用线性降维和非线性降维算法的基本概念和主要算法特征选择过滤式、包裹式、嵌入式特征选择算法的概念和优缺点几种主流的基于信息论的特征选择算法的基本原理和计算步骤正则化稀疏特征选择算法的基本原理和主流算法第四章

统计决策方法主讲人：某某某PatternRecognitionandDataMining模式识别与数据挖掘目录Contents贝叶斯分类概述BayesianClassification贝叶斯决策BayesianDecision参数估计方法ParameterEstimationMethods非参数估计方法Non-parametricEstimationMethods01020304引言统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器(classifier)的设计起指导作用。统计决策的目标,是在不确定性条件下,通过利用样本的统计特性与概率模型,对未知样本做出最优的类别判断。为此,本章首先从贝叶斯分类的基本原理出发,说明如何利用先验概率、类条件概率密度以及贝叶斯公式构建最小错误率或最小风险的最优决策规则。随后,结合正态分布等常见模型,通过判别函数形式进一步阐释贝叶斯分类器的结构与决策边界的形成机制。在概率模型未知的情况下,本章还介绍了最大似然估计、贝叶斯估计及非参数估计(如Parzen窗与k近邻估计)等方法,为实际应用中概率密度函数的估计提供了可行途径。引言客观现象或事物的发生和发展，按照“可预见性”可分两类情况—确定性和随机性。随机性事物的结果无法预知，但具有统计规律。随机性事物的特征观察值是随机变量。特征的观察值总含有某种误差，其具有一定的随机性；而且同类的不同对象的某个特征的值通常也是按某种规律散布的。模式类别和判决结果的随机性用概率统计的理论和方法来解决识别问题是合理的。引言统计决策方法的要点：将模式的特征量考虑为符合某种统计规律（概率密度/分布函数）的随机量。而任一个样本是取自总体中的一个个体。需要解决三个问题：判别问题：已知若干总体分布，当给出一个个体样本时，要确定这个样本属于哪个总体？训练问题：已知一些个体样本，分别属于某些总体，要确定这些总体的分布规律（或参数）。误判率问题：研究运用上述模型所造成的误判率的计算。贝叶斯分类概述01BayesianClassification概念和名词约定样本sample：待研究对象的个体，包括性质已知或未知的个体（统计学中有不同的约定）。类别class：将所研究的样本性质离散化成有限的类别，认为同一类的样本在该性质上是不可区分的。类别用ωi(i=1，2，…，c，共c类)表示；如两个类别用ω1，ω2表示，也可用{-1，1}表示。已知样本：类别情况已知的样本。未知样本:类别情况未知的样本。样本集：若干样本的集合，分已知样本集和未知样本集。概念和名词约定特征features：样本的任何可区分的且可观测的方面（属性）。包括定量特征和定性特征，通常最后转化为定量特征。特征向量featurevectors：样本的所有特征组成的d维向量。是样本在数学上的表达，因此也称为样本。特征空间featurespace：d维特征向量的所有可能取值范围构成的d维特征空间。每一个样本（特征向量）是该空间中的一个点，一个类别是该空间中的一个区域。概念和名词约定分类器classifier：能够将每个样本都分到某个类别中去（或者拒绝）的计算机算法。是从特征空间到决策空间的映射。Decisionregion：分类器将特征空间划分为若干区域（决策域）。Decisionboundary：不同类别区域之间的边界称作分类边界、决策边界或分类面，决策面。贝叶斯定理贝叶斯定理(Bayestheorem)是概率论中的一个重要定理,它描述了在已知某些条件下事件发生的概率。贝叶斯定理的核心思想是通过已知的先验概率和条件概率来推断未知的后验概率。P(A|B)是在事件B发生的条件下事件A发生的概率。P(B|A)是在事件A发生的条件下事件B发生的概率。P(A)是事件A发生的先验概率,即在没有考虑任何其他相关证据的情况下事件A发生的概率。P(B)是事件B发生的先验概率。一个简单的例子

一个简单的例子

一个简单的例子

贝叶斯分类理论概述贝叶斯决策理论是解决模式分类问题的一种基本统计途径。对问题的要求/条件：决策问题可以用概率的形式来描述；所有有关的概率结构均已知。出发点是利用概率的不同分类决策和相应的决策代价之间的定量折中。对于同一个问题，采用不同的决策标准将得到不同意义下“最优”的决策。其中最具代表性的是：最小错误率最小风险最小错误率贝叶斯决策

似然比决策面

两类错误率及评价指标

状态决策阳性阴性阳性真阳性

(TP)假阳性

(FP)阴性假阴性

(FN)真阴性

(TN)两类错误率及评价指标

状态决策阳性阴性阳性真阳性

(TP)假阳性

(FP)阴性假阴性

(FN)真阴性

(TN)两类错误率及评价指标ROC(Receiver

OperatingCharacteristic)曲线AUC(Area

Under

ROC

curves)曲线下面积理想情况AUC=1没有分类能力AUC=0.5贝叶斯决策02BayesianDecision最小错误率贝叶斯决策

似然比决策面

最小错误率贝叶斯决策

最小风险贝叶斯决策

损失函数

正态分布时的贝叶斯决策

正态分布的性质

正态分布的性质

正态分布下的贝叶斯决策

特殊情况下的正态分布的贝叶斯决策

特殊情况下的正态分布的贝叶斯决策

特殊情况下的正态分布的贝叶斯决策

参数估计方法03ParameterEstimationMethods引言

基本概念参数估计已知概率密度函数形式，估计未知或部分未知参数非参数估计–概率密度函数形式未知几个名词统计量，样本的某种函数参数空间，未知参数全部可容许值组成的集合点估计，估计量和估计值区间估计最大似然估计

最大似然估计

最大似然估计

最大似然估计

最大似然估计

贝叶斯估计

贝叶斯估计

贝叶斯估计

贝叶斯估计

贝叶斯估计

非参数估计方法04Non-parametricEstimationMethods概率密度估计的非参数方法基本思想样本的密度函数形式未知有些情况样本的分布很难用函数形式描述直接用样本估计整个函数可以看作从所有可能的函数中进行选择概率密度估计的非参数方法

直方图方法

直方图方法

一维情况下不同样本数目估计效果Parzen窗法

Parzen窗法

Parzen窗法

Parzen窗法不同样本数和参数下的Parzen估计小结统计决策的基本原理就是根据各类特征的概率模型来估算后验概率,通过比较后验概率进行决策。借助贝叶斯公式,后验概率的比较可以转化为类条件概率密度的比较,离散情况下也是类条件概率的比较,而这种条件概率或条件密度则反映了在各类的模型下观察到的当前样本的可能性或似然度。根据面对的具体问题不同,各类特征的概率模型可能会变得非常复杂,但是基本的求解步骤和决策原理是一致的。当概率密度函数未知时,首先要对它进行估计,这就将模式识别问题转化为概率密度函数估计问题。如果这个估计问题可以很好地解决,则模式识别问题也相应地得以解决。应用统计决策理论设计最优分类器的前提应该是,或者对先验概率和类概率密度函数有充分的先验知识,或者有足够多的样本,可以较好地进行概率密度估计。从下一章开始,将介绍一些不试图估计样本的概率密度模型,而是直接利用样本来设计分类器的方法。第五章

浅层分类器主讲人：某某某PatternRecognitionandDataMining模式识别与数据挖掘目录Contents引言Introduction线性判别学习LinearDiscriminantLearning近邻法NearestNeighborMethod决策树Decision-makingTree01020304支持向量机SupportVectorMachine小结与讨论SummaryandDiscussion0607浅层神经网络ShallowNeuralNetwork05引言01Introduction引言在实际应用中,准确估计样本的概率分布往往面临诸多挑战,特别是在特征空间维度较高、数据内在关系错综复杂且样本量有限的情况下。本章将聚焦于基于样本直接设计分类边界的模式识别算法—浅层分类器(亦称浅层学习分类器)。这类模式识别算法利用结构相对简单简单的数学模型直接从输入数据中学习分类边界,通常仅依赖原始特征或经简单变换的特征。其模型参数较少、结构简洁,但在许多实际任务中仍表现出良好的性能。KNN模型决策树模型马尔科夫模型线性判别学习02LinearDiscriminantLearning线性判别学习线性分类器是最简单的分类器,但在样本为某些分布的情况时,尤其是在样本数量有限的情况下，线性判别函数可以成为最小错误率或最小风险意义下的最优分类器。

线性判别学习在实际应用中,数据往往呈现出高维特性。然而,大多统计方法建立在低维空间理论基础之上,导致其在处理高维数据时面临困难。因此,降维技术使成为解决这一问题的关键途径。线性判别分析图解LDA之前LDA之后

线性判别学习线性判别分析的主要思想是需要寻找一个合适的投影方向，使得类内紧凑，类间分离。问题参数化：参数定义：总体优化目标：带入

可得线性判别学习感知机准则1)线性可分性2)样本的规范化线性判别学习感知机准则3)解向量和解区4)对解区的限制线性判别学习感知准则函数及其学习方法线性判别学习感知准则函数及其学习方法线性判别学习广义线性判别分析下图所示为一个二分类问题，对于此类分布,线性判别函数无法给出有效的划分。事实上,线性判别函数对多连通区域和非凸决策区域的划分具有一定的局限性。可通过广义线性判别求解。决策规则一般形式选取合适映射，可变为：线性判别学习广义线性判别分析近邻法03NearestNeighborMethod近邻法

基础概念最近邻法最近邻法的思想足够直观:相似的物体往往属于同一类别。在特征空间中,这一思想转化为:与待分类样本距离最近的训练样本(即最近邻)很可能属于同一类别。因此,最近邻法的核心任务是寻找这个最近邻,并据此进行分类决策。图

最近邻法渐进错误率的上下界与贝叶斯错误率的关系研究表明,在已知样本数量足够多时,这种直观的最近邻决策可以取得很好的效果,对于最近邻法的错误率,理论上有如下结果:近邻法

决策树04Decision-makingTree决策树基础术语定义分类决策树是一种描述实例分类的树状结构,由节点和有向边构成。节点分为内部节点和叶节点,内部节点表示对某个特征的判断或条件测试，叶节点代表最终的分类结果或预测的数值,每个叶节点对应一个类别标签。决策树经过若干内部节点的判断后,到达叶节点,形成从问题到决策的路径。每条路径代表了一组特征条件的组合及其对应的预测结果，可以将决策树看成一个if-then规则的集合，本质上是从训练数据集中归纳出一组分类规则。决策树示例决策树示例决策树是一种多级分类器,它采用分级的形式,综合使用多个决策规则,逐步把复杂的多类别分类问题转化为若干个简单的分类问题来解决。决策树特征度量在决策树的构建过程中,特征选择是最为关键的步骤之一。每当算法在某个节点对数据进行划分时,就需要选择一个最优特征来分割数据。特征选择的意义在于找到最能有效区分数据的特征,从而快速、简洁地构建出一个准确的决策模型。一般而言,随着划分过程不断进行,决策树的分支节点所包含的样本尽可能属于同一类别,即节点的“纯度”越来越高。信息增益信息增益用于衡量一个特征在对数据集进行划分时,能够减少多少不确定性。它基于熵(entropy)的概念来计算数据集的纯度变化。熵是信息论中的一个概念，用来度量系统的不确定性或纯净度。在决策树中，熵反映了数据集中样本类别的混乱程度。如果一个数据集的样本全属于同一类别，那么熵为0，表示数据集是完全纯净的；如果数据集中的样本熵较高，则表示数据集的混乱程度增加。熵的定义信息增益的数学表达决策树

信息增益的数学表达决策树类似地，可以计算出其他属性的信息增益:比较各特征的信息增益值。选择信息增益值最大的特征为最优特征：信息增益的数学表达决策树还可以对划分后的每个子集做进一步划分，

计算各属性的信息增益:在信息增益一样时，可以任意选择其中一个特征作为最优特征，对每个子集进行上述操作,得到最终的决策树：此外，在特征度量时还有增益率和基尼指数两个改进的指标可用决策树增益率基尼指数增益率(gainratio)通过引入“分裂信息”来对信息增益进行归一化,使得带有更多取值的特征不会被优先选择。增益率定义为：其中定义分裂信息为反映了特征的取值对数据集的分割效果,取值越多,分裂信息越大。通过对信息增益进行归一化,增益率能够平衡特征取值数量的影响,避免选择取值较多但效果不佳的特征。增益率的本质是寻找既能显著减少数据集不确定性的特征,又不偏向取值过多的特征。基尼指数同样是反映数据集中样本类别纯净度的指标,定义如下:特征a的基尼指数定义为:基尼指数值越大,样本集合的不确定性也越大,这一点与熵类似。基尼指数和熵的区别在于,基尼指数不涉及对数运算,在实际应用中计算速度更快。决策树树剪枝剪枝是决策树算法中一种重要的优化技术,目的是降低树的复杂性,防止决策树过拟合训练数据。决策树在生成过程中,通常会根据训练数据进行深度划分,甚至划分到每个叶节点只包含少数甚至一个样本。这种“过于复杂”的树虽然在训练集上表现良好,但在测试集上往往泛化能力较差。因此,剪枝通过去除一些冗余或不必要的分支,构建一个更加简洁的决策树,提升其泛化性能。剪枝可分为两种类型:预剪枝和后剪枝。相比预剪枝,后剪枝的效果通常更好,然而,其计算成本较高。预剪枝是在决策树生成的过程中,通过提前停止树的生长来防止模型过拟合。常见的预剪枝操作分为：数据划分法、阈值法和信息增益的统计显著性分析。后剪枝允许决策树在构建过程中尽可能地生长,以确保其最大程度地拟合训练数据。常见的后剪枝操作分为：减少分类错误修剪法、最小代价与复杂性的折中和最小描述长度准则。决策树决策树生成算法（1）ID3算法基于信息增益,罗斯·昆兰(RossQuinlan)于1986年提出决策树算法ID3(IterativeDichotomiser3)。ID3算法是构建分类决策树的早期经典算法之一,它通过递归地选择信息增益最大的特征进行划分,逐步构建出一棵决策树。ID3相当于用极大似然法进行概率模型的选择；ID3算法基于信息增益选择最优划分特征,生成的树结构简单,易于理解和解释,特别适合需要解释性的任务；ID3算法倾向于生成深度较大的树,从而容易对训练数据过拟合。为此

通常需要剪枝来降低树的复杂性。且只能用于处理离散分布的特征,实际应用中受限。决策树决策树生成算法（2）C4.5算法C4.5算法由罗斯·昆兰于1993年提出,是ID3算法的扩展和改进版本。C4.5算法最大的特点是通过引入增益率克服了ID3算法对多值特征的偏好,同时支持连续特征和缺失值的处理,并使用后剪枝技术,可生成更加简洁且泛化能力更强的决策树。C4.5算法生成的是多叉树,即每个节点可能有多个子节点,而不是二叉树；尽管多叉树在某些情况下表达更自然,但在计算机中,二叉树的计算效率通常更高；并且C4.5算法需要计算增益率、在处理连续特征时需要寻找最优切分点,这都导致其计算复杂度较高。算法要点决策树决策树生成算法（3）CART算法ID3算法和C4.5算法生成的决策树分支、规模都比较大,而CART算法的二分法可缩减决策树的规模,提高生成决策树的效率。在分类任务中,CART使用基尼指数作为特征选择的标准。算法停止计算的条件是节点中的样本个数小于预定阈值,或样本集的基尼指数小于预定阈值(样本基本属于同一类),或者没有更多特征；CART算法生成的是二叉树,同时基尼指数的计算相较于熵模型更加简单、有效；CART算法在计算复杂度低于C4.5算法的同时有着相近的分类性能。决策树决策树集成集成学习是一种将多个弱分类器组合在一起,形成一个更强的模型的技术。集成学习的基本理念是,多个模型的组合比单一模型表现得更好,尤其是在减少方差和偏差方面。在集成学习中,决策树通常与两种主要的技术结合使用:随机森林和提升树。随机森林提升树随机森林通过引入样本随机性和特征随机性来构建一组相互独立的决策树模型,并通过集成这些模型的结果来减少单棵决策树的方差,从而提高模型的整体性能。提升树通过顺序训练多个弱决策树,并在每一步中根据前一棵树的误差对模型进行调整。提升树的核心思想是逐步构建弱分类器,每一棵新的决策树都在前一棵树的基础上进行改进,以减少整体模型的误差。浅层神经网络05ShallowNeuralNetwork人工神经网络基础术语定义人工神经网络(artificialneuralnetwork,ANN)是一种受生物神经系统原理启发的计算模型,广泛应用于模式识别、图像处理、自然语言处理等多个领域。该模型从信息处理的角度对人脑神经元网络进行抽象,构建出一种简化的网络结构。神经网络由大量相互连接的节点(或称神经元)构成,每个节点对应一种特定的输出函数,称为激活函数(activationfunction)。节点之间的连接被赋予一个加权值,称为权重,这些权重可以视为神经网络的“记忆”。网络的输出结果依赖于连接方式、权重值和激活函数的选择,通常用于逼近自然界中的某种算法或函数,或表达特定的逻辑策略。人工神经网络基本特征非线性:人工神经元在激活与抑制两种状态之间切换,这种行为在数学上体现为非线性关系。非局限性:神经网络通常由多个神经元广泛连接而成,系统的整体行为不仅依赖于单个神经元的特性,更由各单元之间的相互作用和连接关系所决定。通过大量的单元间连接,神经网络有效模拟了大脑的非局限性。非常定性:人工神经网络具备自适应、自组织和自学习的能力。神经网络不仅能够处理多种形式的信息,同时在处理信息的过程中,其非线性系统本身也在不断变化。非凸性:系统的演化方向在特定条件下取决于某一特定的状态函数，非凸性指的是这种状态函数存在多个极值,因而系统可能具有多个较为稳定的平衡态,这将导致系统演化的多样性。人工神经网络基本特征网络中的处理单元分为三类:输入单元、输出单元和隐藏层单元。输入单元负责接收来自外部世界的信号与数据;输出单元则输出系统处理的结果;隐藏层单元位于输入单元和输出单元之间,无法被外部直接观察。神经元之间的连接权值反映了单元间的连接强度,信息的表示和处理体现在网络处理单元的连接关系中。神经元结构神经元对于一个神经元,假设来自其他神经元i的信息为xi,与本神经元的连接权值为wi(i=1,2,···,n),处理单元的内部阈值为θ,则该神经元的输入可以表示为,神经元的输出为

，神经元的输出为其中,xi

为第i个输入元素,wi

为第i个神经元与该神经元之间的权重,f为激活函数,θ表示阈值。激活函数在神经元结构中使用激活函数的主要原因在于,如果不使用激活函数,每一层的输出将仅为上层输入的线性函数。这意味着无论神经网络的层数有多少,最终的输出都是输入的线性组合。而引入激活函数后,神经元能够实现非线性映射,使得神经网络能够任意逼近任何非线性函数。常用的激活函数有以下几种形式：阶跃函数:Sigmoid函数：神经元结构特点：阶跃函数的输出仅有两个值:0和1,这使得它非常适合用于二分类问题。可以将其视为一种激活机制,当输入信号达到一定阈值时,神经元被激活。缺陷：其具有离散性，在反向传播时,无法根据输出误差有效地更新权重,这使得神经网络在训练时难以收敛特点：阶跃函数的输出仅有两个值:0和1,这使得它非常适合用于二分类问题。可以将其视为一种激活机制,当输入信号达到一定阈值时,神经元被激活。缺陷：其具有离散性，在反向传播时,无法根据输出误差有效地更新权重,这使得神经网络在训练时难以收敛激活函数常用的激活函数有以下几种形式：(1)阶跃函数:特点：输出仅有两个值,0和1,这使得它非常适合用于二分类问题。可以将其视为一种激活机制,当输入信号达到一定阈值时,神经元被激活。缺陷：其具有离散性，在反向传播时,无法根据输出误差有效地更新权重,这使得神经网络在训练时难以收敛.神经元结构激活函数(2)Sigmoid函数：特点：Sigmoid函数也称Logistic函数，输出值范围是(0,1)。这使得它能够将任意实数映射到0~1的区间,适用于分类问题。在二分类系统中,Sigmoid函数输出可以解释为样本属于正类的概率。在多分类系统中,Sigmoid函数可用于输出不同类别的概率,从而通过概率值的大小判断样本的类别。缺陷：当输入值远离坐标原点时,Sigmoid函数的梯度逐渐趋于0。在反向传播过程中,每当经过Sigmoid函数的导数,其微分值会迅速减小。反向传播时,容易出现梯度消失现象,导致深层网络的训练变得困难,甚至无法收敛。同时Sigmoid函数的输出不是以0为中心,这会导致权重更新效率降低。在某些情况下,这可能会导致学习过程变慢。神经元结构激活函数(3)