数据科学与工程数学基础 课件 第1-3章 数据科学与工程数学基础-统计推断

数据科学与工程数学基础目录CONTENTS第1章绪论第2章向量与矩阵基础第3章统计推断第4章凸优化基础第5章优化算法第6章图论基础第7章项目案例—图像处理综合应用第1章1.1数据与大数据1.2数据科学与工程简介1.3数据科学与工程中的数学基础1.4

科学与实践意义§1.1数据与大数据数据分类数据作为数字时代的核心资源，不仅仅是数字的表达，还包括文字、图像、视频等形式。按数据的组成形态具有以下三种类型。结构化数据如：表格、数据库记录、XML文档、JSON对象。非结构化数据如：文本、图片、音频、视频半结构化数据如：日志文件、HTML文件、Email文件1.1.1

数据§1.1数据与大数据数据存储大数据的存储和管理技术主要分三类：分布式文件系统、数据仓库和非关系型数据库（NoSQL）。

分布式文件系统：多台节点服务器和客户端之间分散存储，共享访问，管理及备份数据的文件管理系统。如：HDFS、Ceph、GlusterFS、FastDFS§1.1数据与大数据大数据定义在体量和类别特别大的杂乱数据集中，深度挖掘分析取得有价值信息的能力。1.1.2

大数据§1.1数据与大数据大数据特征大数据的7V特征包括规模性、高速性、多样性、价值性、真实性、易变性、可视性

§1.2数据科学与工程简介概念数据科学与工程是以数据为中心，通过计算思维与数据思维的方法，来理解所处的世界（科学），以及对现实问题的求解（工程）。1.2.1

数据科学与工程概念§1.2数据科学与工程简介1.2.2

数据科学发展历程2008年9月美国《自然》（Nature）杂志专刊——Thenextgoogle,第一次正式提出“大数据”概念2011年2月1日《科学》（Science）杂志专刊——Dealingwithdata，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”2015年3月美国政府任命DJ·Patil为史上第一任首席数据科学家§1.2数据科学与工程简介1.2.3

数据科学在工程中应用数据科学被广泛应用于各个领域，包括金融、零售、医药、教育、生物等等，如下图所示。§1.3数据科学与工程中的数学基础本书组织架构1.3.1

矩阵计算§1.3数据科学与工程中的数学基础特征向量分析主成分分析（PCA），可以实现数据降维和信息提取矩阵分解技术如奇异值分解（SVD），可以揭示数据内在结构和预测用户偏好聚类划分数据集群体，以及在时间序列分析中进行趋势分析和异常检测1.3.2

统计推断§1.3数据科学与工程中的数学基础贝叶斯推断利用先验信息和新数据更新事件概率，在机器学习和预测分析中表现优越统计检验通过t检验、卡方检验等判断数据是否支持特定假设，助力科学决策§1.3数据科学与工程中的数学基础梯度下降算法随机梯度下降（SGD）广泛用于网络参数的优化，以最小化损失函数Adam优化器牛顿法与拟牛顿法利用二阶导数（Hesse矩阵）来加速收敛，通过近似Hesse矩阵提高效率，适用于中到大规模的优化问题BFGSL-BFGS交替方向乘子法用于处理约束优化问题，原理是将原问题分解为几个较小子问题，分别求解再合并，常用于统计学习和信号处理等领域最小二乘法通过最小化预测值与实际值之间的平方误差来优化模型参数，以找到数据最佳函数匹配，广泛应用于线性回归、曲线拟合和预测分析1.3.3

最优化理论基础§1.3数据科学与工程中的数学基础图遍历深度优先搜索（DFS）用于搜索社交网络中的用户连接，或在推荐系统中找到与特定项目相似的其他项目广度优先搜索（BFS）最短路径寻找图中两个顶点之间的最短路径，用于优化网络流量Dijkstra算法社交网络通过分析用户间的互动、连接和关系强度，可以揭示出人们的影响力、社区结构和行为模式知识图谱图论与人工智能结合的产物，它将实体、关系和属性组织成图形结构，便于机器理解和推理1.3.4

图论基础§1.4科学与实践意义010203提高数据处理能力海量数据中提取有价值的信息提升决策能力精确的市场预测、风险评估和决策支持推动科学进步通过数据分析揭示现象背后的规律总结数据科学与工程数学基础概念及应用数据科学与工程中的数学基础知识01矩阵基础

第二章

向量与矩阵基础CONTENTS02向量与矩阵微分03矩阵分解04大规模矩阵计算2.3

向量与矩阵微分常数矩阵：一个矩阵的所有元素都是常数，则称该矩阵是

常数矩阵。函数矩阵：一个矩阵的元素中至少有一个是自变量的函数，则称该矩阵是函数矩阵。函数向量：自变量为向量、因变量为向量的函数，通常表示为

。2.4

矩阵分解2.4.2

QR分解2.4.3

奇异值分解2.4.1

LU分解

2.4.1

LU分解

LU分解法是将原正方矩阵分解成一个上三角形矩阵L和一个下三角形矩阵U。定理

设为阶方阵，则可以惟一地分解为

的充分必要条件是的前个顺序主子式

.其中分别是单位下、上三角矩阵，是对角矩阵

例1求矩阵

的

分解与

分解.

解：因为

，所以矩阵的

与分解存在.令

于是得到

从而求出

的

分解及

分解分别2.4.2

QR分解

定义如果实矩阵可分解成一个正交矩阵

与一个实的上三角矩阵

的乘积，即

则称上式为矩阵的一个

分解.

任何实的非奇异阶矩阵可以分解为正交矩阵

和上三角

矩阵的乘积，且除去相差一对角元素之绝对值全等于1的对角阵因子外，分解式

是惟一的.定理

QR分解步骤

例

求矩阵

的

分解.

再将其单位化，得到一组标准正交向量组

这样，原来的向量组与标准正交向量之间的关系可表示成

将上面的式子矩阵化，即为

2.4.3

奇异值分解

定义设，的特征值为

则称为的奇异值；当为零矩阵时，它的奇异值都是0.

定理设，则存在阶矩阵和阶矩阵，使得

（2-1）

其中

，而

为矩阵的全部非零奇异值.改写式（2-1）为

（2-2）

称式（2-2）为矩阵的奇异值分解.奇异值分解的步骤

（1）求

的特征值

，并求其对应的特征向量，将其单位化为从而得正交矩阵

；

（2）求的秩，奇异值

及（3）计算

，从而得正交矩阵；

（4）

的奇异值分解为

例

求矩阵的奇异值分解可求得的特征值为对应的特征向量依次为于是可得：令解：计算其中计算：构造：则的奇异值分解为

总结2.

QR分解3.奇异值分解1.LU分解

01概率与统计基础第三章

统计推断

CONTENTS02随机向量及其分布03贝叶斯方法04参数估计与统计检验1.离散型随机变量3.1

概率与统计基础