数据科学与工程数学基础 课件 第1章 数据科学与工程数学基础

数据科学与工程数学基础目录CONTENTS第1章绪论第2章向量与矩阵基础第3章统计推断第4章凸优化基础第5章优化算法第6章图论基础第7章项目案例—图像处理综合应用第1章1.1数据与大数据1.2数据科学与工程简介1.3数据科学与工程中的数学基础1.4

科学与实践意义§1.1数据与大数据数据分类数据作为数字时代的核心资源，不仅仅是数字的表达，还包括文字、图像、视频等形式。按数据的组成形态具有以下三种类型。结构化数据如：表格、数据库记录、XML文档、JSON对象。非结构化数据如：文本、图片、音频、视频半结构化数据如：日志文件、HTML文件、Email文件1.1.1

数据§1.1数据与大数据数据存储大数据的存储和管理技术主要分三类：分布式文件系统、数据仓库和非关系型数据库（NoSQL）。

分布式文件系统：多台节点服务器和客户端之间分散存储，共享访问，管理及备份数据的文件管理系统。如：HDFS、Ceph、GlusterFS、FastDFS§1.1数据与大数据大数据定义在体量和类别特别大的杂乱数据集中，深度挖掘分析取得有价值信息的能力。1.1.2

大数据§1.1数据与大数据大数据特征大数据的7V特征包括规模性、高速性、多样性、价值性、真实性、易变性、可视性

§1.2数据科学与工程简介概念数据科学与工程是以数据为中心，通过计算思维与数据思维的方法，来理解所处的世界（科学），以及对现实问题的求解（工程）。1.2.1

数据科学与工程概念§1.2数据科学与工程简介1.2.2

数据科学发展历程2008年9月美国《自然》（Nature）杂志专刊——Thenextgoogle,第一次正式提出“大数据”概念2011年2月1日《科学》（Science）杂志专刊——Dealingwithdata，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”2015年3月美国政府任命DJ·Patil为史上第一任首席数据科学家§1.2数据科学与工程简介1.2.3

数据科学在工程中应用数据科学被广泛应用于各个领域，包括金融、零售、医药、教育、生物等等，如下图所示。§1.3数据科学与工程中的数学基础本书组织架构1.3.1

矩阵计算§1.3数据科学与工程中的数学基础特征向量分析主成分分析（PCA），可以实现数据降维和信息提取矩阵分解技术如奇异值分解（SVD），可以揭示数据内在结构和预测用户偏好聚类划分数据集群体，以及在时间序列分析中进行趋势分析和异常检测1.3.2

统计推断§1.3数据科学与工程中的数学基础贝叶斯推断利用先验信息和新数据更新事件概率，在机器学习和预测分析中表现优越统计检验通过t检验、卡方检验等判断数据是否支持特定假设，助力科学决策§1.3数据科学与工程中的数学基础梯度下降算法随机梯度下降（SGD）广泛用于网络参数的优化，以最小化损失函数Adam优化器牛顿法与拟牛顿法利用二阶导数（Hesse矩阵）来加速收敛，通过近似Hesse矩阵提高效率，适用于中到大规模的优化问题BFGSL-BFGS交替方向乘子法用于处理约束优化问题，原理是将原问题分解为几个较小子问题，分别求解再合并，常用于统计学习和信号处理等领域最小二乘法通过最小化预测值与实际值之间的平方误差来优化模型参数，以找到数据最佳函数匹配，广泛应用于线性回归、曲线拟合和预测分析1.3.3

最优化理论基础§1.3数据科学与工程中的数学基础图遍历深度优先搜索（DFS）用于搜索社交网络中的用户连接，或在推荐系统中找到与特定项目相似的其他项目广度优先搜索（BFS）最短路径寻找图中两个顶点之间的最短路径，用于优化网络流量Dijkstra算法社交网络通过分析用户间的互动、连接和关系强度，可以揭示出人们的影响力、社区结构和行为模式知识图谱图论与人工智能结合的产物，它将实体、关系和属性组织成图形结构，便于机器理解和推理1.3.4

图论基础§1.4科学与实践意义010203提高数据处理能力