0-数据分析概述-(1)资料

数据分析

山东交通学院李晓燕数据分析先导课

大数据处理技术数学分析概率论与数理统计高等代数并行课后续课数据挖掘技术Matlab及应用数学模型与实验

课程地位专业任选课/第4学期/56学时/3.5学分2024/8/17

内容及学时安排数据描述性分析

1023456报告2+2

7聚类分析8

判别分析8

主成分与典型相关分析8回归分析12MABLAB基础812024/8/17参考资料《MATLAB数据分析与应用：40个案例分析》（第2版），谢中华著，北京航空航天大学出版社；《数据分析方法》，梅长林、范金城编，高等教育出版社；《应用多元统计分析》，高惠璇编，北京大学出版社；《使用统计方法与SAS系统》,高惠璇编，北京大学出版社；《多元统计分析》(二版)，何晓群编，中国人民大学出版社;《应用回归分析》(二版)，何晓群编，中国人民大学出版社;《统计建模与R软件》，薛毅编著，清华大学出版社;《应用多元统计分析》(第二版)，沃尔夫冈.哈德勒，利奥波德.西马著，陈诗一译.2024/8/17参考资料2024/8/17考核方式考核：期末成绩（闭卷考试+上机考试）：50%。平时成绩(作业40%+考勤20%+报告40%)：50%。课程作业（1）作业题目在网络教学平台公布，按格式要求，以电子版方式通过平台提交。（2）每位学生应保留每次作业备份直到课程结束。（3）雷同的作业均按0分计算。2024/8/17大报告：要求：（1）调研，收集数据；（2）数据处理；（3）选合适的数学模型建模；（4）2-3人一组，写一篇大论文上交。做PPT汇报，10-20分钟，提问2-3个问题。论文和答辩各占60、40分。老师占70%，学生30%。

2024/8/17目的要求：掌握各种方法的原理和应用范围，会建立模型；用Matlab等软件进行统计分析，熟悉输出结果，进行解释。建议：理论应用并重：理论重点是思路，应用重点是实践重视练习：多做练习加深理解，实际操作熟悉软件不缺课：内容前后呼应，缺课不利学习

“师傅领进门，修行在个人”。2024/8/17数据分析概述2课程体系及应用1数据分析的概念3统计学产生及发展5数据的分布4常用软件及应用2024/8/17你想过下面的问题吗？如何根据抽样数据研究该年级学生的学习成绩？用各科成绩总和作为综合指标,比较成绩差异；根据各科成绩相近程度对学生进行分类(文科成绩好与理科好）；研究各科成绩间关系(物理与数学成绩,文科与理科成绩).某年级抽6名学生5门课期末成绩序号政治语文外语数学物理

19994931001002998896999731009881961004938888999651009172967867573889789数据分析是以各变量n次观测组成的数据矩阵为依据,依实际问题需要进行分析数据矩阵“数据！数据!数据!”、“我不能做无米之炊！”—Sherlock·福尔摩斯

概述2024/8/17

1数据分析概述

1.1数据分析的概念

数据分析：以数据为依据，以统计方法为理论、计算机及统计软件为工具，挖掘数据统计规律。通过收集数据--整理数据--分析数据，提取有用信息并形成结论，最大化发挥数据资料的功能和发挥作用。2024/8/17数据分析研究的过程确定目标1概述2024/8/171.2数据的来源与分类搜集渠道一手数据

专门调查或试验直接得到二手数据

媒体、机构发布间接得到收集方式观测数据

不可控制条件下被动收集试验数据

可控条件下主动收集数据维度时间序列数据—按时间顺序收集的数据，时间维度横截面数据—同一时间点不同对象的数据，个体维度1概述2024/8/172课程体系及应用

大部分学科都涉及数据分析工作，因此数据分析几乎可与任一学科结合起来。如生物统计(biostatistics)、经济计量学(econometrics)、生物信息(bioinformation)和数据挖掘(Data

Mining)的方法主体都是统计。2024/8/17概率统计描述性分析参数估计假设检验方差分析回归分析典型相关分析主成分分析典型相关分析聚类分析判别分析多元统计的理论基础多元数据的统计推断变量间的相互关系简化数据结构(降维问题)分类与判别(归类问题)课程体系2024/8/17

数据分析的应用1.教育学7.服装工业2.医学8.经济学3.气象学9.农业4.环境科学10.社会科学5.考古地质11.文学6.生物学12.其他基因鉴定种群分类成绩预测分类排名诊断病例药物研究天气预报灾情预防环境监测污染治理矿产预测考古断代服装设计型号确定灌区分类品种筛选信用评价经济决策青少年犯罪研究

虚词频数鉴定作品交通体育军事心理学3.气象学--天气预报雷达图/product/radar/index/procode/JC_RADAR_AZ9531_JB2024/8/174.环境科学--分析污染气体浓度,布局监测点,污染治理./cysc/ny/gdxw/201301/24/t20130124_21325056.shtml5.处理地质观测数据,进行矿产预测、构造解释、工程勘探等.2024/8/17

应用案例及选题参考美国选举例子：谁会在1936选举中获胜?AlfLondon还是

F.D.R.(罗斯福)?

LiteraryDigest(文摘)送出一千万份问卷(返回二百四十万份)后,预测London会赢.而Gallop(盖洛普)只问了5000人说

Roosevelt(罗斯福)会赢.最后罗斯福和盖洛普都赢了.文摘倒闭了.2024/8/17大学排名：非常敏感的问题。不同机构得出不同结果；如何理解这些结果呢？如何对学生成绩进行综合评价？--主成分公司信用评价：一些公司试图得到贷款时无不良记录。如何根据它们的财务和商业资料来判断一个公司的信用等级呢？我国东部和西部概念比较笼统。如何选择一些指标来把各省,或各市县甚至村进行分类呢？DNA鉴定、蝴蝶的分类--聚类分析如何才能够客观得到电视节目收视率，以确定广告价格是否合理呢？确定红楼梦前四十和后四十回是否曹雪芹一人写？2课程体系及应用2024/8/17高中成绩和大学成绩是否密切相关？地震与油价上涨有关吗？--相关分析水质污染和那些因素有关？如何确定重金属污染源？--回归如何设计调查问卷，收集数据，调查大学生喜欢的手机品牌?电影票房影响因素有哪些？客户流失分析2课程体系及应用2024/8/17社会经济统计数理统计政治算术国势学派最早流派之一。创始人德国康令(H.Conring1606-81)和阿享瓦尔(G.Achenwall1719—72).采用文字记述形式，把重要事项系统整理罗列(报表).创始人格朗特(J.Graunt1620—74)和威廉.配第(W.Petty1623-87)。主张以数字、重量和尺度来说话，用图表形式概括数字资料.创始人比利时凯特勒(L.A.J.Quetelet1796-74),产生19世纪中，把概率论引进统计学,为统计数量分析奠定数理基础(数学统计学院).代表人恩格尔(1821-96)和梅尔(1841-1925).19世纪后兴起德国,融会国势和政治算术学派观点,把政府统计和社会调查融合起来,形成社会经济统计学,影响较大.(经济管理学院).3统计学的发展与其他学科关系统计学的产生:17世纪中叶，英国威廉配第《政治算术》问世.

2024/8/173统计学的发展历史上著名的统计学家JacobBernoulli(伯努利)(1654-1705)EdmondHalley(哈雷)(1656-1742)DeMoivre(棣莫弗)(1667-1754)ThomasBayes(贝叶斯)(1702-1761)LeonhardEuler(欧拉)(1707-1783)PierreSimonLaplace(拉普拉斯)(1749-1827)AdrienMarieLegendre(勒让德)(1752-1833)ThomasRobertMalthus(马尔萨斯)(1766-1834)FriedrichGauss(高斯)(1777-1855)JohannGregorMendel(孟德尔)(1822-1884)KarlPearson(皮尔逊)(1857-1936)RonaldAylmerFisher(费希尔)(1890-1962)JerzyNeyman（奈曼）(1894-1981)EgonSharpePearson(皮尔逊)(1895-1980)WilliamFeller(费勒)(1906-1970).C.R.劳教授（1920-）ThomasRobertMalthus(马尔萨斯)PierreSimonLaplace(拉普拉斯)LeonhardEuler(欧拉)FriedrichGauss(高斯)JohannGregorMendel(孟德尔)2024/8/17统计学与数学的关系数学思维以演绎为主

每个人都要死的苏格拉底是人所以苏格拉底要死的---数学的思维过程统计各领域利用几乎所有数学;但统计本身的数学为具体目标服务,一般不形成数学体系。统计以归纳为主,兼有演绎路口每过去20辆小轿车，有100辆自行车通过平均每10个轿车载12于是你认为小轿车和自行车在路口运载能力为24:100---典型的统计思维过程2024/8/17统计学与计算机的关系最初计算机仅仅是为科学计算而设计和建造的。统计是大型计算机最早用户，由于统计和数据打交道,没有计算机的发展统计就没有前途.计算机和统计的发展相辅相成2024/8/17统计学与数据挖掘的关系统计学内容上假设检验和参数估计时间上统计学是经典学科。研究优势

统计学科的数据挖掘侧重于算法理论和技术应用数据挖掘内容上分析数据中的结构、模式并产生特定形式的信息，是统计学的补充和扩展。时间上计算机和大数据催生的新学科研究优势

计算机学科的数据挖掘侧重算法开发和软件实现

都是数据分析处理技术。依托学科背景，从各自优势角度做同一件事2024/8/17ExcelSPSSRMATLABSAS数据分析功能强大，统计分析领域巨无霸。全球100强91家用SAS。需一定编程技术，价高科学计算以编程为主软件,应用广泛,有统计包。免费开源,编程方便,可从网上下载软件包和程序。学统计用的多，主要问题没有“傻瓜化”易操作,功能全,价格低。非统计工作者的选择数据表格软件,画图和简单统计分析功能（需装数据分析功能）4常用统计软件介绍python面向对象、解释型程序设计语言，开源软件，语法简洁，能把其他语言模块(C++)结合。应用于处理系统管理任务和Web编程。2024/8/17FORTRANGAUSSEviewsS-PLUSArcGis地理信息处理软件，空间统计分析Minitab、Statistica:功能强大齐全,“傻瓜化”,不普遍。处理回归和时间序列的软件应用广、历史长、速度快、功能强、有统计包。需编程，操作不易。4常用统计软件介绍搞经济的喜欢，编程强。中国用的不多282024/8/175常见的参数分布及数字特征292024/8/17X为一维总体，分布函数

5.1一维总体分布302024/8/17（1）正态分布（2）对数正态分布

.密度背景：如一变量可看成许多独立因子之积，近似正态分布.如股票投资长益可看成每天收益率的乘积.5.2常用的参数分布类型312024/8/17（3）指数分布

背景：产品失效是偶然失效时,寿命服从指数分布,失效率与时间无关.从任一时刻算寿命服从相同指数分布.（4）Gamma分布

背景：表示早期、偶发、耗损失效等不同寿命分布，比指数、正态分布更具普遍性。适用于各种形式的分布.,,322024/8/17（5）Weibull分布

（6）Beta分布

背景：瑞典物理学家WallodiWeibull于1939年引进，是可靠性分析及寿命检验的理论基础.背景：取值在一有限区间的分布,可当作取值在区间总体的概率模式.332024/8/17其它分布举例

,

分布:

分布:

分布:

样本342024/8/17抽样分布二项分布:

泊松分布:

均匀分布:

,

分布:

分布:

分布:

352024/8/175.1一维总体分布—总体p分位数

数字特征

2024/8/17置信区间---置信区间2024/8/17复习概率论与数理统计知识1.分布函数、概率密度2.常见分布F、t、正态分布密度3.数字特征期望、方差4.置信区间2024/8/171.1.2多元统计分析研究内容和方法

1.多元统计的理论基础多维随机向量及多维正态随机向量及由此定义的各种多元统计量，推导其分布并研究性质、抽样分布理论——概率论与数理统计、数据描述性分析.2.多元数据的统计推断参数估计和假设检验问题.特别是多元正态分布的均值向量及协方差阵的估计和假设检验等问题——数据描述性分析等.3.变量间的相互关系1）相互依赖关系：分析一或多个变量是否依赖于另一些变量的变化，建立变量间定量