数据基础分析及研究2

马秀麟数据分析方法及应用2018年11月课程简介一、课程内容课程内容简介综述数据采集与准备清理与规范化，数据统计与数据描述统计推断与分析检验归因与归类分类与降维技术一、课程内容数据描述数据的基本类型定距变量（度量型）——连续数据定序变量（序号型）——离散数据定类变量（名义型）——离散数据数据的关键特征集中性离散性分布形态正态分布、泊松分布指数分布等一、课程内容数据差异显著性分析参数检验（近正态分布且高测度数据）T检验方差分析、非参数检验（非正态数据或低测度数据）定距数据的非参数检验定类数据的卡方检验一、课程内容关联性分析相关性分析回归分析——预测与趋势线性回归曲线回归逻辑回归归因分析相关性分析回归分析方差分析主成分分析等一、课程内容归类与聚合聚类分析判别分析因子分析主成分分析可靠性分析信度保证与检验效度保证与检验2018年2月教师简介教师简介1.基本信息姓名马秀麟，男，教育技术学博士副教授，硕士生导师个人经历1992年，走上大学讲台1997年，讲师2003年，副教授联系方式Email：maxl@教师简介2.教学经历主讲的主要课程（三轮以上）：《多媒体技术与网页制作》、《信息技术与课程整合》《数据结构》、《动态网站开发》、《Java语言》《数据分析方法及应用》、《教育管理信息系统》、教学成果出版高校教材15部，出版教学类专著3部已经指导硕士研究生32名（已毕业），目前在读硕士11名教师简介教学奖励2004年，北京师范大学十佳教师2006年，北京师范大学本科教学优秀奖2010年，北京师范大学多媒体网络课程大赛二等奖2014年，北京师范大学钱瑗教育基金奖2015年，北京师范大学多媒体课件比赛一等奖、全国多媒体教学课件大赛一等奖2016年，北京师范大学教学名师奖学习资源、教材与教学一、教材与资源1、教材《数据分析方法及应用》，马秀麟等编著人民邮电出版社，2015年一、教材与资源2、参考书《SPSS

forWindows数据统计分析工具应用教程》，衷克定编著，北京师范大学出版社，2008年一、教材与资源2、参考书SPSS统计分析方法及应用薛薇编著电子工业出版社2009年11月一、教材与资源2、参考书统计数据分析基础教程——基于SPSS和Excel的调查数据分析，叶向编著，中国人民大学出版社，2009年出版一、教材与资源3、网络课程马秀麟教学服务平台：/,请正确地登录；本科生登录硕士生登录选择课程《数据分析方法及应用》。二、教学方式课堂讲授教师讲授，学生倾听与讨论上机实践本科生在机房完成上机作业硕士生课外自行完成各种作业通过上机实践获得感性认识，强化理解大型作业（机动）自行完成一份基于社会调查的大型作业三、评价方式1、总体设计考核采用平时成绩与期末成绩相结合的形式：综合评价成绩构成：平时40％，期末考试60％。2、具体要求平时作业：包括上机实验、作业等；大型的社会调查与分析报告（机动）自行选题，设计调查问卷，完成数据分析期末考试期末考试采用无纸化上机考试的形式（60%）。第一章数据处理概述一、课程背景1.大数据时代的来临背景信息系统的广泛应用商业、政务经济、社会学教育信息爆炸——数据爆炸数据需要发挥价值数据内部隐藏规律数据的商业价值一、课程背景1.大数据时代的来临大数据的特点——4个“V”。①数据体量(Volumes)巨大。大型数据集，从TB级别，跃升到PB级别。②数据类别(Variety)繁多。数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。③价值(Value)密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟。④处理速度(Velocity)快。包含大量在线或实时数据分析处理的需求，1秒定律。一、课程背景大数据时代的特点数据的服务模式和构建过程越来越趋向于个性化、自主化、虚拟化、智能化、透明化和体验化；知识创造模式、组织模式、传播模式和应用模式呈现出规模化、集约化、数字化和网络化的趋势。基于时间序列的分析与趋势分析日益重要一、课程背景大数据时代的物质基础大数据时代的技术基础高性能计算机、高速网络、大容量存储大数据时代的数据基础各类信息系统的大量积累信息的高速处理与传递大数据时代对数据处理的要求从大数据中挖掘规律——数据分析与数据挖掘避免在数据海洋迷航——数据推送一、课程背景2.计算机科学思维方式的价值(1)计算思维拓展了其他学科的研究方法体系不同学科所形成的科学研究方法在学科自身发展的推动下迅速发展，在计算机科学与技术的支持下，自然科学研究的主流研究方法范式----实证研究的量化数据处理，发展出了一整套形式语言理论、编译理论、检验理论以及优化理论。人文社会科学研究的主流研究方法范式----思辨研究质性分析，则受到了计算机科学冲击，从基本文本分析到语义分析、语料分析处理，也都可借助计算机将原本只有人工才能分析的复杂内容形式化、程序化和机器化。一、课程背景(2)计算思维丰富和深化了其他学科的研究范畴计算机科学与技术作为发展最快的学科开创了信息时代，其方法论特性直接渗透和影响到一些学科，并延伸到各个基础研究领域。(3)计算思维改变了各个学科的发展模式由于学科知识体系的有机关联，计算思维在理论和实践上的成果带来了相关学科的活跃与繁荣。尤其是其方法论意义对各个学科的启发和促进作用异乎寻常。现代科学发现了一系列原有科学理论体系不能解释和说明的新的事实，出现了一些佯谬，破坏了科学体系已有原则和思维前后逻辑的一贯性和严密性，产生了现代科学范畴体系的许多带有根本性的变化，同时也促使思维模式、逻辑方法向前发展。一、课程背景3.人才培养面临的新形势学科的交叉与融合数据采集与处理能力的变化网络化Internet化研究方法的信息化数据采集能力数据检验能力数据分析能力数据推送能力定量与实证日益重要一、课程背景4、存在的问题数据分析技术能做什么？不清楚何时、何地能用数据分析技术？不恰当地使用滥用数据分析技术简单、重复地应用做了一大堆的百分比错误应用？（对应用的描述恰当否）分析方法错误解读结果错误缺乏高水平使用二、数据处理简介1.数据处理的两个层次服务于事务性活动服务于业务活动例如：教务系统中的成绩管理、选课管理学生系统中的学籍管理等表现形态各类信息系统数据分析与应用分析数据的内在规律，进一步应用数据例如：对成绩情况的挖掘对学生评教情况的挖掘二、数据处理简介2.数据分析的两种模式静态的数据分析技术——数据分析技术基于社会科学统计分析软件面向静态数据开展各类分析（关联性、差异性、归因等）动态的数据分析技术——数据挖掘技术（DM）基于动态变化的信息系统，设计数据挖掘模块针对动态数据实时分析其内在联系二、数据处理简介3.数据分析技术在科研中的主要应用研究方法质性研究定量研究——实证性研究，调查与分析主要形式社会调查与分析教育学、心理学、经济学、社会学、哲学、法律内容分析法、文献研究法中文、历史、法律二、数据处理简介4.数据分析（数据挖掘）的主要技术数据情况描述——数据的类型定距变量——连续数据定序变量——离散数据定类变量——离散数据（大小无关性）——数据特征描述集中性均值、众数、中数离散性标准差、标准误、方差、全距（极差）、四分位差异众比率——分布情况正态分布？泊松分布、指数分布二、数据处理简介差异性检验——均值差异性（T检验、方差分析）——分布差异性关联性分析——相关性分析（相关系数、检验概率）——回归分析归因分析——回归分析、方差分析、主成分分析归类与聚合——聚类分析、判别分析等可靠性分析二、数据处理简介5、数据分析与挖掘的软件数据分析软件专业化SPSS（StatisticalProductandServiceSolutions）或（StatisticalPackageforSocialScience）——广泛应用于社会科学，SAS（StatisticalAnalysisSystem）——应用于化学、生物、心理、农医等领域的统计分析软件Systat（SystemStatistical）——广泛应用于各类统计分析二、数据处理简介业余软件Excel的数据统计与分析函数统计函数SumCountIFCountIF等分析函数TtestFtestCorrel等Excel的数据分析工具库Excel的重要组件已经成为默认安装组件，但需要人工打开必要的开关项。二、数据处理简介数据挖掘（DM）体系对于信息的挖掘，可分为两类：数据挖掘(Mining

for

Data)工具：其所用的数据都存储在已经有了明确字段定义的数据库或文本文件里，我们称之为结构化的数据挖掘工具。它主要是用来进行预测、聚类分析、关联分析、时间序列分析以及统计分析等。文本挖掘(Text

Mining)工具：它是用来从非结构化的文档中提取有价值的信息，这些信息都隐藏在文档里并且没有清晰的字段定义。文本挖掘主要是应用在市场调研报告中或呼叫中心(Call

Center)的客户定级、专利的分类、网页的分类以及电子邮件分类等。二、数据处理简介数据挖掘的特点集成于数据库管理系统之中，需要数据仓的支持补充知识数据库与数据仓示例微软公司BusinessIntelligenceDevelopmentStudio中的AnalysisServices大型网络平台的内置数据挖掘功能购物网站的商品推送新浪网的“猜你喜欢”三、SPSS与Excel简介1、Excel的数据分析功能与SPSSExcel简介Excel的简单数据统计与分析函数Excel的专业化数据分析工具SPSS简介专业化的社会科学统计分析工具目前常用版本：V18.0—V21.0。三、SPSS与Excel简介2、启用Excel的数据分析工具启用分析工具的方法在界面左上角找到“文件”按钮。单击此按钮，并从中选择“Excel选项”，以便启用“Excel选项”界面；从界面左侧选中“加载项”，然后在其面板底部选择“Excel加载项”，并单击“转到”按钮；在弹出的对话框中选择把“分析工具库”复选框选中，然后单击“确定”。应用分析工具选用选项卡“数据”；在功能区中右侧找到“数据分析”按钮，单击之后即可获得数据分析对话框。三、SPSS与Excel简介3、安装SPSS的系统首先，下载SPSS系统软件