信息学科前沿1—邱强《大数据概述及空间大数据应用》教学大纲.docx

信息学科前沿1邱强大数据概述及空间大数据应用教学大纲一、课程编号：二、课程名称：信息学科前沿1三、先修课程: 选修四、课程的性质、目的和任务： 本课程为选修课程。大数据是工业界及学术界新兴的数据、技术和服务的集合体，是一门综合性较强的应用课程，可以作为计算机等相关专业专业选修课，或其他专业感兴趣同学的公共选修课。本课程从大数据的基础概念出发，从技术的角度梳理了大数据相关技术体系，就关键技术展开描述，并以空间大数据应用为场景，介绍地图应用以及LBS服务，培养学生在具体行业应用中体会大数据概念和技术。通过本课程的学习，培养学生加深对大数据相关概念的理解，掌握基础的大数据研发技能，并引导学生对具体的大数据技术进行深入的研究，为未来从事大数据相关科研和工程技术开发打好基础。五、本课程讲授和实验学时本课程讲授总时数为36学时，学分。六、本课程应掌握的基本概念、基本理论、基本技能 通过本课程的学习，学生学会大数据存储、分析以及可视化相关概念。熟悉当前常用的大数据开发框架Hadoop、Spark等，熟悉内存计算技术，掌握地图应用及LBS的基本概念和技术。能够在实际应用案例中体会大数据技术特点。七、 教科书、参考书 参考书大数据技术原理与应用（第2版）（林子雨）大数据时代（(英)迈尔-舍恩伯格,(英)库克耶）八、课程内容与学时分配第一章大数据概念综述(3学时)l 主要内容11什么是大数据12什么是空间大数据13大数据特征l 教学目的与要求掌握大数据及空间大数据的基本概念，了解大数据发展过程。通过典型应用案例了解大数据在行业中的应用价值。掌握大数据4V特征，以及空间大数据独有的数据特征。第二章 大数据技术总览(3学时)l 主要内容21大数据存储技术22大数据分析技术23大数据可视化技术l 教学目的与要求了解大数据存储、分析以及可视化方面的技术概要，掌握大数据相关研究的技术体系，为后续章节详细学习具体技术点做准备。第三章 Hadoop框架 (3学时)l 主要内容31 Hadoop起源32 Hadoop架构原理33 Hadoop安装部署34 Hadoop应用案例l 教学目的与要求了解Hadoop项目起源，掌握Hadoop基本架构原理，掌握Hadoop的安装部署过程，通过应用案例加深对Hadoop应用的理解。第四章 MapReduce计算模式 (3学时)l 主要内容41 MapReduce起源42 MapReduce原理43 MapReduce编程44 MapReduce应用案例l 教学目的与要求了解MapReduce的起源，掌握MapReduce计算模式的基本原理，通过编程实例掌握MapReduce基本编程方法。通过具体的应用案例，加深对MapReduce计算过程的理解。第五章 HDFS分布式存储 (3学时)51 HDFS简介52 HDFS基本结构53 HDFS技术原理了解HDFS基本原理和结构特征，掌握HDFS在Hadoop框架下的适用场景，掌握HDFS技术原理。第六章 HBase(3学时)l 主要内容61 Hbase简介62 Hbase架构原理63 Hbase安装部署64 Hbase应用案例l 教学目的与要求了解Hbase的基本架构原理，掌握Hbase安装和部署过程，通过应用案例，加深对Hbase应用的认识。第七章 NoSQL数据库(3学时)l 主要内容71 NoSQL数据库简介72 NoSQL数据库技术特征 7.3 NoSQL数据库分类7.4 NoSQL数据库应用示例 l 教学目的与要求熟悉NoSQL数据库的基本概念，通过与传统数据库对比，掌握NoSQL数据库基本技术特征，掌握主流的NoSQL数据库分类及适用场景。通过具体的应用示例加深对NoSQL数据库的理解。第八章 Spark框架 (3学时)l 主要内容81 Spark概述82 Spark核心概念83 Spark编程实例8.4 Spark应用案例l 教学目的与要求熟悉Spark的基本概念，掌握Spark框架核心技术内容，特别是与Hadoop框架的联系与区别。掌握内存计算、RDD等核心概念。掌握Spark基本编程方法，通过应用案例加深对Spark的理解。第九章 地图应用 (3学时)l 主要内容91 GIS概述92 空间分析93 常用GIS软件l 教学目的与要求熟悉GIS的基本概念，理解图层、矢量数据、空间要素等名词的含义。了解空间分析基本内容，包括矢量空间分析和栅格空间分析算法，如网络分析、连通域分析等。了解常用的GIS软件以及开源项目。第十章 LBS服务(3学时)l 主要内容10.1 LBS概述10.2 空间定位方法10.3 基于LBS和GIS的技术开发应用l 教学目的与要求 了解LBS基本概念，熟悉常用的空间定位方法，包括GPS、Wifi、基站等。通过LBS应用案例了解LBS和GIS的技术开发应用。第十一章 空间大数据项目实践（6学时）11.1 电子商务中大数据项目实践11.2 水质环境监测项目中空间大数据项目实践 通过电子商务、水质环境监测等实际科研及工程项目，了解大数据技术的应用。熟悉电商网站进行大数据分析的基本过程，包括数据采集、清洗、分析和可视化过程。熟悉水质环境监测项目中如何运用大数据分析方法进行水质预警和分析的实践过程。教师介绍: 邱强， 2010年毕业于山东大学软件学院软件工程系，同年以硕博连读生保送到中国科学院计算技术研究所攻读博士学位，2015年毕业，获工学博士学位。现任中国科学院计算技术研究所计算机应用研究中心工程师。主要研究方向包括空间大数据分析、并行计算技术，GIS理论与方法等。先后参与“全空间信息系统与智能设施管理”、“ 基于云计算和大数据技术的生活饮用水水质监测分析预警平台”等科技部重大专项、国家863及横向课题研究。信息学科前沿1任长娥大数据和Python程序设计教学大纲一、课程介绍课程内容概要：数据科学和大数据分析在当今社会炙手可热，本课程主要探讨大数据时代及其背后的科学问题，并以Python语言为工具，利用Python第三方库，以实际数据为基础，通过构建一个个喜闻乐见的案例，让大家可以以更直观的方式领略Python的简洁、优雅和健壮，同时探讨Python在商业领域、人文社科类领域以及在数学、电子和计算机等理工类领域中具有的便捷高效的数据处理能力。在使用Python的同时，可深入了解并获取大数据，从而进一步使用大数据解决各专业以及各领域中的存在的实际问题。 本课课程对学生专业背景和知识基础不做严格限制，不局限某个专业和某个年级的学生，鼓励各年级学生跨学科选修。二、教学目标过本课程的学习，使得学生能够了解什么是大数据，以及大数据对人类生活产生的影响，理解Python的编程模式（命令式编程、函数式编程），熟练运用Python运算符、内置函数以及列表、元组、字典、集合等基本数据类型和相关列表推导式等特性来解决实际问题，熟练掌握Python分支结构、循环结构、函数设计以及类的设计与使用，熟练使用字符串方法，适当了解正则表达式，熟练使用Python读写文本文件，适当了解二进制文件操作，了解Python程序的调试方法，了解Python面向对象程序设计模式，掌握使用Python操作各数据库的方法，掌握Python+pandas进行数据处理的基本用法，掌握使用Python+matplotlib进行数据可视化的用法,同时还应培养学生的代码优化与安全编程意识。让学生在学习过程中，应充分发挥Python语言的优势，从最简单、最直观的思路出发，尽快解决问题。三、授课对象信息工程学院在读本科生。四、教学内容、学时第1章 什么是大数据？（2学时）1.大数据时代的思维变革 2.大数据时代的商业变革3.大数据时代的管理变革第2章 初识Python（2学时）1.什么是Python语言 2.安装Python3.第一个Python程序 4.良好的编程约定5.Python语法基础第3章 数据类型和函数（3学时）1.数据类型、基本运算2.模块和包3.条件和循环 4.函数、自定义函数、递归函数5.Python常用的库函数第4章 数据的获取与表示（6学时）1.本地数据获取2.网络数据获取3.数据结构-列表、元组、字典和序列4.爬虫项目第5章 数据处理（3学时）1.数据分析的三个包Numpy、Scipy、Pandas2.数据准备3.数据处理第6章 数据分析（3学时）1.基本统计分析2.分组分析 3.分布分析4.交叉分析5.结构分析6.相关分析 7.聚类分析第7章 数据可视化（3学时）1.Matplotlip绘图示例2. pandas的可视化功能3.Seabonzhong的图例 第8章 类和面向对象 （2学时）1.类2.属性的使用3.继承、私有4.类与面向对象第9章 图形用户界面（2学时）1.初始图形用户界面2.GUI开发包 3.拖拽组件 4.编译成可执行文件的实现过程 综合训练 （6学时）1. 航空客户分类2. 文本相似性比较3. 定制新闻提醒服务五、先修课要求及教学方法建议先修课程：无教学方法建议：本课程采用理论讲授法、讨论法、演示法以及上机实验法进行的教学。理论讲授指导实验，通过讨论实验结果进一步巩固理论知识。六、课程考核1.考核目标：与教学目标一致2.考核方式：考查（提交论文/实验报告）3.考核内容：4.评分标准：满分100分：出勤（20%）+ 课堂提问、讨论及课堂作业（20%）+ 平时作业/实验报告（20%）+ 论文（40%）。5.填写首都师范大学考试（考查）分析表，与学生考试试卷或考查的论文、调查报告、实验报告、读书报告等一并保存一年。七、教材及参考资料参考教材：（1）Python编程从入门到实践, Eric Mathes著, 2016.7（2018.3重印）人民邮电出版社（2）利用Python进行数据分析， Wes McKinney著,2018.6(2019.1重印)机械工业出版社（3）Python编程从零基础到项目实战，刘瑜著，2018.10(2019.1重印)中国水利水电出版社信息学科前沿3-关桂霞、高小鹏课程简介本课程主要让学生了解计算机硬件的基本组成、掌握计算机CPU的工程化设计方法、深入理解计算机硬件/软件的协同机制。课程通过循序渐