大数据导论期末试卷

1、期末试卷（A）学年第一学期考试课程：大数据分析课程代码：05031074考试形式：闭卷考试考试班级：19大数据命题教师：教研室主任：系（院）主任：教务处长：年月日第页共页20192020学年第一学期期末试卷（A）«大数据分析（课程代码：05031074）考试时间：120分钟总分：100分一、判断题（每空1分，共10分）1、大数据是时代发展的潮流与趋势。（）2、matplotlib是一个Python的2D绘图库。（）3、人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。（）4、云计算与大数据联系不大。（）5、Kettle可用于数据清洗。（）

2、6、网络爬虫（WebSpider）又称之为网络机器人、网络蜘蛛。（）7、大数据存储和传统的存储方式是一样的。（）8、Pandas不能进行可视化。（）9、使用编程软件Python也可以任何类型的数据。（）10、tar是一种压缩文件，常用于Windows下。（）二、名词解释题（每题5分，共15分）1、numpy库2、matplotlib库3、pandas库三、问答题（每题5分共35分）1、大数据和云计算的区别是什么？2、请阐述什么是爬虫?第页共页3、Scrapy框架的组成部分分别是什么?4、怎么使用Python访问MySql数据库?5.大数据可视化中numpy库有哪些作用?6、请阐述什么是数据可视

3、化7、什么是数据清洗?第页共页四、程序题（每题10分，共20分）1、写出使用matplotlib库绘制线性图的代码2、简述在pandas如何读取csv文件五、论述题（每题20分，共20分）论述在Kettle抽取XML数据的实现过程.并画出流程图第页共页«大数据分析期末试卷（A）参考答案及评分标准、判断题（每题1分，共10分）题号123456789答案VVVXVVXXX题号10答案X、名词解释题（每题5分，共15分）1、numpy库numpy是Python做数据处理的底层库，是高性能科学计算和数据分析的基础。2、matplotlib库matplotlib是一个Python的2D绘图库，

4、它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。3、pandas库pandas是Python中的一个数据分析与清洗的库，pandas库是基于numpy库构建的。三、简答题（每题5分，共35分）1、大数据和云计算的区别是什么？第一，在概念上两者有所不同，云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。第二，大数据和云计算的目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层。2、请阐述什么是爬虫？网络爬虫（WebSpider）又称之为网络机器人、网络蜘蛛，是一

5、种通过既定规则，能够自动提取网页信息的程序。爬虫的目地在于将目标网页数据下载至本地，以便进行后续的数据分析。3、Scrapy框架的组成部分分别是什么？Scrapy框架由ScrapyEngine、Scheduler、Downloader、Spiders、ItemPipeline>Downloadermiddlewares以及Spidermiddlewares等几部分组成。4、怎么使用Python访问MySql数据库？（1）通过pymysql库的方法，与MySql数据库建立连接。第页共页(2)编写SQL语句。SQL语句。(3)通过连接的返回的数据库对象，调用相应方法执行(4)读取数据库返回的

6、数据(即缓存区中的数据)(5)对相应的返回数据进行操作。(6)关闭数据库对象，关闭数据库。5.大数据可视化中numpy库有哪些作用？numpy是Python做数据处理的底层库，是高性能科学计算和数据分析的基础，同时在数据可视化中也时常需要用到numpy中的数组存储以及矩阵运算等功能6、请阐述什么是数据可视化。数据可视化是一个相对的概念，它通过将数据转换为标识从而为人们提供帮助与指导，并最终成为通过数据分析传递信息的一种重要工具。与传统的立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多，它是利用计算机图形学及图像处理技术，将数据转换为图形或图像形式显示到屏幕上，并进行交互处理

7、的理论、方法和技术。7、什么是数据清洗？数据清洗就是指把“脏数据”彻底洗掉，包括检查数据一致性，处理无效值和缺失值等,从而提高数据质量。在实际的工作中，数据清洗通常占开发过程的50%-70%左右的时间。四、程序题(每题10分，共20分)1、写出使用matplotlib库绘制线性图的代码importmatplotlib.pyplotaspltfrommatplotlib.font_managerimportFontPropertiesfont_set=FontProperties(fname=r"c:windowsfontssimsun.ttc",size=20)#导入宋体字

8、体文dataX=1,2,3,4dataY=2,4,4,2plt.plot(dataX,dataY)plt.title("绘制直线",FontProperties=font_set);plt.xlabel("x轴",FontProperties=font_set);plt.ylabel("y轴",FontProperties=font_set);plt.show()2、简述在pandas如何读取csv文件importpandasaspdimportnumpyasnpdf=pd.read_csv("3.csv",hea

9、der=0,)print(df)print(df.dtypes)第页共页五、论述题(每题20分，共20分)(1)成功运行kettle后在菜单栏单击“文件”，选择“转换”选项，在“步骤”中选择Input,将GetdataformXML拖动到右侧工作区中.。(2)双击GetdataformXML选项，在文件选项中将刚才创建的XML文件添加到GetdataformXML对象中。(3)在“内容”选项中，在“循环读取路径”中选择“获取XML文档的所有路径”。(4)在“内容”选项中，单击“确定”按钮，返回“内容”选项，在“编码”中选择UTF-8。(5)在“内容”选项中，选择“字段”选项，单击“获取字段”按

10、钮。(6)单击“预览”按钮，查看抽取结果。第页共页期末试卷（B）学年第一学期考试课程：大数据分析课程代码：05031074考试形式：闭卷考试考试班级：命题教师：教研室主任：系（院）主任：教务处长：年月日第页共页20192020学年第一学期期末试卷（B）«大数据分析（课程代码：05031074）考试时间：120分钟总分：100分一、判断题（每空1分，共10分）1、数据分析与挖掘的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中起来，进行萃取、提炼，以找出所研究对象的内在规律。（）2、大数据存储是将数量巨大、难于收集、处理、分析的数据集持久化到计算机中。（）3、人工智能是研究、开发用于

11、模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。（）4、HTTP%、议采取的是请求响应模型，该协议永远都是客户端发起请求，服务器回应响应。（）5、数据库系统在总体结构上一般都体现为三级模式，分别是：模式、外模式和匹配模式。（）6、网络爬虫（WebSpider）又称之为网络机器人、网络蜘蛛。（）7、大数据存储和传统的存储方式是一样的。（）8、Pandas不能进行可视化。（）9、使用编程软件Python也可以任何类型的数据。（）10、tar是一种压缩文件，常用于Windows下。（）二、名词解释题（每题5分，共15分）1、Kettle2、NoSQL数据库3、Python三、

12、问答题（每题5分共35分）1、什么是大数据计算模式？第页共页2、请阐述网页请求的方式有哪些?3、什么是数据库管理系统?4、怎么使用Python访问MySql数据库?5.数据可视化中的组成有哪些方面?6、请阐述什么是云数据库7、请阐述pandas库中的最基本的数据类型。第页共页四、程序题（每题10分，共20分）1、写出创建一个最简单的DataFrame的代码2、简述用pyecharts库绘制条形图的代码五、论述题（每题20分，共20分）论述如何进行数据抽取，流程是怎样的？第页共页«大数据分析期末试卷（B）参考答案及评分标准一、判断题（每题1分，共10分）题号123456789答案VVV

13、VXVXXX题号10答案X二、名词解释题（每题5分，共15分）1、KettleKettle是一款国外开源的ETL工具，纯java编写，可以在Window>Linux、Unix上运行,绿色无需安装，数据抽取高效稳定。2、NoSQL数据库NoSQL数据库又叫作非关系数据库。和数据库管理系统（RDBMS）相比，NoSQL不使用SQL作为查询语言，其存储可以不需要固定的表模式。3、PythonGuidovanRossum于Python是一种面向对象的解释型计算机程序设计语言，由荷兰人1989年发明。Python的第一个公开发行版于1991年发行。三、简答题（每题5分，共35分）1、什么是大数据计

14、算模式？大数据计算模式，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象（abstraction）或模型（model）。2、请阐述网页请求的方式有哪些？网页请求的方式一般分为两种：GET和POST。（1） GET:GET是最常见的请求方式，一般用于获取或者查询资源信息，也是大多数网站使用的方式。（2） POST:POST与GET相比，多了以表单形式上传参数的功能，因此除了查询信息外，还可以修改信息。3、什么是数据库管理系统？数据库管理系统（DatabaseManagementSystem,简称DBMS）是一种操作和管理数据库的软件，它是数据库的核心

15、，主要用于创建、使用和维护数据库。4、数据可视化中的组成有哪些方面？数据可视化技术一般由下列三个方面组成：（1）科学可视化：主要关注三维现象的可视化，包含气象学、生物学、物理学、农学等。第页共页重点在于对客观事物的体、面及光源等的逼真渲染。(2)信息可视化：将数据信息和知识转换为一种视觉形式，在信息可视化中充分利用了人们对可视模式快速识别度自然能力。(3)可视化分析：是科学可视化与信息可视化领域发展的产物，侧重于借助交互式的用户界面而进行对数据的分析与推理。5.大数据可视化中numpy库有哪些作用？numpy是Python做数据处理的底层库，是高性能科学计算和数据分析的基础，同时在数据可视化中

16、也时常需要用到numpy中的数组存储以及矩阵运算等功能6、请阐述什么是云数据库。云数据库是基于云计算技术发展的一种共享基础架构的方法，是部署和虚拟化在云计算环境中的数据库。云数据库并非一种全新的数据库技术，而只是以服务的方式提供数据库功7、请阐述pandas库中的最基本的数据类型在pandas库有两个最基本的数据类型，分别是Series和DataFrame。其中Series数据类型表示一维数组，与numpy中的一维array类似，并且二者与Python基本的数据结构List也很相近。而DataFrame数据类型则代表二维的表格型数据结构，也可以将DataFrame理解为Series的容器。四、

17、程序题(每题10分，共20分)1、写出创建一个最简单的DataFrame的代码importpandasaspddata='name':'leslie','amos','bill','bert''year':'1980','1986','1988',1990frame=pd.DataFrame(data)frame2、简述用pyecharts库绘制条形图的代码frompyechartsimportBarv1=70,85,95,64str1='数学','物理',化学','英语'bar1=Bar('testBar_theme','Theme')bar1.add('成绩',str1,v1,is_more_utils=True)bar1.render()五、论述题(每题20分，共20分)第页共页数据抽取的流程一般包含以下几步：理解数据和数据的来源。整理、检查和清洗数据。将清洗好的数据集成，并建立抽取模型。开展数据抽取与数据转换