大数据技术及应用-基于Python语言 习题解答：第3章 大数据采集与预处理

大数据采集与预处理一、选择题1．按产生数据的主体来划分，大数据主要有三个来源，它们分别是（B）。信息管理系统的记录、计算机产生的数据和对现实世界的测量对现实世界的测量、人类的记录和计算机产生的数据对现实世界的测量、人类的记录和物联网监测的数据对现实世界的测量、传感器采集的数据和计算机产生的数据2．以下哪项处理是属于数据集成要完成的工作（D）。数据平滑标准化处理去除噪声实体识别3．以下哪项不属于数据预处理中去除噪声的方法（C）。分箱移动平均归一化3σ探测方法4．假设有12个从小到大的有序数据：5，10，11，13，15，35，50，55，72，92，203，215，使用等宽分箱法（假设箱宽为30,即每个箱数据之差不超过30）将它们划分成四个箱，92在哪个箱中（C）。第1个第2个第3个第4个二、填空题1．网络数据的采集通常可以分为__网页内容采集___和___网络流量采集___两种类型。 2．数据容量单位1GB=___1024*1024=1048576___KB。3．据预处理是指在数据进行分析挖掘之前，对原始数据进行变换、清洗与集成等一系列操作。三、简答题1、简述大数据采集主要采用的方法。答：数据采集的常用方法：传感数据采集、系统日志采集、网络数据采集、外包和众包和数据库采集等。2、简述网络爬虫工具Scrapy框架的组成与功能。答：Scrapy框架主要由五大组件组成，它们分别是调度器（Scheduler）、下载器（Downloader）、爬虫（Spider）、实体管道（ItemPipeline）和Scrapy引擎（ScrapyEngineer）。3、简述归一化处理和标准化处理的差别。答：它们都是对数据的特征进行缩放的方法，作用是使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使分析模型更准确。（1）数据归一化是将数据变换为[0,1]或[-1，1]之间的小数，这样可以把有量纲数据转变为无量纲表示。归一化方法的优点是能保留数据的权重信息；缺点是鲁棒性较差（易受异常值的影响，如果有异常大或小的数，则会将正常数据据“挤”到一起）。（2）标准化不但将数据缩放到相同区间，并且将数据转换成标准正态分布。该方法基于数据是服从正态分布这一隐含假设，只是将数据调整为均值为0，方差为1的标准正态分布。如果数据不满足这一隐含的假设，则标准化方法会改变数据的分布特性。标准化方法的鲁棒性较好；缺点是会丢失数据的权重信息。四、实验题【实验3-1】用Scrapy采集豆瓣读书评分9分以上的图书数据。豆瓣读书的网址为：/doulist/1264675/，要求采集每本图书的数据包括：书名、评分、作者、出版社和出版年份。【实验3-2】使用Flume软件从Linux主机的特定目录中采集日志文件，汇总到指定的服务器并存入Hadoop集群的HDFS文件系统中。（1）任务要求将Linux主机Node02和Node03中/usr/local/logs文件夹（假设不含子文件夹）下的所有*.log文件采集到Node01上，并汇总到Hadoop集群的HDFS文件系统的/flume/logdir目录中，HDFS中的日志文件名用“年/月/日/时/分”进行命名。（2）数据流模型示意图【实验3-3】使用Python的sklearn库进行数据预处理实验。 （1）从/ml/index.php下载labor数据集，对所有的属性列（不包括类别标签列）进行缺失值填充，数值型属性采用平均值进行填充，类属型属