Python网络爬虫试题试卷及答案

Python网络爬虫测验题学号专业姓名单项选择题（每题1.5分，共45分）1．以下选项中不是Python数据分析的第三方库的是（）A．numpyB．scipyC．pandasD．requests2．以下关于BeautifulSoupfind方法说法正确的是（）A．find返回满足条件的第一个元素 B．find返回满足条件的最后一个元素C．find返回满足条件的所有元素 D．find返回满足条件的指定个数的元素3．以下对BeautifulSoup描述正确的是（）A.BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库B.BeautifulSoup是一个C++库C.BeautifulSoup是支持C语言调用D.BeautifulSoup是支持Java语言调用4．如果想获取MongoDB“col”集合中“likes”大于100，小于200的数据，可以使用以下哪个命令（）A.db.col.find({likes:{$lt:200,$gt:100}})B.db.col.find({likes:{$gte:200,$gt:100}})C.db.col.find({likes:{$gt:200,$lte:100}})D.db.col.find({likes:{$gte:200,$lte:100}})5.time库的time.mktime(t)函数的作用是（）将当前程序挂起secs秒，挂起即暂停执行将struct_time对象变量t转换为时间戳返回一个代表时间的精确浮点数，两次或多次调用，其差值用来计时根据format格式定义，解析字符串t，返回struct_time类型时间变量6.time库的time.time()函数的作用是（）返回系统当前时间戳对应的易读字符串表示返回系统当前时间戳对应的struct_time对象返回系统当前时间戳对应的本地时间的struct_time对象，本地之间经过时区转换返回系统当前的时间戳7.下列关于scrapy爬虫的表述有误的是（）Scrapy可用XPath表达式分析页面结构Scrapy可以用于数据挖掘、监测和自动化测试Scrapy源码中默认callback函数的函数名就是parseScrapy使用了Twisted同步网络库来处理网络通讯8.Scrapy启动后，首先会访问网站的什么文件（）spider.txtrobots.txtlaw.txtscrapy.txt9.以下对requests描述不正确的是（）Requests具有Keep-Alive&连接池国际化域名和URL带持久Cookie的会话Requests不自动解压10.下列哪个快捷键可以打开网页源代码（）Shift+AShift+UCtrl+ACtrl+U11.对Scrapy描述正确的是（）一个Scrapy项目只能创建一个爬虫一个Scrapy项目只能使用一管道爬虫与管道之间传递数据不使用item子类爬虫与管道之间传递数据使用item子类12.对Reqtests框架描述错误的是（）Reqtests可以发送Get请求Reqtests可以发送Put请求Reqtests可以发送Delete请求Reqtests可以发送Option请求13.对Scrapy命令的作用描述错误的是（）startproject命令用于创建项目genspider命令用于创建爬虫view命令用于查看网页view命令用于下载网页14.RequestsGet请求描述正确的是（）使用Get请求可以发送大量数据使用Get请求可以发送图片使用Get请求可以发送Excel文件使用Get请求可以下载静态网页15.对Http请求方式描述正确的是（）POST请求可以传递大于2M的数据GET请求可以传递大于2M的数据}POST请求可以传递没有限制GET请求可以传递没有限制16.下列代码执行结果是什么?（）x=1defchange(a):

x+=1print（x）change(x)123D. 417.关于函数的可变参数，可变参数*args传入函数时存储的类型是（）dicttuplelistSet18.下列快捷键中能够中断（InterruptExecution）Python程序运行的是（）A.F6B.Ctrl+CC.Ctrl+F6D.Ctrl+Q19.Python拥有大量的开源爬虫框架库，可以帮助数据科学研究人员快速方便的收集数据。在数据采集编程设计中，对常见的组合框架使用描述错误的是（）urllib、BeautifulSoup4、MongoDBRequests、BeautifulSoup4、MongoDBScrapy、XPath、MongoDBRequests、XPath、txt20.以下关于对象（a,b均为对象）的说法正确的是（）a=b表示a对b进行复制，会对a分配单独的内存空间a=b表示a对b进行引用，会对a分配单独的内存空间a=b表示a对b进行引用，a,b指向共同的内存地址空间a=b表示a对b进行复制，a,b使用共同的内存空间21.以下销毁对象abc的正确方法是（）A.将abc赋值为nullB.使用__del__方法C.使用__destroy__方法D.使用__finalize__方法22.以下不属于OS系统库模块的是A.randomB.ioC.errorD.os23.以下关于http协议响应行中状态码说法正确的是（）A.200表示正常B.403表示请求资源未找到C.404表示请求资源无权访问D.500请求方法不正确24.服务器经常有反爬虫机制,往往会判断用户是否通过浏览器进行访问，所以在进行数据爬取时，一般我们会在http头信息中加入（）A、host信息B、User-AgentC、Accept

D、Content-Type

25.以下关于Scrapy说法错误的是（）A.Scrapy是一个为了爬取网站而编写的框架B.Scrapy使用了Twisted异步网络框架C.可以多线程爬取数据D.Scrapy以阻塞方式运行26.BeautifulSoup对查找子元素描述正确的是（）A．使用函数可以跨级查找子元素B．如果子元素包含字符串，也可以被查找到C．是点号可以跨级查找子元素D．不能查找文档中的备注内容27.以下关于python中类的成员变量说法正确的是（）A．python中类的变量只能是公有变量B．python中类的变量只能是私有变量C．python中类的变量只能以“__”(两个下划线)开头D．python中类的所有变量是可以有办法在外部进行引用的28.在类中，关于self说法正确的是（）A.self表示类对象中的默认变量值B.self表示类对象中的唯一函数C.self表示类对象自身D.self表示对类对象的引用出来的新对象29.以下说法错误的是（）A.类是的对象实例；B.类变量通常不作为实例变量使用C.方法定义了对一个对象可以执行的操作D.继承允许把一个派生类的对象作为一个基类对象对待30.Python语言提供的3个基本数字类型是（）A.整数类型、浮点数类型、复数类型B.整数类型、二进制类型、浮点数类型C.整数类型、二进制类型、复数类型D.复数类型、二进制类型、浮点数类型填空题（每题2分，共20分）Xpath从根节点开始查找使用“___”语法Xpath使用查找属性的语法：__________列举至少三种Http请求方式：___________Requests通过_____应对反爬虫python中安装geoip模块，使用的命令是__________Python语言语句块的标记是（中文名称）_________安装好python之后，默认安装requests模块________导入BeautifulSoup时要先安装_____________库将object通过loads转化JSON数据转换为Python对象的_____Windows查看IP地址的命令_____________问答题（每题10分，共20分）简述Redis以及其优点简述三种反爬虫策略以及其反爬策略内容四、编程题（15分）1、爬取豆瓣评分排名前250的电影数据，结果如图：链接：/top250

答案：选择题1-5：DAAAB6-10：DDBDD11-15：DDDDA16-20：DBBDC21-25：BAABD26-30：ADCAA填空题//2、@[属性名=]3、GET、POST、DELETE、PUT、HEAD、TRACE、OPTIONS、CONNECT（三种即可）4、设置请求头pipinstallgeoip6、缩进7、否8、bs49、dict10、ipconfig问答题1题答案： client=pymongo.MongoCRedis是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）与范围查询，bitmaps，hyperloglogs和地理空间（geospatial）索引半径查询。Redis内置了复制（replication），LUA脚本（Luascripting），LRU驱动事件（LRUeviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（highavailability）2题答案：反爬虫策略之Headers：Headers是指网络请求的头部信息，也就是网络请求过程中所携带的描述信息，允许您对HTTP请求和响应头执行各种操作。基于Headers的反爬虫策略常见的为：根据User-Agent识别浏览器行为；根据Cookie识别用户信息；根据Referer识别链路、根据Content-Type识别数据类型。 反爬虫策略之Cookie：Cookie是请求头的一部分，同时也web浏览器的凭证，根据实际情况，有时候要指定Cookie参数。requests将Cookie从中剥离出来，可以使用cookies参数直接指定。在爬取有些网页是要求登录之后的才能爬取，所以要和服务器一直保持登录状态，有时的策略不都指定cookies，而是会使用session来完成，Session提供的API和requests是一样的，并且可将Cookie自动保存。反爬虫策略之Proxies：服务器会针对用户操作对用户行为进行记录，当根据规则匹配识别为程序操作，可能会进行IP封禁的操作。当我们发现IP已经被封了，此IP就再也访问不到目标网站了。为了面对封禁IP的操作，我们可以：做更完善的设置，避免浏览器识别并封禁IP；使用代理IP，隐藏真实IP；设置好访问间隔，避免服务器压力过大四：编程题frombs4importBeautifulSoup#网页解析，获取数据

importre#正则表达式，进行文字匹配

importurllib.request,urllib.error#制定URL，获取网页数据

importxlwt#进行excel操作

defmain():

baseurl="/top250?start="

#爬取网页

datalist=getData(baseurl)

#savepath="豆瓣电影Top250.xls"

dbpath="movie.db"

#保存数据

savepath='G:/war/douban/豆瓣电影Top250-4.xls'

saveData(datalist,savepath)

#saveData2DB(datalist,dbpath)

#askURL("/top250?start=")

#影片详情链接的规则

findLink=pile(r'<ahref="(.*?)">')#创建正则表达式对象，表示规则（字符串的模式）r:忽视所有的特殊符号

#影片图片

findImgSrc=pile(r'<img.*src="(.*?)"',re.S)#re.S让换行符包含在字符中

#影片片名

findTitle=pile(r'<spanclass="title">(.*)</span>')

#影片评分

findRating=pile(r'<spanclass="rating_num"property="v:average">(.*)</span>')

#找到评价人数

findJudge=pile(r'<span>(\d*)人评价</span>')

#找到概况

findInq=pile(r'<spanclass="inq">(.*)</span>')

#找到影片的相关内容

findBd=pile(r'<pclass="">(.*?)</p>',re.S)

#一个功能对应一个函数

#爬取网页

defgetData(baseurl):

datalist=[]

foriinrange(0,10):#调用获取页面信息的函数，10次

url=baseurl+str(i*25)

html=askURL(url)#保存获取到的网页源码

#2.逐一解析数据

soup=BeautifulSoup(html,"html.parser")

foriteminsoup.find_all('div',class_="item"):#查找符合要求的字符串，形成列表

#print(item)#测试：查看电影item全部信息

data=[]#保存一部电影的所有信息

item=str(item)

#影片详情的链接

link=re.findall(findLink,item)[0]#re库用来通过正则表达式查找指定的字符串

data.append(link)#添加链接

imgSrc=re.findall(findImgSrc,item)[0]

data.append(imgSrc)#添加图片

titles=re.findall(findTitle,item)#片名可能只有一个中文名，没有外国名

if(len(titles)==2):

ctitle=titles[0]#添加中文名

data.append(ctitle)

otitle=titles[1].replace("/","")#去掉无关的符号

data.append(otitle)#添加外国名

else:

data.append(titles[0])

data.append('')#外国名字留空

rating=re.findall(findRating,item)[0]

data.append(rating)#添加评分

judgeNum=re.findall(findJudge,item)[0]

data.append(judgeNum)#提加评价人数

inq=re.findall(findInq,item)

iflen(inq)!=0:

inq=inq[0].replace("。","")#去掉句号

data.append(inq)#添加概述

else:

data.append("")#留空

bd=re.findall(findBd,item)[0]

bd=re.sub('<br(\s+)?/>(\s+)?',"",bd)#去掉<br/>

bd=re.sub('/',"",bd)#替换/

data.append(bd.strip())#去掉前后的空格

datalist.append(data)#把处理好的一部电影信息放入datalist

returndatalist

#得到指定一个URL的网页内容

defaskURL(url):

head={#模拟浏览器头部信息，向豆瓣服务器发送消息

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3987.122Safari/537.36"

}

#用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）

request=urllib.request.Request(url,headers=head)#使用request封装url和头部信息

html=""

#异常处理

try:

response=urllib.request.urlopen(request)

html=response.read().decode("utf-8")

#print(html)

excepturllib.error.URLErrorase:

ifhasattr(e,"code"):

print(e.code)

ifhasattr(e,"reason"):

print(e.reason)

returnhtml

#保存数据

defsaveData(datalist,savepath):

print("save....")

book=xlwt.Workbook(encoding="utf-8",style_compression=0)#创建workbook对象

sheet=book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)#创建工作表

col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")

foriinrange(0,8):

sheet.write(0,i,col[i])#列名

foriinrange(0,250):

print("第%d条"%(i+1))

data=datalist[i]

forjinrange(0,8):

sheet.write(i+1,j,data[j])#数据

book.save(savepath)#保存

第一章爬取静态网页一、选择题1.下列哪个是Request的安装命令？A.pipinstallRequests B.yuminstallRequestsC.piplist D.rpmRequests2.下列哪个属于Request的请求？A.RookieB.TestC.PostD.Session3.以下关于BeautifulSoupfind方法说法正确的是()A.BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库B.BeautifulSoup是一个C++库C.BeautifulSoup是支持C语言调用D.BeautifulSoup是支持Java语言调用4.以下选项中不是Python数据分析的第三方库的是（）A.numpyB.scipyC.pandasD.requests5.对Scrapy描述正确的是（）A.一个Scrapy项目只能创建一个爬虫B.一个Scrapy项目只能使用一管道C.爬虫与管道之间传递数据不使用item子类D.爬虫与管道之间传递数据使用item子类简答题1.请简述Requests的基本功能2.Cookies的定义？3.简述从Response对象（r）中可以获取到的内容4.简述一下BeautifulSoup的作用5.简述Scrapy架构中包含的组件第二章爬取动态网页一、选择题1.下列关于scrapy爬虫的表述有误的是（）A.Scrapy可用XPath表达式分析页面结构 B.Scrapy可以用于数据挖掘、监测和自动化测试C.Scrapy源码中默认callback函数的函数名就是parse D.Scrapy使用了Twisted同步网络库来处理网络通讯2.下列关于JSON支持是的数据结构，哪项是不正确的是？（）A.名/值对集合：这一数据结构由不同的键值对组成。B.无序的对象结构：多个名称/值构成的封装体，类似字典表。C.有序的对象结构：规整的文本文档、Execl等D.有序的值列表：包括数组，列表，向量或序列等等。3.下列哪个不属于JSON的数据类型（）A.NumberB.StringC.CharD.Value4.下列关于loads转化JSON数据转换为Python对象，错误的是（）A.object–dictB.array–stringC.number(int)–int、longD.true--True5.下列对WebDriver=组件，说法错的是：A.API:应用程序编程接口。这是一组用来操作WebDriver的“命令”。B.库:一个代码模块，它只包含api和实现这些api所需的代码。C.驱动程序:负责控制实际的浏览器。大多数驱动程序是由浏览器厂商自己创建的。驱动程序通常不是是与浏览器一起在系统上运行的可执行模块，而是在执行测试套件的系统上。D.框架:用于支持WebDriver套件的附加库。二、简答题1.简述JSON对象的书写方式2.简述JSON的基本概念3.PhantomJS的特点4.简述Selenium框架的作用5.简述WebDriver的定位策略第三章爬取APP数据一、选择题1.以下哪一个功能面板不属于Fiddler的主界面面板（） A.工具面板B.监控面板C.通讯面板D.状态面板2.以下哪一个是Windows查看IP地址的命令（） A.ipconfigB.ifconfigC.ipaddrD.ipaddrroute3.对Http请求方式描述正确的是（） A.POST请求可以传递大于2M的数据B.GET请求可以传递大于2M的数据C.POST请求可以传递没有限制D.GET请求可以传递没有限制4.以下关于http协议响应行中状态码说法正确的是（） A.200表示正常B.403表示请求资源未找到C.404表示请求资源无权访问D.500请求方法不正确5.捕获通过HTTPS发送的数据，需要启用HTTPS流量解密。配置项位于（） A.Tools>Options>GeneralB.Tools>Options>HTTPSC.Tools>Options>AppearanceD.Tools>Options>Tools二、简答题1.简述Fiddler的功能2.Fiddler的主界面监控面板中，Web会话性能统计信息可以直接在监控面板中的什么窗口查看？3.Fiddler的主界面监控面板中，Web网络会话内容可以直接在监控面板中的什么窗口查看？4.查看一个或多个Web会话的传输时间线的瀑布图可以直接在监控面板中的什么窗口查看？5.简述Fiddler的主界面面板第四章反爬虫策略以及解决办法一、选择题1.以下哪一种是教材中未提及的反爬虫策略？（） A.Headers； B.Cookies； C.Proxies； D.Socket；2.Headers的（）自动保存并设置链路？ A.User-Agent B.Referer C.get D.url3.在爬取有些网页是要求登录之后的才能爬取，所以要和服务器一直保持登录状态，有时的策略不都指定cookies，而是会使用（）来完成 A.requestsB.post请求C.headerD.session4.哪个方法不适合应对服务器封禁IP（）？ A.使用静态IP B.做更完善的设置，避免浏览器识别并封禁IPC.使用代理IPD.设置好访问时间间隔，避免服务器压力过大5.Pytesseract具有的函数中，其中最常用，也最直接识别验证码的函数是：？ A.get_languages B.image_to_boxes C.image_to_string D.image_to_alto_xml二、简答题1.简述三种反爬虫策略以及其反爬策略内容2.简单介绍Tesseract，并列举出Pytesseract的函数第五章反爬策略优化一、选择题1.以下哪一个不属于Redis的value数据类型A.StringB.ListC.DictD.Hash2.以下关于RedisKeys命令组的基本命令描述错误的是（） A.DUMPkey-----废除key所对应的键值对 B.EXISTSkey[key...]-----查询一个key是否存在 C.EXPIREkeyseconds-----设置一个key的过期的秒数 D.DELkey-----删除指定的key（一个或多个）二、简答题1.程序连接了Redis后，就可以使用API操作Redis中的数据，其中：set(name,value,ex=None,px=None,nx=False,xx=False)，参数分别代表什么意思2.简述Redis的列表

第一章爬取静态网页一、选择题1．A2．C3．A4．D5.D简答题1.请简述Requests的基本功能Requests是一个基于Apache2协议开源的PythonHTTP库，号称是“为人类准备的HTTP库”。以上是Requests官网对其模块的总体介绍。Requests完全满足当今Web的需求：Keep-Alive&连接池国际化域名和URL带持久Cookie的会话浏览器式的SSL认证自动内容解码基本/摘要式的身份认证优雅的key/valueCookie自动解压Unicode响应体HTTP(S)代理支持文件分块上传流下载连接超时分块请求支持.netrc2.Cookies的定义？Cookie是请求头的一部分，同时也web浏览器的凭证，根据实际情况，有时候要指定Cookie参数，requests将Cookie从中剥离出来，可以使用cookies参数直接指定。3.简述从Response对象（r）中可以获取到的内容从Response对象（r）中可以获取到：实际请求的URL：r.url推测的文本编码：r.encoding二进制相应内容：r.contentJSON相应内容：r.json()原始相应内容：r.raw响应状态码：r.status_code响应头：r.headersCookie：r.cookies响应历史：r.history4.简述一下BeautifulSoup的作用 BeautifulSoup是一个HTML/XML的解析器，主要的功能是解析和提取HTML/XML数据。BeautifulSoup支持Python标准库中的HTML解析器，还支持一些第三方的解析器。通常情况下我们不会使用Python默认的解析器，而是使用lxml解析器，lxml解析器更加强大，速度更快，推荐使用lxml解析器。5.简述Scrapy架构中包含的组件引擎(ScrapyEngine)

用来处理整个系统的数据流(框架核心)调度器(Scheduler)

用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回.可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列,由它来决定下一个要抓取的网址是什么,同时去除重复的网址下载器(Downloader)

用于下载网页内容,并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)爬虫(Spiders)

爬虫是主要干活的,用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面项目管道(ItemPipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。下载器中间件(DownloaderMiddlewares)

位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。爬虫中间件(SpiderMiddlewares)

介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。调度中间件(SchedulerMiddewares)

介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。第二章爬取动态网页一、选择题1．D2．C3．C4．B5.C简答题1.简述JSON对象的书写方式JSON对象使用在大括号({})中书写，对象可以包含多个

key/value（键/值）对。其中：key必须是字符串，value可以是合法的JSON数据类型（字符串,数字,对象,数组,布尔值或null）。key和value中使用冒号(:)分割。每个key/value对使用逗号(,)分割。2.简述JSON的基本概念JSON(JavaScript

ObjectNotation,JS对象简谱)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。3.PhantomJS的特点PhantomJS有如下特点：PhantomJS是一个基于webkit内核、无界面的浏览器，即它就是一个浏览器，只是其内的点击、翻页等人为相关操作需要程序设计实现；PhantomJS提供JavascriptAPI接口，可以通过编写JS程序直接与webkit内核交互；PhantomJS的应用：无需浏览器的Web测试、网页截屏、页面访问自动化、网络监测。4.简述Selenium框架的作用Selenium是支持web浏览器自动化的一系列工具和库的综合项目。它提供了扩展来模拟用户与浏览器的交互，用于扩展浏览器分配的分发服务器，以及用于实现

W3CWebDriver规范的基础结构，该规范允许您为所有主要Web浏览器编写可互换的代码。Selenium的核心是

WebDriver，这是一个编写指令集的接口，可以在许多浏览器中互换运行。5.简述WebDriver的定位策略定位器Locator描述classname定位class属性与搜索值匹配的元素（不允许使用复合类名）cssselector定位CSS选择器匹配的元素id定位id属性与搜索值匹配的元素name定位name属性与搜索值匹配的元素linktext定位linktext可视文本与搜索值完全匹配的锚元素partiallinktext定位linktext可视文本部分与搜索值部分匹配的锚点元素。如果匹配多个元素，则只选择第一个元素。tagname定位标签名称与搜索值匹配的元素xpath定位与XPath表达式匹配的元素第三章爬取APP数据一、选择题1.C2.A3.A4.A5.B二、简答题1.简述Fiddler的功能 Fiddler是一个HTTP的调试代理，以代理服务器的方式，监听系统的HTTP网络数据流动。Fiddler可以让你检查所有的HTTP通讯，设置断点，以及Fiddler所有的“进出”的数据。Fiddler还包含一个简单却功能强大的基于JScript.NET事件脚本子系统，它可以支持众多的HTTP调试任务。2.Fiddler的主界面监控面板中，Web会话性能统计信息可以直接在监控面板中的什么窗口查看？ Statistics窗口3.Fiddler的主界面监控面板中，Web网络会话内容可以直接在监控面板中的什么窗口查看？ Inspectors窗口4.查看一个或多个Web会话的传输时间线的瀑布图可以直接在监