网络爬虫设计与应用学习通超星课后章节答案期末考试题库2023年

网络爬虫设计与应用学习通超星课后章节答案期末考试题库2023年（3）在parse_item()方法中，提取上述提到的这些信息。

参考答案:

items.py文件：importscrapyclassSunhotItem(scrapy.Item):

#每个帖子的标题

title=scrapy.Field()

#每个帖子的编号

number=scrapy.Field()

#每个帖子的文字内容

content=scrapy.Field()

#每个帖子的url

url=scrapy.Field()spiders/sun.py文件importscrapyfromSunHot.itemsimportSunhotItemclassSunSpider(scrapy.Spider):

name='sun'

allowed_domains=['']

url='/index.php/question/questionType?type=4&page='

offset=0

start_urls=[url+str(offset)]

defparse(self,response):

#取出每个页面里帖子链接列表

links=response.xpath("//div[@class='greyframe']/table//td/a[@class='news14']/@href").extract()

#迭代发送每个帖子的请求，调用parse_item方法处理

forlinkinlinks:

yieldscrapy.Request(link,callback=self.parse_item)

#设置页码终止条件，并且每次发送新的页面请求调用parse方法处理

ifself.offset<=90:

self.offset+=30

yieldscrapy.Request(self.url+str(self.offset),callback=self.parse)

#处理每个帖子里

defparse_item(self,response):

item=SunhotItem()

#标题

item['title']=response.xpath('//div[contains(@class,"pagecenterp3")]//strong/text()').extract()[0]

#编号

item['number']=item['title'].split('')[-1].split(":")[-1]

#文字内容，默认先取出有图片情况下的文字内容列表

content=response.xpath('//div[@class="contentext"]/text()').extract()

#如果没有内容，则取出没有图片情况下的文字内容列表

iflen(content)==0:

content=response.xpath('//div[@class="c1text14_2"]/text()').extract()

#content为列表，通过join方法拼接为字符串，并去除首尾空格

item['content']="".join(content).strip()

else:

item['content']="".join(content).strip()

#链接

item['url']=response.url

yielditem

HTTP是一套计算机网络通信的规则，由客户端

消息和服务器端

消息组成。

参考答案:

请求###响应

JavaScript无须重载页面，可直接提交表单，在页面嵌入多媒体文件。

参考答案:

对

JSONPath是一种信息抽取库，用于从JSON文档中抽取指定信息。

参考答案:

对

MongoDB是一个基于分布式文件存储的数据库，属于当前

数据库中比较热门的一种。

参考答案:

NoSQL

POST请求的安全性更高，使用场合比GET请求多。

参考答案:

对

robots.txt文件一定要放置在一个站点的根目录下。

参考答案:

对

robots.txt文件中至少要有一条User-Agent记录。

参考答案:

对

robots.txt文件没有实际的约束力。

参考答案:

对

Scrapy使用

来表示要爬取的数据。

参考答案:

爬虫框架

selenium库的

有点像加载网站的浏览器，它不仅可以查找页面元素，而且可以与页面上的元素进行交互。

参考答案:

WebDriver

urlopen()函数返回的是一个文件对象，需要调用read()方法一次性读取。

参考答案:

对

User-Agent表示

，用于描述发出由HTTP请求的终端信息。

参考答案:

用户代理

User-Agent表示

，用于描述发出HTTP请求的终端信息。

参考答案:

用户代理

为防止对方从访问量上认出爬虫的身份，可以

访问网站的频率。

参考答案:

降低

使用了JavaScript脚本的网页，能够在

不变的情况下改变网页的内容。

参考答案:

URL

列举requests库Http响应对象的方法或属性，及相关说明（至少3条）。

参考答案:

status_code：http请求状态码headers：http请求响应返回的请求头cookies：使用key读取cookiestext：文本类型的响应数据content：二进制类型的响应数据json():json类型的响应数据raw:raw类型的响应数据

创建BeautifulSoup类实例时，如果没有明确指定解析器，那么该实例肯定会选择Python标准。

参考答案:

错

在Scrapy项目中，

文件用于定义项目的目标实体。

参考答案:

文档

在使用bs4库调用find()方法查找节点时，智能将字符串作为参数。

参考答案:

错

如果URL中包含了中文，则可以使用urlencode()方法进行编码。

参考答案:

对

如果访问某网站的频率太高，则这个网站可能会禁止访问。

参考答案:

对

文件是搜索引擎访问网站时要查看的第一个文件。

参考答案:

robots.txt

是一个用于处理字符串的强大工具。

参考答案:

正则表达式

是一组由键/值对组成的对象，对应着关系型数据库的行。

参考答案:

NoSQL

是通用爬虫最重要的应用领域。

参考答案:

搜索引擎

服务器可以根据请求报头中的Accept进行判断，以返回适当的文件格式给浏览器。

参考答案:

对

服务器响应浏览器发送的请求，返回

页面。

参考答案:

HTML

根据使用场景的不同，网络爬虫可分为

和

两种。

参考答案:

通用爬虫###聚焦爬虫

根据使用场景的不同，网络爬虫可分为

和

两种。

参考答案:

通用爬虫###聚焦爬虫

正则表达式、Xpath、BeautifulSoup有什么区别。

参考答案:

正则表达式是基于文本的特征来匹配或查找指定的数据，它可以处理任何格式的字符串文档，类似于模糊匹配的效果。XPath和BeautifulSoup是基于HTML/XML文档的层次结构来确定到达指定节点的路径，所以它们更适合处理层级比较明显的数据。

爬虫可以爬取互联网上

且可以访问到的网页信息。

参考答案:

公开

爬虫爬取网页数据的行为都很正当，不会受到网站的任何限制。

参考答案:

错

简述Http协议请求头的属性字段，及相关说明。

参考答案:

Accept：用于指定客户端接受哪些类型的信息Content-Encoding：用于指定可接受的内容编码User-Agent：客户端将它的操作系统、浏览器和其它属性告诉服务器Cookie：爬取需要登录的网站，可用于用户身份验证Host：用于指定被请求资源的Internet主机和端口号，通常从HTTPURL中提取出来

简述动态网页概念。

参考答案:

动态网页是指在网页中依赖JavaScript脚本动态加载数据的网页。与传统单页面表单事件不同，使用了JavaScript脚本的网页能够在URL不变的情况下改变网页的内容。

简述显式等待和隐式等待。

参考答案:

Selenium提供了两种等待方式，一种是隐式等待，一种是显式等待。隐式等待是等待特定的时间，显式等待是指定某一条件，直到这个条件成立后才继续执行。

简述结构化数据和非结构化数据。

参考答案:

非结构化数据是指数据结构不规则或不完整，没有预定义的数据模型，不方便使用数据库二维逻辑来表现的数据，包括所有格式的办公文档、文本、图像等。结构化数据又称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理，包括HTML、XML和JSON。

网络爬虫又称网页蜘蛛或

。

参考答案:

网络机器人

网络爬虫能够按照一定的

，自动请求万维网网站并提取网络数据。

参考答案:

规则

网络爬虫能够根据一定的

，自动请求万维网网站并提取网络数据。

参考答案:

规则

网页解析器可以从网页中提取出有价值的数据，或新的

链接。

参考答案:

URL

聚焦爬虫是“面向特定主题需求”的一种网络爬虫程序。

参考答案:

对

若提交表单后，网站的页面不需要重新刷新，则当前访问的网站用的是AJAX技术。

参考答案:

对

表示XML路径语言，能够确定XML树结构中某一部分的位置。

参考答案:

Xpath

要想将爬虫程序发出的

伪装成一个浏览器，需要自定义请求报头。