PythonHttp发送请求浅析

第PythonHttp发送请求浅析目录前言浅析requests浅析aiohttp浅析httpx结语

前言

相信很多人使用Python做接口请求（Http客户端请求）的时候，很多人肯定用过这几个：urllib，urllib3，requests.没错，反正我常用，而且在我这里出现最多最靓眼的那个崽是requests,毕竟普通接口请求，爬虫常用，而且封装起来后使用更为简单。所以在这篇文章里面，它是我浅析研究三国鼎立的其中之一。

这篇文章主要浅析这三个：

requestsaiohttphttpx

浅析requests

在不借助其他第三方库的情况下，requests只能发送同步请求。requests是一个Python第三方库，处理URL资源特别方便，而且相对于urllib3来说封装了更多功能，并且使用步骤简单。

我们深入一下到requestsapi源码来看一下：

从图片来看，其实可以大概看出requests支持哪些功能然后圈红的其实是最常用的一些功能，也就是可以设置请求方式，请求头，cookie，过期时间，请求接口验证，文件上传等等功能。

整理了日常大概常用的方，应该是下面这几种格式：

#get请求

requests.get(url,params)

#post请求

requests.post(url,data)

#文件上传

upload_files={'file':open('report.xls','rb')}

requests.post(url,file=upload_files)

#设置header

headers={'User-Agent':'Mozilla/5.0(iPhone;CPUiPhoneOS11_0likeMacOSX)AppleWebKit'}

requests.post(url,headers=headers)

#设置cookie

cookies={'token':'12345','status':'摸鱼'}

requests.post(url,cookies=cookies)

如果单纯请求一个接口，获取接口数据的话，上面的完全够用了，不需要额外的操作。

但是requests有时候挺多用在爬虫场景下，爬虫有的需要保持登录信息去爬取其他接口，那么单纯的去使用requests.get或者requests.post，这都是一次性的请求，是不太满足需求的。对于登录成功，再去请求其他的接口，可能需要之前生成的cookie或者token，这时候，这些信息就需要进行保存。对于这种情况，可以使用requests.session,它可以自动处理cookies，做状态保持.

大概的使用步骤应该是这样子：

#先实例化一个对象

session=requests.session()

#给requests.session()对象设置cookie信息，这个看情况使用，具体情况具体分析啊

cookies_dict={}

session.cookies=requests.utils.cookiejar_from_dict(cookies_dict)

#后面用法和直接使用requests一样了

#get请求

response=session.get(url)

#post请求

response=session.post(url,json=json_data)

result=response.json()

#获取登陆的所有cookies信息

print(result.cookies.values())

通过上面这些大概步骤，对于信息状态保持是已经足够了，这时候再用这些保持的信息去爬取接口是没有多大问题的（按道理啊，经典案例的话可以去模拟爬取一下淘宝PC端，本文具体的就不介绍了。）

浅析aiohttp

在不借助其他第三方库的情况下，aiohttp只能发送异步请求。

其实，人都是贪心的，在同步请求足够完成需求后，那么人就会去从其他方面去提升，比如同样的接口，希望能更快的处理返回，减少消耗时间，不希望阻塞。

那么随着这种需要，那么异步请求也就出现了。目前支持异步请求的方式有async/await+asyncio+requests组合构成，也可以使用aiohttp.aiohttp是一个为Python提供异步HTTP客户端、服务端编程，基于asyncio的异步库。aiohttp同样是可以设置请求方式，请求头，cookie，代理，上传文件等功能的

大概用代码来表示，应该是常见这些：

#post请求

payload={

"data":"helloworld"

asyncwithaiohttp.ClientSession()assession:

asyncwithsession.post(url,json=payload)asresp:

print(resp.status)

#get请求

#创建使用session

asyncwithaiohttp.ClientSession()assession:

asyncwithsession.get(url)asresp:

print(resp.status)

res=awaitresp.text()

returnres

#上传文件

files={'file':open('report.xls','rb')}

asyncwithaiohttp.ClientSession()assess:

asyncwithsess.post(url,data=files)asresp:

print(resp.status)

print(awaitresp.text())

#设置header,cookie

headers={'User-Agent':'youragent'}

cookies={'cookies_are':'摸鱼'}

asyncwithaiohttp.ClientSession(headers=headers,cookies=cookies)assession:

asyncwithsession.get(url)asresp:

print(resp.status)

res=awaitresp.text()

returnres

当然异步的请求，多可以是对接口返回数据在其他地方没有太强的依赖，异步的作用更多是用于提高效率，节省同步等待时间。

浅析httpx

在不借助其他第三方库的情况下，httpx既能发送同步请求，又能发送异步请求

httpx是Python新一代的网络请求库，它包含以下特点：

1.基于Python3的功能齐全的http请求模块2.既能发送同步请求，也能发送异步请求3.支持HTTP/1.1和HTTP/24.能够直接向WSGI应用程序或者ASGI应用程序发送请求

安装httpx需要Python3.6+（使用异步请求需要Python3.8+）

httpx是Python新一代的网络请求库,功能和requests基本都一致，但是requests在没有第三方库的支持下只能发同步请求，但是httpx不仅可以发同步请求，还可以异步，这个是比requests要好的。因为和requests差不多，那么requests能支持设置的，那么httpx也同样可以支持

基本的使用方法：

data={

'name':'autofelix',

'age':25

#get请求

httpx.get(url,params=data)

#post请求

httpx.post(url,data=data)

#设置header,cookie,timeout

headers={'User-Agent':'youragent'}

cookies={'cookies_are':'摸鱼'}

httpx.get(url,headers=headers,cookies=cookies,timeout=10.0)

#使用client发送（同步）请求

withhttpx.Client()asclient:

response=client.get(url)

异步操作,使用async/await语句来进行异步操作，使用异步client比使用多线程发送请求更加高效，更能体现明显的性能优势

importasyncio

importhttpx

asyncdefmain():

#异步请求AsyncClient

asyncwithhttpx.AsyncClient()asclient:

response=awaitclient.get(url)

print(response)

if__name__=='__main__':

#python3.7+支持写法

#asyncio.run(main())

#python3.6及以下版本写法

loop=asyncio.get_event_loop()