第九章python生态学概览9 3从web解析到网络空间_第1页
第九章python生态学概览9 3从web解析到网络空间_第2页
第九章python生态学概览9 3从web解析到网络空间_第3页
第九章python生态学概览9 3从web解析到网络空间_第4页
第九章python生态学概览9 3从web解析到网络空间_第5页
已阅读5页，还剩28页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

单元开篇

CCBY-NC-SA4.0嵩天

从Web解析到网络空间

Python库之网络爬虫

Python库之Web信息提取

Python库之Web 开发

Python库之网络应用开发

Python库之网络爬虫

CCBY-NC-SA4.0嵩天

Python库之网络爬虫

Requests:最友好的网络爬虫功能库

提供了简单易用的类HTTP协议网络爬虫功能

支持连接池、SSL、 s、HTTP(S) 等

Python最主要的页面级网络爬虫功能库

r.text

Python库之网络爬虫

Requests:最友好的网络爬虫功能库importrequests

r=requests.get('',\auth=('user','pass'))

r.status_coder.headers['content-type']r.encoding

Python库之网络爬虫

Scrapy:优秀的网络爬虫框架

提供了构建网络爬虫系统的框架功能，功能半成品

支持批量和定时网页爬取、提供数据处理流程等

Python最主要且最专业的网络爬虫框架

Python库之网络爬虫

Scrapy:Python数据分析 次应用库

Python库之网络爬虫

pyspider:强大的Web页面爬取系统

提供了完整的网页爬取系统构建功能

支持数据库后端、消息队列、优先级、分布式架构等

Python重要的网络爬虫类第 库

Python库之网络爬虫

pyspider:强大的Web页面爬取系统

Python库之Web信息提取

CCBY-NC-SA4.0嵩天

Python库之Web信息提取

BeautifulSoup:HTML和XML的解析库

提供了解析HTML和XML等Web信息的功能

又名beautifulsoup4或bs4，可以加载多种解析引擎

常与网络爬虫库搭配使用，如Scrapy、requests等

Python库之Web信息提取

BeautifulSoup:HTML和XML的解析库

下行遍历

.contents

.children

.descendants

<html>

<head> <body>

<title> <p> 平行遍历 <p>

<b>.next_sibling<a>

<a>

.parent

.parents

上行遍历

.previous_sibling

.next_siblings

.previous_siblings

Python库之Web信息提取

Re:正则表达式解析和处理功能库

提供了定义和解析正则表达式的一批通用功能

可用于各类场景，包括定点的Web信息提取

Python最主要的标准库之一，无需安装

Python库之Web信息提取

Re:正则表达式解析和处理功能库

re.search() re.split()

re.match()re.findall()

r'\d{3}-\d{8}|\d{4}-\d{7}'

re.finditer()re.sub()

Python库之Web信息提取

Python-Goose:提取文章类型Web页面的功能库

提供了对Web页面中文章信息/ 等元数据的提取功能

针对特定类型Web页面，应用覆盖面较广

Python最主要的Web信息提取库

Python库之Web信息提取

Python-Goose:提取文章类型Web页面的功能库

fromgooseimportGoose

url=''g=Goose({'use_meta_language':False,'target_language':'es'})article=g.extract(url=url)

article.cleaned_text[:150]

Python库之Web开发

CCBY-NC-SA4.0嵩天

Python库之Web 开发

Django:最流行的Web应用框架

提供了构建Web系统的基本应用框架

MTV模式：模型(model)、模板(Tem te)、视图(Views)

Python最重要的Web应用框架，略微复杂的应用框架

Python库之Web 开发

Django:最流行的Web应用框架

Web框架

浏览器

HTTP

WSGI

URLs

HTML/CSS/JS

路由

功能处理逻辑

等文件

Web服务器接口

满足用户功能请求

融合数据和展示模板

数据库

Python库之Web 开发

Pyramid:规模适中的Web应用框架

提供了简单方便构建Web系统的应用框架

不大不小，规模适中，适合快速构建并适度扩展类应用

Python产品级Web应用框架，起步简单可扩展性好

Python库之Web 开发

Pyramid:规模适中的Web应用框架

fromwsgiref.simple_serverimportmake_server

frompyramid.configimportConfiguratorfrompyramid.responseimportResponsedef o_world(request):

returnResponse(' oWorld!')

ifname=='main':

withConfigurator()asconfig:config.add_route(' o','/')

-10行左右 oWord程序

config.add_view( o_world,route_name=' o')app=config.make_wsgi_app()

server=make_server('',6543,app)server.serve_forever()

Python库之Web 开发

Flask:Web应用开发微框架

提供了最简单构建Web系统的应用框架

特点是：简单、规模小、快速

Django>Pyramid>Flask

Python库之Web 开发

Flask:Web应用开发微框架

fromflaskimportFlaskapp=Flask(name)

@app.route('/')def o_world():

return' o,World!'

Python库之网络应用开发

CCBY-NC-SA4.0嵩天

Python库之网络应用开发

WeRoBot: 开发框架

提供了解析 服务器消息及反馈消息的功能

建立 机器人的重要技术

Python库之Web 开发

WeRoBot: 开发框架

importwerobot

robot=werobot.WeRoBot(token='tokenhere')

@robot.handler

def o(message):return' oWorld!'

对 每个消息反馈一个 oWorld

Python库之网络应用开发

aip: AI开放平台接口

提供了 AI服务的Python功能接口

语音、人脸、OCR、NLP、知识图谱、图像搜索等领域

Python AI应用的最主要方式

Python库之Web 开发

aip: AI开放平台接口

Python库之网络应用开发

MyQR: 生成第 库

提供了生成 的系列功能

基本 、艺术 和动态

P

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论