任务2.2金融资讯文本数据采集

项目二金融资讯文本数据采集主讲教师:段晓亮Financialinformationtextdatacollection知识图谱的数据结构属于异质结构多关联的大数据，与人工智能领域大多技术任务所基于的数据一样，可以为后续的机器学习和推理任务提供强有力的支持，帮助企业在智能搜索、智能问答、智能推荐、以及大数据分析等方面提升性能。金融行业是个数据驱动的行业，知识图谱作为人工智能时代的“知识工程”、“专家工程”，可以将金融资讯大数据中的实体关系属性等信息，用极其简单的三元组的方式聚合在一起，形成一个金融语义网络，使之承载对纷繁复杂、多源异构的金融资讯大数据面向AI加工整合的重任。任务导入知识图谱的数据结构属于异质结构多关联的大数据，与人工智能领域大多技术任务所基于的数据一样，可以为后续的机器学习和推理任务提供强有力的支持，帮助企业在智能搜索、智能问答、智能推荐、以及大数据分析等方面提升性能。金融行业是个数据驱动的行业，知识图谱作为人工智能时代的“知识工程”、“专家工程”，可以将金融资讯大数据中的实体关系属性等信息，用极其简单的三元组的方式聚合在一起，形成一个金融语义网络，使之承载对纷繁复杂、多源异构的金融资讯大数据面向AI加工整合的重任。任务知识目标2.掌握文本数据的采集方法；1.了解知识图谱的概念；3.熟悉文本数据的采集流程，能根据需求合理完成文本数据采集；4.能根据需求合理完成文本数据采集；知识图谱的数据结构属于异质结构多关联的大数据，与人工智能领域大多技术任务所基于的数据一样，可以为后续的机器学习和推理任务提供强有力的支持，帮助企业在智能搜索、智能问答、智能推荐、以及大数据分析等方面提升性能。金融行业是个数据驱动的行业，知识图谱作为人工智能时代的“知识工程”、“专家工程”，可以将金融资讯大数据中的实体关系属性等信息，用极其简单的三元组的方式聚合在一起，形成一个金融语义网对纷繁复杂、多源异构的金融资讯大数据面向AI加工整合的重任。任务能力目标01了解金融知识图谱构建任务及其应用场景02掌握文本数据的来源与采集流程03掌握文本数据的爬取方法能够通过编写程序解决实际文本数据采集问题04知识图谱的数据结构属于异质结构多关联的大数据，与人工智能领域大多技术任务所基于的数据一样，可以为后续的机器学习和推理任务提供强有力的支持，帮助企业在智能搜索、智能问答、智能推荐、以及大数据分析等方面提升性能。金融行业是个数据驱动的行业，知识图谱作为人工智能时代的“知识工程”、“专家工程”，可以将金融资讯大数据中的实体关系属性等信息，用极其简单的三元组的方式聚合在一起，形成一个金融语义网对纷繁复杂、多源异构的金融资讯大数据面向AI加工整合的重任。任务思政目标

通过知识图谱，掌握事物普遍联系的哲学原理01具有良好的职业道德和职业素养02CONTENTS目录知识图谱概述01OverviewofKnowledgeGraph网络爬虫技术02Webcrawlertechnology感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.知识图谱概述知识图谱的定义知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。知识图谱是由实体、关系和属性组成的一种数据结构，也就是数据库的2.0。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.知识图谱概述知识图谱的通用表示从本质上来看，可以将知识图谱理解成一张由不同知识点相互连接形成的语义网络。任何一种网络都是由节点和边构成的，因此，知识图谱也是由节点和边构成的。节点表示实体或概念，边表示实体的属性或实体间的关系。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.知识图谱概述知识图谱的具体应用从本质上来看，可以将知识图谱理解成一张由不同知识点相互连接形成的语义网络。任何一种网络都是由节点和边构成的，因此，知识图谱也是由节点和边构成的。节点表示实体或概念，边表示实体的属性或实体间的关系。智能搜索辅助大数据分析智能问答个性化推荐感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.网络爬虫技术网络爬虫（Crawler）又被称为网页蜘蛛，网络机器人，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。3.爬虫的作用及工作流程网络爬虫组成在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、SqlServer等。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。3.爬虫的作用及工作流程网络爬虫的工作原理网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。如图所示，爬虫从一个或若干个初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。网络爬虫的工作原理感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。4.爬虫常用的工具Python程序爬虫python爬虫指的是用Python语言来编写爬虫程序。除了Python外，其他语言也可以编写，比如Java、PHP等，不过相比较而言，Python更为简单和实用。一方面，Python提供了许多可以应用于爬虫的库和模块；另一方面，Python语法简单、易读，更适合于初学者学习，因此Python爬虫几乎成了网络爬虫的代名词。网络爬虫主要用途是采集数据，它是数据分析不可或缺的工具之一。许多公司专门设立了Python爬虫工程师岗位，该岗位的职责就是为公司的业务拓展提供数据支持感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。4.爬虫常用的工具HTTPHTTP是由万维网协会（WorldWideWebConsortium）和Internet工作小组IETF（InternetEngineeringTaskForce）共同制定的规范。HTTP的全称是“HyperTextTransferProtocol”，中文名叫做“超文本传输协议”。HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议，它能保证高效而准确地传送超文本内容。HTTP是基于“客户端/服务器”架构进行通信的，HTTP的服务器端实现程序有httpd、nginx等，客户端的实现程序主要是Web浏览器，例如Firefox、InternetExplorer、GoogleChrome、Safari、Opera等。Web浏览器和Web服务器之间可以通过HTTP进行通信。0102一个典型的HTTP请求过程4.爬虫常用的工具HTTP一个典型的HTTP请求过程如下（如图所示）：用户在浏览器中输入网址，比如，浏览器向网页服务器发起请求；网页服务器接收用户访问请求，处理请求，产生响应（即把处理结果以HTML形式返回给浏览器）；浏览器接收来自网页服务器的HTML内容，进行渲染以后展示给用户。一个典型的HTTP请求过程一个典型的HTTP请求过程4.爬虫常用的工具用Python实现HTTP请求urllib模块urllib3模块requests模块010203HTTP请求一个典型的HTTP请求过程4.爬虫常用的工具urllibm模块urllib是Python自带模块，该模块提供了一个urlopen()方法，通过该方法指定URL发送HTTP请求来获取数据。urllib提供了多个子模块，具体的模块名称与功能如表所示。模块名称功能

urllib.request该模块定义了打开URL（主要是HTTP）的方法和类，如身份验证、重定向和cookie等

urllib.error该模块中主要包含异常类，基本的异常类是URLError

urllib.parse该模块定义的功能分为两大类：URL解析和URL引用urllib.robotparser该模块用于解析robots.txt文件表urllib中的子模块一个典型的HTTP请求过程4.爬虫常用的工具urllib模块importurllib.requestresponse=urllib.request.urlopen("")html=response.read()print(html)下面是通过urllib.request模块实现发送GET请求获取网页内容的实例：一个典型的HTTP请求过程4.爬虫常用的工具urllib模块下面是通过urllib.request模块实现发送POST请求获取网页内容的实例：importurllib.parse

importurllib.request

#1.指定url

url='/sug'

#2.发起POST请求之前，要处理POST请求携带的参数

#2.1将POST请求封装到字典

data={'kw':'苹果',}

#2.2使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理

data=urllib.parse.urlencode(data)

#将步骤2.2的编码结果转换成byte类型

data=data.encode()

#3.发起POST请求:urlopen函数的data参数表示的就是经过处理之后的POST请求携带的参数

response=urllib.request.urlopen(url=url,data=data)

data=response.read()

print(data)把上面print(data)执行的结果，拿到JSON在线格式校验网站（/）进行处理，使用“Unicode转中文”功能可以得到如下结果：b'{"errno":0,"data":[{"k":"\苹\果","v":"\名.apple"},{"k":"\苹\果\园","v":"applegrove"},{"k":"\苹\果\头","v":"applehead"},{"k":"\苹\果\干","v":"[\医]driedapple"},{"k":"\苹\果\木","v":"applewood"}]}'一个典型的HTTP请求过程4.爬虫常用的工具urllib3模块urllib3是一个功能强大、条理清晰、用于HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。urllib3提供了很多python标准库里所没有的重要特性，包括：线程安全、连接池、客户端SSL/TLS验证、文件分部编码上传、协助处理重复请求和HTTP重定位、支持压缩编码、支持HTTP和SOCKS代理、100%测试覆盖率等。

在使用urllib3之前，需要打开一个cmd窗口使用如下命令进行安装：>pipinstallurllib3一个典型的HTTP请求过程4.爬虫常用的工具urllib3模块下面是通过GET请求获取网页内容的实例：>>>importurllib3>>>#需要一个PoolManager实例来生成请求，由该实例对象处理与线程池的连接以及线程安全的所有细节，不需要任何人为操作>>>http=urllib3.PoolManager()>>>response=http.request('GET','')>>>print(response.status)>>>print(response.data)一个典型的HTTP请求过程4.爬虫常用的工具urllib3模块下面是通过POST请求获取网页内容的实例：>>>importurllib3>>>http=urllib3.PoolManager()>>>response=http.request('POST', '/sug' ,fields={'kw':'苹果',})>>>print(response.data)一个典型的HTTP请求过程4.爬虫常用的工具requests模块requests库是一个非常好用的HTTP请求库，可用于网络请求和网络爬虫等。

在使用requests之前，需要打开一个cmd窗口使用如下命令进行安装：>pipinstallrequests

以GET请求方式为例，打印多种请求信息的代码如下：>>>importrequests>>>response=requests.get('')#对需要爬取的网页发送请求>>>print('状态码:',response.status_code)