3.3 大数据采集方法

XXXXXXXX.XX主讲人：时间：第3章数据采集BYYUSHENBYYUSHEN大数据采集技术发展趋势01.大数据采集概述02.大数据采集方法03.大数据采集类型04.常见采集问题及注意事项05.CONTENTS目录03大数据采集方法网络爬虫采集法网络爬虫是自动化网络程序，用于获取网页内容，工具如八爪鱼采集器模拟人工浏览，生成自动化采集流程，支持多语言版本，提供全网数据采集服务。网络爬虫处理流程爬虫流程包括种子URLs、抓取、解析、URL管理、去重、遵守规则和存储；需考虑网站规则、性能、并发处理、动态内容、数据抽取，并遵守法律法规。网络爬虫的类型爬虫类型多样，如通用、聚焦、增量、深层网络、垂直、分布式、社交媒体、隐私保护、内容抓取和镜像爬虫，满足不同场景下的信息抓取需求。大数据采集的通用方法反爬机制包括Robots.txt文件、User-Agent过滤、IP限制、验证码、动态网页加载、HTTPS等，爬虫开发者需采取代理服务器、模拟人类操作等高级技术应对。反爬机制HTTP协议是万维网数据通信的基础，支持多种方法如GET、POST等，响应含状态码如200OK、404NotFound，HTTPS确保数据传输安全，消息分请求与响应两类。HTTP协议Scrapy是Python编写的网页爬取框架，用于提取结构化数据，基于Twisted异步网络框架，适用于大规模数据抓取项目，可扩展至高性能要求场景。Scrapy框架概述大数据采集的通用方法引擎控制数据流，调度器管理请求队列，下载器下载网页内容，蜘蛛定义爬取规则，管道处理蜘蛛提取的数据，用户可自定义组件以适应不同需求。Scrapy的常用组件Scrapy工作流程自动化，开始项目后定义蜘蛛，生成初始请求入队，下载器获取响应并传递给蜘蛛解析，提取数据经管道处理后存储，循环处理直至队列空。Scrapy工作原理通过直接连接数据库高效获取结构化数据，常用于企业内部或公共数据库；ETL工具如Sqoop、Kettle等支持多种数据库，Sqoop因性能和社区活跃被广泛使用。数据库采集法大数据采集的通用方法API接口采集法传感器数据采集法日志文件采集法通过调用API接口获取特定平台数据，适用于与第三方平台如社交媒体、电商平台进行数据交换的场景，可高效获取平台数据，满足业务需求和数据交换场景。日志文件记录系统运行信息，采集工具如HadoopChukwa、Flume等用于日志传输；Flume安全高效但复杂，Logstash轻量简单，StreamSets功能丰富易用。传感器采集物理量如温度、湿度等，通过流式数据如Kafka实时传输至数据中心；选择合适的大数据采集方法，确保数据实时性和准确性，以支持业务决策。大数据采集的通用方法离线数据采集用于从数据库和离线文件中抽取数据；工具每日凌晨抽取前一天数据，维度数据全量采集，业务数据增量采集后合并为全量；关系型数据库从库抽取以不影响主库性能。01040302离线数据采集在文件数据采集过程中，需先检测文件是否存在并获取校验文件；校验文件包含记录数和字段格式等信息；采集后校验文件确保文件完整，再继续后续数据处理过程。文件数据校验实时数据采集用于网页日志采集，包括数据埋点、数据上报和数据存储；JS脚本植入收集页面信息，上报时封装请求发送至日志服务器存储为JSON文件，并利用消息队列提高效率。实时数据采集数据采集组件如Flume将日志数据发送至HDFS