3.2 大数据采集概述

XXXXXXXX.XX主讲人：时间：第3章数据采集BYYUSHENBYYUSHEN大数据采集技术发展趋势01.大数据采集概述02.大数据采集方法03.大数据采集类型04.常见采集问题及注意事项05.CONTENTS目录02大数据采集概述大数据采集是获取海量、高速、多变数据的过程，目标为捕获全面有价值的信息，以支持后续深入分析、挖掘和应用。数据源包括社交网络、网络日志、传感器、数据库、在线交易等内部系统、商业交易、社交媒体、公共数据集。采集的数据量通常达到TB(太字节)甚至PB(拍字节)级别，处理如此海量的数据需要高效的存储和进程管理能力。数据采集需支持高速实时或近实时；确保数据的准确性和高质量是非常重要的，同时遵守相关的数据保护法规和公司政策。大数据采集定义数据源的多样性数据的体量数据采集的速度大数据采集的概念批量数据采集是一种集中式数据采集，其中数据以较大的批次进行收集和处理，通常不要求实时性；适用于离线分析和批量处理场景。流式数据采集持续不断的工作流程，数据以连续流的形式实时采集和处理；对于需要即时分析的应用（如股票市场分析、网络监控）非常重要。社交媒体数据采集从社交网络和在线社区采集数据，通常包括文本、图片和视频内容；用于了解公众意见、监测品牌声誉等。大数据采集的类型机器生成数据采集利用传感器、日志文件和其他自动化工具采集的数据，常见于物联网(IoT)、工业自动化和日志管理等领域。公共数据集采集公共数据集是政府、教育机构、公共组织发布的开放数据，可以用于研究和分析；促进跨领域合作与创新。交易数据采集来自电子交易系统的数据采集，比如金融交易、电子商务统计等；帮助企业了解市场趋势、优化库存管理等。大数据采集的类型包括网页内容、用户点击流和网络日志数据，可以用网络爬虫或相关工具采集；用于了解用户行为、优化网站设计等。网络数据采集涵盖图像、音频和视频内容的采集，常用于人工智能模型训练和媒体分析中；提供丰富的多媒体内容供分析使用。多媒体数据采集涉及从多种传感器中采集数据，传感器可以是物理设备或是软件；用于监控环境、设备状态等。传感器数据采集大数据采集的类型社交网络站点（如Facebook,Twitter,LinkedIn等）的用户生成内容；博客和在线论坛的内容；网络搜索查询记录。网络和社交媒体数据事务性数据企业和组织内部数据涵盖电子商务交易、银行和金融交易以及实体零售销售记录，支持业务分析和决策制定。包括交易数据的收集和整合。包括企业资源规划（ERP）系统数据、客户关系管理（CRM）系统数据以及供应链管理数据，支持企业日常运营。大数据采集的来源多媒体内容包括图像和视频数据，可能来自公共监控摄像头、航空航天图像，或是媒体库；音频数据，比如音乐流服务、播客等。机器和传感器数据包括物联网（IoT）设备数据，如智能电表、家电和穿戴设备；工业传感器和自动化系统；车辆和运输监控系统。公共数据和开放数据集包括政府发布的数据集（例如人口统计、经济指标等）；研究机构和教育机构发布的数据集；国际组织的数据。大数据采集的来源地理空间数据包括地图数据和卫星图像；GPS追踪数据，用于定位和导航；支持地理空间分析和决策制定。生物医药数据包括电子健康记录（EHR）；基因组学研究的数据；药物研发的数据；支持生物医药领域的分析和决策制定。科研数据包括物理、化学、生物学等自然科学实验的数据；社会科学调查和研究的数据；用于支持科研活动和学术决策。日志文件包括服务器日志文件，用于监控网站流量和用户活动；应用程序日志，用于记录软件的操作和事件。大数据采集的来源全量采集定义全量采集是一次性将所有数据（按天数/月数等）全部采集过来的过程，优点在于数据完整，缺点是耗时、消耗大量存储资源，且存在重复数据冗余。CDC机制介绍变化数据捕获(CDC)机制通过识别和捕获数据库中的数据变化，将变化内容记录并传递至下游服务，减轻数据库压力，提升实时性，如MySQL的binlog机制。增量同步策略由于全量同步占用大量存储空间，效率低，一般采用增量同步；即在第一次全量基础上，后续只同步修改、增加的数据，以减少存储和提升效率。大数据采集的策略全量采集工具DataX是强大的全量及增量数据处理工具，支持多种数据源与目标平台组合，通过JSON配置实现无缝对接，适用于大