行业数据采集全面框架体系课件

FRAMEWORK行业数据采集全面框架体系方法论·数据源·采集技术·数据治理·质量管理2026年课程导览01认知筑基方法论原则与数据源分类02技术纵深采集技术选型与架构03治理护航DCMM框架与治理体系04质量闭环质量维度与全生命周期管理05落地展望数据中台路径与趋势CHAPTER认知筑基先懂数据，再谈采集从方法论原则到数据源分类，建立采集工作的认知底座。01采集的第一原则是全与细“从源头一次采全、一次采细，是降低后期返工成本的关键数据采集既要依赖数据源的物理性质，也要紧扣分析目标全多源全面，而非抽样多源覆盖客户端、服务端、数据库的数据源都要覆盖避免偏差避免个别地区的特殊性导致结论失真细多维度字段一次采全减少返采减少后续重复采集的次数压缩周期压缩迭代周期一手与二手两条采集路径一手数据自我动手采集，贴合研究需求常见手段：线上问卷、深度访谈、实验室实验二手数据直接使用他人整理的权威数据典型来源：知网、万方、国家统计局、世界银行数据库路径对比路径典型来源核心优势一手数据问卷、访谈、实验贴合需求、可控二手数据知网、统计局、世界银行成本低、权威选择路径时需综合权衡数据的真实性、权威性与获取成本。数据源的三种结构类型认识数据类型，是选择采集与存储方案的前提。结构化数据易于查询但结构演进困难，非结构化数据灵活但处理成本高结构化数据以关系型数据库表管理的规整数据具有明确的字段与架构便于用

SQL

查询如数字、短文本、日期半结构化数据不完全符合表格结构含标记突显组织层次如日志、XML、JSON、YAML又称非关系型数据非结构化数据无固定格式模式如办公文档、图片、音频、视频无法整齐放入数据表数据资产分类有了新国标2026年9月1日，《资产管理

数据资产分类与代码》（GB/T47949-2026）正式实施，由财政部组织起草。分类体系在“信息数据类无形资产”大类下划分三小类结构化半结构化非结构化涵盖

15

个细类，并预留拓展空间编码规则由

1

位大写英文字母+10

位阿拉伯数字组成前置字母使用

A

标识按门类、大类、中类、小类、细类五级划分配套标准《资产管理

数据资产登记指南》（GB/T47950-2026）同日实施两项标准共同为数据资产入表与评估打开空间多模态采集走向融合多模态采集的价值，在于把复杂现实世界转化为可训练、可对齐的数据基础。规模化应用在具身智能、教育神经科学、体育赛事数据服务等领域均有规模化应用。从多种来源获取文本、图像、音频、视频等不同模态数据，构成多模态采集的技术基础多模态采集体系4项定义从多种来源获取文本、图像、音频、视频等不同模态数据的技术过程多感官融合标准化硬件平台与传感器阵列，实现视觉、听觉、触觉等多感官通道同步采集与融合全流程自动化覆盖从数据解析、预处理、语义理解到质量评估的全流程自动化闭环体系AI预标注+人机协同校验+自动化质检CHAPTER技术纵深选对工具，事半功倍从爬虫与API之争到四层技术架构，掌握采集技术全貌。02三种主流采集方法三类方法各有适用场景，选择时需结合数据源性质与分析目标综合判断。传感器采集原理感知信息，转化电信号通过传感设备感知外界信息并转化为电信号典型场景物联网感知层智能手表采集心率睡眠、智能汽车感知路况系统日志采集原理读取日志，监测运行与行为通过平台读取日志文件，记录系统软硬件运行情况与用户行为典型场景内容推荐抖音点赞后的内容推荐即依托日志记录网络采集原理爬虫抓取或调用API通过爬虫抓取网页或调用API获取网络数据典型场景搜索收录与价格监控搜索引擎收录与商品价格监控爬虫与API的本质分野爬虫vsAPI爬虫网页抓取灵活，页面可见内容理论上都能抓网页一改版即失效，访问频繁易被封IP部分网站明令禁止，存在法律风险临时查询一次性行情获取API官方提供，直接返回结构化数据，稳定规范合法接口一般不轻易变动，但只开放官方给定数据多有调用频率限制长期自动监控商用工具开发VS维度的明确对比维度爬虫API稳定性易因改版失效格式稳定合规性有法律风险合规安全维护成本高，需反复适配低，一次对接适用场景临时查看长期监控采集选型的一句口诀有API用

API，没API再爬虫；要稳定走官方，要灵活上爬虫判断前先查看目标网站的robots.txt识别抓取限制，避免踩红线API首选实时大规模标准化数据（股票行情、天气信息）爬虫

依托竞品监控、价格追踪等官方不开放APIAPI风险更低商用场景，需合规链路与访问日志留存判断前先查看目标网站的robots.txt识别抓取限制，避免踩红线API首选实时大规模标准化数据（股票行情、天气信息）爬虫

依托竞品监控、价格追踪等官方不开放APIAPI风险更低商用场景，需合规链路与访问日志留存采集Agent的感知执行闭环传统采集的痛点规则依赖按页面/站点/接口逐个写解析规则场景封闭改版即失效Agent的解法模型驱动基于大语言模型，通过

感知—规划—执行

闭环自动完成采集任务目标导向重心从"写抓取代码"转向"定义采集目标"动态规划按页面语义动态规划路径，抗改版能力更强工程化技术栈MCP协议标准化接入，统一模型与外部数据源交互接口链路拆分采集任务分解为可管理环节工程化技术栈数据提纯去除冗余，保留有效信息可观测性全链路监控与追踪大数据的四层技术架构01采集层集成

Flume、Kafka

等工具，实现多源异构数据的高效采集，通过数据总线解耦系统组件02存储计算层以

HDFS

为核心构建分布式存储；离线计算依赖

Hive与Spark，实时计算基于

Flink、Storm

实现低延迟处理03共享层通过

DataX

实现异构数据源之间的高效同步，建立跨系统的数据通道04应用层支撑

OLAP分析与即席查询，采用

HBase与Elasticsearch

混合架构提升检索效率采集层是整座数据大厦的地基，稳定性决定上层一切采集工具的选型逻辑采集工具采用分布式架构，可满足每秒数百兆日志数据的采集与传输需求技术选型没有绝对对错，关键要匹配数据规模与实时性要求——实时走Kafka，批量用Sqoop，流批一体交给Flink。Kafka处理实时数据流适合高并发、低延迟场景如用户行为日志、设备实时数据Sqoop批量同步传统关系型数据库（MySQL、Oracle）数据稳定可靠适合离线同步Flink流批一体计算引擎既能处理实时数据流，又能兼容离线批量任务适合复杂实时分析CHAPTER治理护航无治理，不采集从DCMM2.0到治理分层，为采集工作装上制度护栏。03数据治理的三个层次层级侧重核心问题数据治理制度权责谁负责、怎么定义数据管理技术流程怎么存储流转数据资产价值运营如何增值变现数据治理管制度，数据管理管技术，数据资产管理管价值DCMM定义八大能力域数据战略与数据治理战略规划定方向治理域解决权责与组织问题数据架构与数据应用架构域统一数据模型应用域释放数据价值数据安全与数据质量安全域实施分类分级与权限控制质量域聚焦规则校验与闭环修复数据标准与数据生存周期标准域统一口径命名生存周期域管理数据全流程DCMM2.0的四大变化2026年7月1日，DCMM2.0（GB/T36073-2025）正式实施，能力域由8个增至9个，新增"数据资产"域。DCMM1.0DCMM2.0能力域8个→9个能力项28个→33个评估指标441项→486项比版本对比能力域8个→9个能力项28个→33个评估指标441项→486项四大变化4项变化一从定性判断到量化度量，评估转向可复验的量化指标变化二数据资产独立成域，涵盖权属管理、价值评估与资产运营变化三L2成为最低准入门槛，L4明确要求人工智能赋能数据治理变化四数据应用更名数据应用流通，新增外部数据管理能力项治理市场的现状与规模市场高速增长，落地依然浅层——治理的鸿沟就是机会所在。920亿元国内数据治理市场规模同比增长31.2%11985家DCMM贯标企事业单位完成贯标评估30.9%企业业务部门深度参与率参与数据治理三大核心堵点主数据口径不统一，制约企业入表合规的核心里程碑。数据质量不可量化，成为制约企业入表合规的关键瓶颈。资产目录不清晰，同为制约企业入表合规的核心堵点。治理落地的四个动作以治理四动作给出可执行抓手，并以中国电信案例展示甲方到乙方的能力跃迁元数据管理让每份数据的来源与含义清晰可查建立数据资产目录，统一检索入口数据资产可查可溯数据血缘追踪问题发生时快速定位根源，精准溯源打通上下游链路，明确数据流向关系快速定位链路清晰质量监控保障数据可用，及时预警异常波动建立校验规则与评分机制持续迭代质量保障及时预警标准化规范统一口径命名，确保数据一致可比避免报表打架，消除口径冲突统一口径规范命名CHAPTER质量闭环质量是采集的生命线从六大维度到全生命周期管理，构建质量闭环。04数据质量的六大维度DAMA定义数据质量六大核心维度：准确性、完整性、一致性、及时性、唯一性、有效性准确性数据值尽可能接近真实世界事实，如商品售价不得超出定价范围完整性所有必需字段都存在，如客户表姓名、手机号不能为空一致性不同系统间的数据逻辑统一，如CRM与ERP中的客户ID必须一致及时性数据在需要时可用且反映最新情况，如订单数据实时同步维度之外的扩展与溯源维度是质量工作的测量标尺，标尺选对了，改进才有方向。维度体系保持开放——六到十二个核心维度被广泛采用的同时，组织可依业务需要自定义专属质量维度。IBM扩展维度六大核心维度之外，ibmwatsonx.dataintelligence提供

符合性、覆盖率、同质性

等扩展维度可通过数据合同（odcs）规则自动评估，实现持续监控学术溯源RichardY.Wang与DianeM.Strong教授于

1996

年论文《超越准确性》中正式提出维度概念，最初确定

15

个维度演进结论概念持续演进，目前

六到十二个

核心维度在行业实践中被广泛采用维度不是封闭清单，组织可根据业务需要定义专属质量维度质量的评价标准与方法评价依据团体标准《数据要素

数据质量评价指南》T/ZGCMCA004—2024团体标准《数据质量评估规范》T/SDDITAI9112-2024三种检核方式系统检核预设规则脚本自动检测人工检核复杂逻辑与语义判断抽样检查海量数据的质量推断四级质量等级依据《数据质量评估规范》划分，实现标准化评价质量报告包含各维度得分、问题汇总与改进建议，作为治理与优化依据质量管理的全生命周期闭环数据质量管理（DQM）是对数据从计划、获取、存储、共享、维护、应用到消亡全生命周期的系统性管理活动，核心目标是通过识别、度量、监控和改善质量问题，提升数据的可靠性、完整性与一致性。三结合落地手段技术手段数据分析与清洗业务手段规则制定管理手段组织建设与人员培训高质量数据最终为企业赢得经济效益，降低因数据问题引发的合规风险与运营风险。质量规则库的搭建路径“从维度到规则，让质量从口号变成可执行、可检查的动作。”维度→指标体系→规则库→规则属性4层维度是质量体检指标指标体系将维度转化为可量化、可监控的指标规则库沉淀标准化质量规则规则属性定义每条规则的适用范围与执行方式量量化示例完整性业务对象完整性：要求35人信息缺一不可一致性关联一致性：订单总额=所有子订单金额之和+运费时时效性示例实时电商订单数据需实时同步，日志采集时间与系统时间差不超过5分钟◆从维度到规则，让质量从口号变成可执行、可检查的动作。CHAPTER落地展望从采集到资产从数据中台落地到采集Agent，看见采集的未来。05数据中台的功能三层中台不是管数据的仓库，而是让数据持续被调用的能力平台。数据中台功能架构分三层：数据资产层、工具平台层、数据应用层数据中台功能架构分三层01数据资产层解决数据分类、确权、估值问题，让数据变成可管理、可复用的资产02工具平台层提供覆盖全生命周期的生产力工具箱，涵盖接入、清洗、加工到服务化03数据应用层实现数据价值变现，从报表大屏、分析挖掘到推荐、风控等数据产品数据中台的核心不是管理，而是让数据流动起来、用起来数据中台的技术五层从数据采集到服务输出，构建端到端数据治理链路；用湖仓分层承接存储，用双架构对照定义计算策略。中小规模企业优先选

Lambda

架构，落地风险更低层五层架构采集数据源接入存储低成本原始留存计算批流引擎处理治理质量与安全服务统一能力出口模六大核心模块采集接入多源汇