数据源获取与管理图解报告撰写课件

数据报告数据源获取与管理图解报告从数据源到数据资产的完整方法论2026年09月课程导览01数据源全景图谱厘清类型分类，建立认知基线02数据获取方法掌握采集技术，优化选型策略03数据质量管理建立评估维度，守住数据生命线04数据治理体系构建DAMA与DCMM双框架05趋势与展望洞察AI原生治理新方向CHAPTER01数据源全景图谱认清数据源，是一切数据工作的起点从生成机制到时效特征，全面拆解数据源类型数据获取的三大来源世界上本来没有数据，一切数据都是人为的现实世界测量获取传感器、服务器日志、摄像头、RFID等方式获取形态结构化、半结构化与非结构化数据共存特征规模极大、更新极快，但价值密度较低规模大更新快价值低人类记录获取ERP、CRM等业务系统录入的数据形态以结构化形式存在、模式清晰特征数据质量较高、价值密度大结构化高价值计算机生成获取通过程序模拟生成，例如动态模拟城市交通从而生成噪声与流量数据特征规模与更新速度可控、质量高、语义明确可控高质量语义明确三类数据源特征对比数据来源数据形态数据质量价值密度现实世界测量结构化与非结构化共存参差不齐较低人类记录以结构化为主较高较大计算机生成模式固定很高视程序而定不同来源的数据，质量与价值密度差异显著，治理投入应有取舍一手数据与二手数据一手与二手数据：采集主体不同，治理策略各异01数据来源一手数据研究者亲自收集，含问卷调查、实验设计、访谈、实地调研优势针对性强、结构可按研究目的设计劣势成本高、耗时长针对性强成本高02数据来源二手数据已存在的数据资源，含政府统计年鉴、人口普查、上市公司财报、学术数据库优势获取成本低、覆盖范围大局限口径可能与研究问题不匹配成本低覆盖广数据源的存储与访问形态计算机数据源vs文件数据源存储方式不同二者存储信息的方式不同使用方式差异两者使用方式也存在差异信息相似二者包含相似信息数据源对比数据虚拟化不迁移原始数据集成数据库、应用系统及文件系统等异构源统一访问接口对外提供统一的数据访问接口异构集成数据订阅API持续接入利用API接口实现对社交媒体等平台的持续数据接入实时更新同步保障信息的实时更新与同步实时同步CHAPTER02数据获取方法选对方法，事半功倍从传感器到API，掌握主流采集技术数据采集的两大模式拉与推，决定了数据流动的方向拉与推，决定了数据流动的方向—数据采集概述基于拉的方法主动获取数据由集中式或分布式的代理主动获取关键步骤需求识别方案设计周期性采样数据清洗与存储基于推的方法主动推送数据由源或第三方推向数据汇聚点资源约束网络带宽、传感器结点能量、网站令牌等资源有限，需在有限资源内实现有价值数据最大化四种常用采集方法传感器采集获取物理世界信息，如温度、水位、风速、压力等物理量日志文件采集获取数字设备的运行状态信息网络爬虫采集获取互联网上的公开信息人工录入采集将人所了解的信息转化为计算机可识别的数据API与爬虫六维对比对比维度爬虫API接口数据形态网页原始代码，需自行清洗结构化数据，免清洗入库抗改版页面改版即失效不受前端改版影响风控易封IP、封账号官方合规通道频率管控需自行控制自带缓存与限流合规性存在侵权风险调用链路合规拓展性每换页面需重新适配调用格式统一，复用便捷长期做数据监控，优先选API而非死磕爬虫。API调用的四个步骤1发现目标API官方开发者平台·API聚合市场·浏览器网络抓包分析2申请密钥与权限注册开发者账号，创建应用获取

AppKey

与

AppSecret，并配置所需权限范围3授权调用多数现代API采用

OAuth2.0

授权，先获取访问凭证再发起请求4结构化解析存储API直接返回

JSON

或

XML

数据，解析后即可入库合规价值：规避违反

Robots协议

与

服务条款

的法律风险，同时获得一手官方数据。代理技术选型建议把复杂的调度工作交给服务商选型建议：刚入门的新手或需要高并发的项目，建议优先选择隧道代理，把精力留给数据解析逻辑。01代理类型API提取代理服务商返回一批IP地址，需自建IP池并自行维护失效与过期。自由度极高，但较为折腾。02代理类型隧道代理服务商只提供一个固定入口地址，云端在幕后自动将请求转发到不同IP。即插即用、代码极简。CHAPTER03数据质量管理质量是数据的生命线六大维度守住数据可信底线数据质量六大核心维度数据质量维度提供了衡量数据可信度和可用性的结构化方法准确性数据在多大程度上代表真实世界的实体或事件，可否依据可信来源验证完整性所有必需的数据值是否都存在且已填充一致性跨系统、跨数据源之间数据的表述与数值是否统一及时性数据在需要时是否可用，是否反映了最新的情况六条规则拦住九成脏数据这六条规则，是数据质量的守门员6条规则，拦住九成脏数据完整性user_id空值率≤1%，守住数据的数量关有效性身份证18位、邮箱含@、枚举值在清单内，守住数据的格式关准确性系统员工数vs实际人力统计，内容真实才是关键一致性订单总价vs促销计算总价，跨系统关联对比完整性约束主外键防孤儿数据，订单用户ID必须在用户表存在及时性数据

5分钟

送达，超过

10分钟

未到即触发告警八大评估维度与评价方法八大评估维度准确性完整性一致性唯一性时效性可访问性可理解性相关性多维度得分通过

加权评分法

汇总，结合权重分配得出综合评分数据检核方式系统检核通过预设规则脚本，对大规模数据进行自动化检测人工检核用于复杂逻辑或语义判断场景，弥补规则无法覆盖的盲区抽样检查适用于数据量庞大时的质量推断，以样本代表整体数据质量评价标准与报告现行标准：两项团体标准并行，构建评价体系01团体标准《数据要素

数据质量评价指南》构建完整的评价指标体系与实施流程02团体标准《数据质量评估规范》明确四级评分等级及其应用要求评价报告构成数据基本信息评价范围与检核规则各维度得分问题汇总及改进建议报告用途：作为数据治理与持续优化的直接依据数据清洗六步法1审查数据问题识别缺失、异常、重复等各类质量问题2处理缺失值采用均值填补等方式补全关键字段3识别异常通过箱线图等工具检测并标记异常值4去重剔除重复记录，保障数据唯一性5标准化格式统一数据格式与编码，如日期统一规范表达6验证结果确认清洗效果是否达成预期目标CHAPTER04数据治理体系治理不是技术活，是体系工程DAMA与DCMM双框架落地路径DAMA数据管理框架数据管理是围绕数据全生命周期，定规划、建制度、跑流程、做实践的持续过程DAMA数据管理框架：不是技术标准，而是全面的数据管理体系方法论由

DAMA

国际发布1.0·20092.0·20173.0·进行中定位DAMA

国际数据管理协会发布《数据管理知识体系指南》全球最具权威性的数据管理框架之一核心价值全面的数据管理体系方法论帮助避免治理工作碎片化覆盖范围涵盖数据从产生、存储、处理到应用、消亡的全生命周期版本演进1.02009年2.02017年3.0进行中DAMA车轮图与六边形图数据治理位于中心，其余职能围绕其展开，凸显其在所有数据管理活动中的核心指导作用数据管理不是孤立的技术工作，而是受组织内外部多种因素影响的系统性工程车轮图：数据管理十大职能数据架构数据建模与设计数据存储与操作数据安全数据集成与互操作文档与内容管理参考数据与主数据数据仓库与商业智能元数据管理数据质量六边形图：七大环境要素目标原则组织文化角色职责活动技术工具交付成果人员治理的本质是决策权与问责治理核心不是工具与标准文档，而是权威决策与责任归属治理的本质是回答谁有权针对数据做什么决定，谁对数据结果承担责任治理本质数据所有者业务角色，承担业务决策责任谁有权决定谁担责驱动因素数据管家负责日常落地、定义业务术语、协调数据问题是治理落地的关键载体DCMM国家标准概览标准定位数据管理能力成熟度评估模型，我国数据管理领域国家标准2026年7月1日DCMM2.0正式实施同期DCMM1.0退出历史舞台能力域扩展8→9个能力域新增1个新增数据资产能力域，覆盖权属管理、价值评估、资产运营指标升级28→33个能力项新增5个486项评估指标四大变化从定性判断转向量化度量数据资产独立成域数据应用升级为应用流通安全域重组合规防护审计DCMM两代版本演进对照评估逻辑从给人感觉做到了升级为能用数据证明做到了两代版本关键维度对照维度1.0版本2.0版本能力域数量8个9个能力项数量28个33个评估指标数441项486项最低准入门槛无明确规定L2受管理级AI要求无L4引入人工智能等技术准入门槛AI要求两代版本规模对比维度1.0版本2.0版本能力域数量8个9个能力项数量28个33个评估指标数441项486项最低准入门槛无明确规定L2受管理级AI要求无L4引入人工智能等技术关键差异项：准入门槛、AI要求DCMM五级成熟度初始级数据分散在各业务部门，无统一标准和专人管理，仅能满足基础记录需求。基础记录受管理级核心业务部门建立基础数据规则，能解决数据对不上的问题，是评估的最低准入门槛。最低准入门槛稳健级建立覆盖全公司的统一数据管理体系与跨部门治理机制，是市场申报量最大的主流等级。主流等级量化管理级建立完整的数据度量体系，能够量化业务效果、监控质量问题，数据真正成为生产要素。生产要素优化级数据体系具备自我迭代、动态优化能力，代表国内数据管理的顶尖水平。顶尖水平CHAPTER05趋势与展望AI原生治理，正在重塑数据管理范式从规则驱动到智能协同的跃迁市场规模与行业痛点数据治理市场高速增长，但企业普遍面临五大现实痛点920亿元市场规模同比增长

31.2%中国信通院2026年6月监测人才短缺51%面临专业数据治理人才短缺困境能力瓶颈70%在数据整合与实时分析环节遭遇瓶颈价值转化86.2%因治理能力不足导致数据价值转化滞后数据资产化运营不足30%AI制约79%AI项目受数据质量、数据准备问题制约Cloudera2026年5月数据仓库与数据湖如何选左右双栏对比数据仓库与数据湖并非替代关系，而是分工协同——湖存全量、仓供可信01数据仓库写入时定义处理方式：先清洗建模再入库核心优势：查询性能好服务对象：业务分析师与管理者02数据湖读取时定义处理方式：原始多源数据先存储后用核心优势：灵活性高服务对象：数据科学家与算法工程师AI原生治理成为核心方向范式转变：从规则驱动到AI原生，治理能力不再被人的天花板所限制DataAgent4项感知Agent自动拆解任务诊断Agent构成协同网络执行Agent自动拆解任务并验证效果验证Agent共同协同完成任务语义底座3项标准映射方法论从人遵循的规范，升级为AI理解并执行的语义底座质量规则自动提取生成质量规则血缘关系自动维护血缘关系趋势预测IDC60%中国500强企业将部署数据治理DataAgent智能体2028年IDC预测的关键时间节点数据治理的未来展望三大趋势数据治理正从"存好"迈向"用好"，三大趋势重塑平台价值。“数据管理的终点不是存下来，而是用起来，让每一份数据都值得信