数据分析师数据采集与清洗标准流程模板

数据分析师数据采集与清洗标准流程模板一、适用工作场景电商企业分析用户购买行为，需采集平台交易数据、用户行为日志及第三方行业数据；市场调研公司收集消费者问卷数据，需对回收问卷进行清洗以剔除无效样本；科研人员整合公开统计数据与实验数据，需统一格式并处理缺失值。二、标准操作流程（一）前期准备：明确需求与数据规划目标：清晰界定分析目标，避免数据采集盲目性，保证数据与业务需求匹配。需求分析会议组织方：数据分析师*牵头，邀请业务部门（如运营、产品）、技术部门（如IT、数据工程师）参与。输出物：《数据需求说明书》，明确：分析目标（如“提升30%新用户次日留存率”）；所需数据维度（如用户demographics、行为路径、转化节点）；数据时间范围（如“2024年Q1”）；数据颗粒度（如“按用户日级”“按订单单笔”）。数据源清单制定优先级排序：内部数据（企业数据库、CRM系统、业务系统）→外部数据（公开API、第三方合作数据、行业报告）。记录每个数据源的：提供方/负责人（如“内部销售系统-主管”“外部行业数据平台-接口人”）；数据格式（如MySQL表、CSV、JSON）；更新频率（如“实时”“每日”“季度”）；获取权限（如“需申请访问权限”“公开可”）。（二）数据采集：多源数据获取与初步存储目标：按照需求清单准确、合规地获取数据，并建立可追溯的存储机制。采集方法选择API接口：适用于结构化实时数据（如用户行为埋点数据、交易流水），通过调用企业内部API或第三方API（如用户数据接口），使用Python的requests库或工具Postman获取，需注意接口速率限制与参数校验。数据库查询：适用于内部存储的结构化数据（如用户表、订单表），通过SQL语句提取，示例：sqlSELECTuser_id,registration_date,last_login_timeFROMuser_profileWHEREregistration_date>=‘2024-01-01’文件导入：适用于Excel、CSV等离线数据，需检查文件编码（如UTF-8）及表头一致性，避免乱码。爬虫工具：适用于公开网页数据（如竞品价格、用户评论），使用Python的Scrapy需遵守网站robots.txt协议，避免高频请求导致IP封禁。数据存储与备份原始数据存储：创建独立原始数据区（如数据库raw_dataschema、云存储raw_bucket文件夹），按“来源_日期_版本”命名（如sales_20240520_v1.csv），避免覆盖。元数据记录：填写《数据采集记录表》（见“核心工具表格”），记录采集时间、来源、方法、数据量（如“10万行”）、负责人（*工程师），保证数据可追溯。（三）数据清洗：质量提升与标准化处理目标：识别并修复数据问题（缺失、异常、重复、格式不一致），保证数据准确、完整、可用。1.数据质量评估工具：Python（pandas库）、SQL、Excel数据透视表。评估维度：完整性：检查关键字段（如用户ID、订单金额）缺失率，若缺失率>20%，需重新采集或与业务方确认是否可填充。准确性：通过业务规则校验（如“订单金额必须≥0”“用户年龄需在0-120岁”），标记异常值（如年龄为“999”）。一致性：跨表关联字段（如“用户ID”）是否一致，文本字段大小写是否统一（如“北京”与“北京市”）。唯一性：检查重复记录（如完全相同的用户行为日志），基于唯一标识字段（如event_id）去重。2.分步清洗操作步骤1：缺失值处理少量缺失（<5%）：用均值/中位数（数值型）、众数（分类型）填充，或用业务逻辑推断（如“用户首次购买日期缺失，可注册日期填充”）。大量缺失（>20%）：若字段分析价值低，直接删除；若重要，标记为“未知”并记录处理方式。示例代码（Python）：df[‘age’].fillna(df[‘age’].median(),inplace=True)#用年龄中位数填充缺失值步骤2：异常值处理识别方法：箱线图（IQR法则，超出[Q1-1.5IQR,Q3+1.5IQR]为异常）、Z-score（|Z|>3为异常）。处理逻辑：错误数据（如“订单金额=-100”）：联系业务方修正或删除；极端值（如“单笔订单金额=100万”）：若真实，保留并标记“高价值订单”；若噪声，删除。步骤3：重复值处理基于联合主键去重（如“用户ID+订单日期”），避免重复计算用户行为。示例代码：df.drop_duplicates(subset=[‘user_id’,‘order_date’],keep=‘first’,inplace=True)步骤4：格式标准化日期时间：统一为“YYYY-MM-DDHH:MM:SS”格式，处理“2024/05/20”“05-20-2024”等混用情况。数值单位：统一“万元”“元”等单位，避免“10000”与“10”（万元）混用。文本字段：去除前后空格，统一大小写（如“男”/“女”统一为“男”“女”）。步骤5：数据一致性检查跨表关联：检查用户表（user_id）与订单表（user_id）的ID是否匹配，删除孤立记录（如订单表中无对应用户的记录）。逻辑校验：检查“订单创建时间”是否早于“支付时间”，“退款金额”是否超过“原订单金额”。3.清洗结果验证抽样检查：随机抽取10%数据，核对清洗后是否符合质量标准（如无缺失值、无异常逻辑）。交叉验证：与业务部门确认清洗后的数据是否符合业务常识（如“新用户次日留存率提升至35%”是否合理）。（四）数据交付与归档目标：将清洗后的数据按需求交付，并完成流程文档归档，便于后续复用与审计。数据交付格式转换：根据分析需求输出为CSV、Excel、数据库表或Parquet格式（适用于大数据场景）。交付物：《数据字典》（字段名、类型、含义、示例值）、《数据质量报告》（清洗前后对比，如“缺失率从15%降至0%”）。流程归档存储：《数据采集记录表》《数据清洗日志表》与原始数据、清洗后数据统一存档至数据仓库指定目录。更新：若后续需求变更，修订《数据需求说明书》并记录版本（如“v2_20240521”）。三、核心工具表格（一）数据需求说明书分析目标数据维度数据来源格式要求负责人提升新用户次日留存率用户ID、注册时间、首次购买时间、次日登录行为内部用户表、行为日志表CSV、UTF-8编码*经理竞品价格监测竞品名称、商品SKU、价格、促销时间第三方爬虫数据JSON、按日更新*分析师（二）数据采集记录表采集日期数据来源采集方法数据量（行/条）状态（成功/失败）负责人备注2024-05-20内部订单系统SQL查询50,000成功*工程师查询耗时2分钟2024-05-20第三方行业平台API接口10,000失败（超时）*接口人已联系平台调整速率（三）数据清洗日志表处理日期数据源问题类型处理方法处理结果（行数变化）负责人备注2024-05-21用户行为日志缺失值（设备ID）用“未知”填充100,000→100,000*分析师设备ID非关键字段2024-05-21订单表异常值（金额=-100）删除异常记录50,000→49,998*分析师业务方确认系录入错误四、关键执行要点（一）数据合规性优先采集用户数据前，需保证获得用户授权（如隐私政策中明确数据用途），避免违反《个人信息保护法》；使用爬虫工具时，严格遵守网站robots协议，不得采集敏感信息（如证件号码号、手机号）。（二）质量标准前置在需求分析阶段即定义数据质量阈值（如“关键字段缺失率≤5%”“异常值占比≤1%”），避免清洗后仍不达标。（三）团队协作机制业务部门需全程参与需求确认与结果验证，避免数据分析师“闭门造车”；技术部门（数据工程师）需配合提供数据源访问权限，保证采集效率。（四）版本控制与追溯原始数据、清洗后数据、文