统一日志采集服务埋点规范文档

统一日志采集服务埋点规范文档一、总则（一）目的规范。为统一日志采集服务埋点标准，提升系统监控效能，本规范旨在明确埋点要求、实施流程及管理职责。（二）适用范围。本规范适用于公司所有业务系统及第三方系统接入统一日志采集服务的埋点开发与维护工作。（三）基本原则。埋点实施应遵循“必要采集、准确记录、安全合规、高效传输”的原则，确保日志数据的完整性、有效性及安全性。二、埋点类型与规范（一）核心指标定义。埋点类型分为基础埋点、业务埋点及异常埋点三类，具体定义如下：1.基础埋点：系统运行状态、页面访问等基础数据采集。2.业务埋点：用户操作行为、交易流程等核心业务数据采集。3.异常埋点：系统错误、用户报障等异常情况记录。（二）埋点参数标准。各类型埋点必须包含以下标准化参数：1.请求ID：唯一标识本次请求的字符串。2.时间戳：精确到毫秒的请求发生时间。3.用户ID：当前操作用户的唯一标识（匿名处理需符合隐私政策）。4.渠道来源：用户来源渠道信息（如H5、小程序、App等）。5.设备信息：操作系统、设备型号等终端信息。（三）采集频率限制。基础埋点采集频率不得超过5次/秒，业务埋点不得超过2次/秒，超出频率需进行限流处理。三、埋点实施标准（一）开发实施流程。1.需求提报：业务部门填写《埋点需求申请表》，明确采集目的及参数。2.技术评审：研发中心对需求进行技术可行性及必要性评估。3.埋点开发：开发人员依据规范完成埋点代码开发。4.单元测试：测试人员对埋点功能进行功能及性能测试。5.上线验证：生产环境部署前需进行小范围灰度验证。（二）代码实现规范。1.埋点工具：统一使用公司提供的Logtail埋点框架，禁止使用第三方自研框架。2.代码注入：埋点代码必须封装在独立JS文件中，禁止直接嵌入业务代码。3.异常处理：埋点代码需包含异常捕获机制，确保采集失败时能重试或记录错误。（三）性能要求。1.资源占用：埋点代码执行时间不得超过50ms，内存占用不超过5KB。2.网络传输：日志数据传输需采用GZIP压缩，传输协议使用HTTPS。3.响应影响：埋点执行不得阻塞页面渲染，用户体验延迟不得超过100ms。四、埋点管理机制（一）组织架构。1.日志管理组：负责埋点规范的制定与监督执行。2.技术实施组：负责埋点工具开发及技术支持。3.业务对接组：负责与业务部门需求对接。（二）变更管理。1.版本控制：所有埋点代码需纳入Git版本管理，分支命名规范为"feature/埋点类型-模块名"。2.变更流程：埋点变更需经过代码评审、回归测试及生产验证三级流程。3.历史追溯：变更记录需完整保存，包括变更内容、执行人及时间。（三）质量监控。1.日志审计：每日对埋点数据抽样审计，确保采集准确率不低于98%。2.异常告警：设置埋点失败告警阈值，异常超过5分钟需人工介入。3.性能监控：定期检测埋点执行性能，确保符合性能要求。五、埋点应用场景（一）页面访问埋点。1.必须采集：首页、支付页、订单页等核心页面。2.参数要求：需包含页面名称、访问时长、跳出率等指标。3.异常处理：页面加载超时需记录异常日志。（二）用户行为埋点。1.核心操作：点击、提交、搜索等关键操作需埋点。2.参数要求：需记录操作类型、操作值、完成时间等。3.热力图采集：对高频操作可配置热力图埋点。（三）异常埋点配置。1.全局异常：系统崩溃、API超时等需统一捕获。2.业务异常：表单校验失败、权限超限等需专项记录。3.复现机制：异常日志需包含完整调用链，支持快速复现。六、安全与隐私保护（一）数据脱敏。1.敏感信息：身份证、手机号等直接采集需进行脱敏处理。2.脱敏规则：姓名脱敏保留首字，手机号脱敏保留前3后4。3.采集限制：禁止采集用户密码、支付密钥等核心敏感信息。（二）权限控制。1.日志访问：仅授权人员可访问生产日志，访问需记录操作日志。2.数据导出：日志导出需经审批，导出数据需做时效限制。3.权限分级：按部门、业务线设置不同日志访问权限。（三）合规要求。1.隐私政策：埋点实施需符合《个人信息保护法》要求，明确告知用户。2.用户控制：提供用户隐私设置入口，支持关闭非必要埋点。3.法律合规：涉及跨境传输需符合GDPR等国际法规。七、附则（一）文档更新。本规范每年修订一次，重大变更需即时发布。（二）培训要求。新员工入职需接受埋点规范培训，考核合格后方可参与开发。（三）奖惩机制。对规