小源数据平台规划ppt课件.pptx

小源大数据组 数据部 第1页 目录 第2页 业务现状 企业信息化 多趣短信 JIRA 情景弹窗 丰富气泡 智能卡夹 Wiki jira户部管理系统短信公众号管理脚本管理销售平台 短信公众号菜单 第3页 数据用户部门 第4页 数据现状 数据总量30TB 日增量超过300GB 30亿行入库OSS时效 2小时格式化分拆数据7小时 数据 第5页 现数据平台技术架构 hbase OSS 存储层 计算层 Sparkstreamming RDSmysql spark SQL 应用层 自研报表系统j2ee ext Hadoophdfs 接口 小时log文件 RDD phoenix 第6页 面临的问题 数据量大 30亿行 数据访问难度大数据结构复杂 第7页 目录 第8页 数据平台实施方法论 前期准备 业务调研 信息探索 逻辑模型设计 总体方案 项目计划 系统体系架构设计 数据库与模型设计 接口与ETL设计 应用于界面设计 数据管控设计 系统开发与单元测试 上线部署 用户培训 试运行 分析规划 设计实施 上线部署 运行维护 ETL过程 数据管理 分析处理 运行监控 仓库管理 应用切换 持续改进提升价值 第9页 阿里云系架构逻辑 Hadoop集群总共300台 数据获取 数据平台 应用层 数据源 RDS OSS ascii文件 点击流 INFO DataHubFluentd插件 实时流 ODS 原始数据 DM 集市主题 统一门户 DW 清洗转换 开发套件 DataIDE 统一接口 元数据管理 数据质量管理 数据安全管理 用户 BI报表 机器学习 OLAPADS DataV 采云间后端 ODPS 第10页 实时日志文件 http请求 ODPS 客户端 实时数据 ECS SLB 采云间 数据收集 数据存储 数据处理 非本期实现 采云间 ODPS插件 数据流程 11 数据逻辑分层 5 DIM层 维表 第12页 模型规划 业务概念 企业 号码 情景 服务 消费 访问 渠道 用户 选择 产生 导向 参与 产生 使用 使用 第13页 企业 dw dm 企业号统计 ods 与接口源系统结构数据信息一致 收入成本 户部信息 企业菜单 模型规划 服务 用户 营收分利 流量分利 用户识别 用户终端 企业号识别 归属地查询 渠道 情景配置 情景识别 车次查询 H5埋点 菜单展示点击统计 菜单更新统计 用户标签 用户周 月累计去重汇总 情景更新 客户端行为埋点 Sdk统计 用户服务使用 第14页 指标体系 第15页 数据处理 一般数据拆分 接口采用高扩展的JSON格式入ODPS 使用json函数分拆后丢弃json数据普通数据映射为二维表入ODPS 16 数据可视化 数加BI报表 数据源 绑定控件的报表设计模式 17 数据可视化 数据分析 基础数据构建完善后 Enable人人皆分析师 18 数据处理 复杂数据处理 自定义函数 招拆招 UDF自定义函数 MapReduce JavaSdk python 19 数加管理运维体系 任务概述 任务监控 数据流程 任务运维 第20页 一阶段数据接口 第21页 关键名词解释摘要 下游厂商 另外名称渠道 魅族 联想 TOS 一加等 上游企业 对应短信的主体中国银行 支付宝 短信情景 对应某条短信的内容进行解析 预定的规则则匹配对应的功能或者服务 户部 如户部中有中国移动 广东移动等 情景ID后3位的只有中国移动 服务 某个情景对应的服务内容 充值 购买等 当前服务类型有 01发短信 02打电话 03打开网址 04打开地图 05充值 06还款 07其它服务类型 08复制验证码 09打开应用 10日程提醒 11水电煤 12流量订购 13物流查询 14航班查询 15分期付款 16列车时刻 17附近网点 18生活服务 ICCID ICCID Integratecircuitcardidentity集成电路卡识别码 固化在SIM卡中 ICCID为IC卡的唯一识别号码 共有20位数字组成 分别介绍如下 前六位运营商代码 中国移动的为 898600 898602 中国联通的为 898601 898606 898609 中国电信898603 IMEI InternationalMobileEquipmentIdentity 移动设备国际识别码是手机的唯一识别号码 第22页