金融业务跨平台数据共享与处理.pptx

,金融业务跨平台数据共享与处理,第三方支付业务的风控场景,Serverless FunctionCompute,计算引擎互通 LOG+OSS,异构数据处理 FunctionCompute,风控存储与访问 FunctionCompute+TableStore,合作单位 金融机构,网络渠道,对象存储,函数计算,表格存储,对象存储,数据湖存储,大数据处理,日志采集分析,风控业务查询,风控查询,交易风控数据的海量存储与多种离线计算处理,基于OSS的交易风控数据存储与处理,推荐原因,文件数目、容量无限制 EB级的存储服务 11个9的可靠性设计 同城3AZ容灾 跨区域复制、异地容灾 容量、性能横向扩展 Select支持查询条件下推,交易记录,日志记录,阿里云日志服务无缝集成 标准/低频/归档多种类型 生命周期管理自动转换 数据规模无缝扩展 稳定，高可用 同城、异地容灾能力 11个9的可靠性设计,计算存储分离，架构灵活 Hadoop原生支持OSS TCO成本更低 阿里云计算产品深度融合 弹性扩展，按量付费 容灾能力、强安全、高可靠 Select条件下推提升性能,对象存储OSS 阿里云分布式对象存储服务,易用 简单易用，REST API 无缝与计算服务集成,海量 单个文件最大48.8TB 文件数量无限制 容量和处理能力弹性扩展,高可靠 多重冗余备份 11个9的可靠性设计,强安全 RAM、加密等多层次安全防护 跨区域复制、异地容灾机制,低成本 总体TCO更低 多种存储类型，优化存储 生命周期成本,在线服务,LogHub,数据通道,移动设备,数据源,OSS无缝对接多种计算处理引擎,OSS 标准型,Hadoop官 方 支持OSS OSS 归档型,海半 量结 非构 结化 构数 化据,对象存储OSS,SparkSQL,M-R,Hive,Presto,e,DataLak Analytics,Impala,EMR,函数计算,Max,Compute,Pig,数据处理链路,企业伙伴,金融机构,文件上传,文件上传,用户,管理员,用户交易详情 监管查询,日志记录,函数计算 计算引擎,风控引擎,对象存储OSS,标准型 生命周期管理 归档型 数据存储池交换、处理、归档中心存储池 事 件 触 发 实时转换,交互式查询分析,表格存储,明细数据库,风控数据库,Spark SQL,Spark,DataLakeAnalytic s 大数据分析引擎,MaxCompute,日志服务,交易文件,交易明细表：trade_final,*c_userid STRING COMMENT 用户ID，主键 *d_dealdate STRING COMMENT 申请时间，主键 c_businflag STRING COMMENT 业务代码, d_cdate STRING COMMENT 确 认 日 期 , d_date STRING COMMENT 申 请 日 期 , l_serialno STRING COMMENT 申 请 序 号 , c_agencyno STRING COMMENT 销售商编号, c_netno STRING COMMENT 网 点 编 号 , c_fundacco STRING COMMENT 基金账号, c_tradeacco STRING COMMENT 交易账号, c_fundcode STRING COMMENT 基金代码, c_sharetype STRING COMMENT 份额类别, f_confirmbalance DOUBLE COMMENT 确认金额, f_tradefare DOUBLE COMMENT 交 易 费 , f_backfare DOUBLE COMMENT 后收手续费, f_otherfare1 DOUBLE COMMENT 其他费用1, c_remark STRING COMMENT 备注,开户信息： userinfo u_userid STRING COMMENT 用 户 ID, u_accountdate STRING COMMENT 开户时间, u_gender STRING COMMENT 性别, u_age INT COMMENT 年龄, u_risk_tolerance INT COMMENT 风险承受能力，1-10，10为最高级, u_city STRING COMMENT所在城市, u_job STRING COMMENT工作类别， A-K, u_income DOUBLE COMMENT年收入(万),MaxCompute处理OSS数据,SQL查询,1.创建OSS外部表（ /consolenew#/ ） 2.SQL查询,实验：DataLakeAnalytics on OSS,企业伙伴,金融机构,文件上传,文件上传,交易查询,数据存储池数据交换、处理、归档,监管查询,监管查询,日志记录,对象存储OSS,标准型 生命周期管理 归档型,交互式查询分析,用户交易详情 DataLakeAnalytics,日志服务,交易文件,异步查询结果导入OSS,日志数据采集与分析对接,日志服务介绍,日志数据接入分析与数仓对接,功能体验,日志数据需求,1,异构日志内容 存储方式多样 分布各种设备环境,2,3,统一存储读取 实时查询分析 分析结果可视化,对接其它存储 对接计算引擎 支持开源生态,日志服务,数据 生态,能力,视图,Log Search/Analytics:查询与实时分析,LogHub：数据实时采集,LogShipper：数据仓库投递,数据清洗 监控与报警,- 机器学习与迭代计算,数据仓库 + 数据分析 审计,- 推荐系统,LogHub：对接流计算 与 自定义处理,离 线 分 析 ： EMR/Hadoop/Presto/Hive /Spark/MaxCompute,流 计 算 ： Storm/Spark/Flink/Blink ARMS/CloudMonitor/FC,可 视 化 ： Tableau/JDBC/Grafana DataV/Zipkin,转 储 ： OSS/TableStore/Histore /Hbase/RDS/PG/ETL,日志服务,Shipper：数据仓库投递对接 Search/Analytics：实时日志查询分析 Storm/SparkBlink/Flink Function Compute 自定义处理 Java/Python/C+,日志采集方式,安恒、Splunk、ELK等,Third party,User Code,Ali Cloud,Open Source,Logtail,C Producer Android/IOS,各语言SDK Log4J/LogBack SLB/OSS/RDS 等云产品日志,通过IOT、智能设备、ECS、容器、移动端以及各类云产品等接入实时数据（例如Trace、Metric、 TextLog、Click、OSS访问日志、SLB访问日志等）进行查询分析与可视化，并支持对接数据仓库,查询分析与可视化,实时、大规模查询索引服务，支持PB/天索引处理能力，秒级实时查询，并能支持无限存储时长，同时提供数值、区间、 文本、模糊、上下文和SQL语法统计功能。除此之外，提供各类地图、三维图、动态图等结果可视化方式。,1.访问日志=2.应用日志=3.上下文,1,2,3,数仓对接,OSS,MaxCompute,E-MapReduce,HybridDB,稳定、高吞吐托管化服务，将日志中枢（LogHub）中数据投递至各类存储服务，支持压缩、自定义 Partition、以及行列等各种存储方式 计算流 数据流 DataLakeAnalytics 开源计算工具,演示架构,访问日志,数据湖存储,大数据处理 对象存储,日志服务,Logtail,查询分析 仪表盘可视化,金融异构报文处理和分发,1 2 3,金融异构数据特点,函数计算解决方案,示例代码讲解,金融业务异构数据和风控流向图,金融机构 证券交易 企业报表,对象存储,表格存储,对象存储,数据湖存储,大数据处理,交易报文,函数计算,交易报文,函数计算,风控信息查询,表格存储,金融行业异构数据特点,报文数据 特点,数据链路长,文件格式多样,传输有明显波 峰,文件大小不一,金融行业异构数据特点 1、来源机构较多，报文格式不一 2、无法预计传输文件大小 3、传输文件峰值和低谷明显 4、系统架构链路较长，从传输、存储、 计算、分析,对象存储,表格存储,对象存储,数据存储,函数计算,金融机构,报文上传/数据查询 对象存储的PUT/POST 接口上传报文数据到对 象存储,对象存储触发 设置触发器的条件,函数计算处理 CSV文本格式处理函数 数据存储到表格和对象 存储,数据查询 数据汇总和存储 调用大数据分析返回结 果并透传给函数计算,函数计算处理异构报文解决方案,文件上传,事件 触发,数据 存储,表格存储,函数计算,数据查询 企业单位访问风控系统 风控系统通过HTTP请 求,HTTP触发器配置 设置HTTP触发器,函数计算处理 请求表格存储，获取风 控信息,数据查询 返回查询结果,企业单位,风控查询,函数计算查询风控信息方案,HTTP触发器,请求数据,风控查询系统,动手实验步骤,第一步：开通服务,开通函数计算,开通表格存储,开通对象存储,第二步：设置服务,设置函数计算,设置表格存储,设置对象存储,第三步：编写代码,异构数据处理,风控信息查询,演示效果,演示上传代码,演示查询风控 信息查询,函数计算产品特点,无服务器架构 （Serverless架构）,事件触发 （事件源丰富）,超弹性 （毫秒环境扩容）,粘合剂 （打通多款产品）,百毫秒计费 （节省30%费用）,一句话概括：函数计算是提供了一个无服务器的执行环境，用户只需要上传代码就可以运行代码，过程中 用户不需要关心执行环境。,函数计算近期功能发布,提供VPC功能：通过函数计算可以访问用户自定义的VPC环境，能安全高效的访问RDS、 ECS应用等 推出代码多版本功能：能让开发者设置多种版本，解决发布和预发布以及灰度上线问题 推出HTTP触发器：能让用户通过HTTP请求轻松调用函数执行 推出环境变量功能：方便开发者存储公共敏感信息 推出CDN触发器：能让用户可以定制CDN数据刷新、CDN访问日志下载、CDN数据预热 等消息,交易风控数据的海量存储于实时访问,需求与挑战,表格存储介绍,课程实例,需求与挑战,1,2,数据规模 全民参与，日交易记录达到传统关系 型数据库的单表上限 主库压力&运维代价均需降低,访问并发 促销、新产品发售等活动会让数据库 访问并发暴增 弹性资源，自动伸缩，避免资源浪费,3,4,性能稳定 无论是PB级数据规模，亦或百万级访 问并发，读写请求延时稳定可预期 风控查询需要小于10ms,可用可靠 数据高可靠，数据高可用 部分故障不能导致业务中断，不丢失 数据,表格存储 阿里云自研分布式NoSQL数据库服务,规模无缝扩展 表大小无限制 自动sharding 分裂合并秒级完成,高性能 单行写入毫秒级延迟 单机可支撑5万以上TPS,数据模型灵活 单行列数和大小无限制 多版本 数据过期,完全托管服务 零系统运维 监控集成 完全支持RAM安全体系,高性价比 预留+按量，费用低 多种实例规格,场景优势,推荐运营,单表10PB数据 万亿记录 稳定的读写性能 交易高峰访问并发大 数据多版本 双集群、双活灾备方案,交易记录,风控数据,毫秒级读延时 百万级并发读写能力 数据生命周期管理 数据规模无缝扩展 稳定，高可用 大数据引擎直读直写,Schema Free结构 毫秒级读延时 数据规模无缝扩展 热点秒级迁移 弹性资源，按量付费 大数据引擎直读直写,表C,表A,表D,表格存储,在线服务,LogHub,数据通道,移动设备,数据源,Max Comput,SparkSQ,Hive,直读直写,表B,表格存储的离线计算,DataLake e Analytics L,表C,表A,表D,表格存储,在线服务,LogHub,数据通道,移动设备,数据源,表B,表格存储的实时计算,spark 流计算,storm,开放搜索,函数计算 自定义应用,EMR,实时数据,聚合计算,全文索引,实时构建,增量数据 实时获取,异常报警,用户画像,实时聚合,全文检索 舆情分析,多维查询,跨区域复制,数据备份,自定义分析,可视化展示,课程示例,实时转换,企业伙伴,金融机构,文件存储,文件上传,用户,OSS 数据交换中心,函数计算 Serverless计算引擎,管理员,用户交易详情,文件上传 交易文件,事件触发,大数据分析引擎,明细数据库,风控数据库 表格存储,风控引擎,数据处理链路,MaxCompute DataLakeAnalytics,交易明细表：trade_final,*c_userid STRING COMMENT 用户ID，主键 *d_dealdate STRING COMMENT 申请时间，主键 c_businflag STRING COMMENT 业务代码, d_cdate STRING COMMENT 确 认 日 期 , d_date STRING COMMENT 申 请 日 期 , l_serialno STRING COMMENT 申 请 序 号 , c_agencyno STRING COMMENT 销售商编号, c_netno STRING COMMENT 网 点 编 号 , c_fundacco STRING COMMENT 基金账号, c_tradeacco STRING COMMENT 交易账号, c_fundcode STRING COMMENT 基金代码, c_sharetype STRING COMMENT 份额类别, f_confirmbalance DOUBLE COM