大数据计算服务的持续发布和演进

1、高可用大数据计算服务的持续发布和演进技术创新，变革未来大数据计算服务(MaxCompute)是一种快速、完全托 管的PB/EB级数据仓库服务。具备万台服务器扩展 能力和跨地域容灾能力，是阿里巴巴内部核心大数 据计算平台，支撑每日百万级作业规模。MaxCompute向用户提供了完善的数据导入方案以 及多种经典的分布式计算模型，能够更快速的解决 用户海量数据计算问题，有效降低企业成本，并保 障数据安全。MaxCompute1M+日任务50000+机器单机群上 万EB存储8000+开发者性能1/3 $ AmazonEMR1M+表1500+项目377s100TBsortMaxCompute2XHado

2、opMaxCompute架构盘古（ 分布式存储系统）伏羲 （分布式调度系统）MaxCompute EngineSpark APIBeamAPIHive APIMaxCompute Language流计算图计算Batch内存计算机器学习应用生态批处理计算CompilerRuntimeOptimizerFrontEndExecution EngineData communicationMaxComputeSql Script大数据计算服务提供一个365（天）x24（小时）的高可靠， 高可用的共享大数据计算服务。使用门槛大大降低，用户不用关心运维升级等共享细粒度使用资源，从而做到低成本，高效率稳定性

3、与发展之间的矛盾空中换车持续改进和发布中的挑战每天都有百万级作业。如何能够平稳安全， 用户无感知的发布新的功能？如何保证新版 本的稳定性，没有bug，没有性能的回退？ 出现问题后如何能够快速止损等等。测试和数据安全之间的矛盾。高可用服务下持续改进和发布MaxCompute Playback工具MaxCompute Flighting工具MaxCompute灰度上线，细粒度回滚编译器Playback工具我们需要快速提高我们编译器，优化器的表 达能力，性能优化水平。如何能够保证升级过程中没有大的Regression.每天有100万+个job，每天都在变化 人工分析的话，每个script仅需要2分钟

4、，需要91人年利用大数据计算平台的运算能力来自我验证新的编译优化器MaxCompute 编译器基于AST的编译器模型，Visitor模式Pluggable设计: Input/output, Meta, Logging, PlaybackIDE IntelliSense，Warning支持ABCA.col2100Syntax VerificationSemanticsAnalyzeType Bindingc1 string c2 intc1 string c2 stringc1 stringB.c2 = C.c1A.c1 = B.c1Metadata BindingLogOpGeneratorS

5、ize:2000000Size:20000Size:100Customer AST transfor merHost MaxCompute CompilerHost MaxCompute OptimizerMaxCompute Execution Engine自我验证PlaybackSql ScriptNew CompileNerw Optimiz erCustomer Sql ScriptJob Repositor yResult利用MaxCompute本身灵活数据 处理语言来构造分析任务利用MaxCompute本身超大规 模计算能力来并行分析海量用 户任务利用MaxCompute灵活的UD

6、F支持且良好的隔离方案，在UDF中拉起待测的编译器进行编译， 之后再进行详细的结果分析整个过程都在MaxCompute完 善的安全体系保护下，保障用 户的知识产权Playback工具使用进行新版本的验证精确制导找到触发新的优化规则的query，验证其查询优化是否符合预期在语义层面对于query进行整体数据分析对相应的用户发warning推动用户下线过时的语法对query整体进行分析来确定下一步开发的重点评估新版本在查询优化在执行计划上的提高程度 Flighting 工具如何保证MaxCompute运行器是正确执行的？避免在快速迭代中的正确性问题，从而避免重大的事故同时需要保证数据的安全性浪费巨

7、大调度或者scalability等方面的改进往往需要建立一个相同规模的测试集群没有相应的任务负载，无法构造对应场景数据安全问题，使得我们需要脱敏的方式从生产集群拖数据容易人为疏忽，造成数据泄露风险脱敏数据可能造成用户程序crash，并且往往不能反映用户运行场景整个测试过程冗长，不能达到测试的目的用测试集群来验证线上进行测试和验证用户99% 机器资源， 使用线上版本运行生产作业1% 机器资源， 程序员上载的测试版本进行验证MaxCompute开发者资源隔离CPU/Memory: 增强cgroup，任务优先级Disk：统一的存储管理，存储的优先级Network：Scalable Traffic ControlQuota管理所以我们能够在保障线上核心业务需求情况下进行flighting的测试数据安全不需要人工干预进行数据脱敏Flighting的任务的结果不落盘，而是直接对 接分析任务产生测试报告结果正确性：MD5计算，浮点等不确定性类型 的处理执行性能的分析：straggler，data-skew，schedule quality灰度上线时间轴Tier 30%100%0%100%Ti er 250%Tier 10%100%按照任务的重要性进行分级细粒