35、国际化架构设计摩拜国际化架构演进

1、摩拜国际化架构演进 Globalization of Smart Bike-sharing Systems 范同祥 摩拜首席架构师 范同祥(Frank) Mobike Chief Architect IBM中国研究院 融合通信、VoIP 清华大学 软件工程硕士 2004 2005 IBM中国开发中心 Lotus Software, SmartCloud 2008 人人行科技 借贷宝，FinTech 2013 海致网络 微办公、BDP、SaaS 2014 IBM/阿里系创业团队 智慧城市、汽配电商 2015 2016 2017 摩拜科技 智能共享单车、IoT Growth and Challen

2、ges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Containerization and Orchestration DevOps Toolchain and CI/CD Pipelines 骑行改变城市 9.3 7.0 2.7 2.5 Subway Bus Taxi Mobike 4.7 2.6 1.5 1.2 Bus Mobike Subway Taxi 11.1 10.0 3.5 1.6 Bus Subway Mobike Taxi 6.7 3

3、.5 1.6 1.1 Bus Subway Mobike Taxi 深圳 Shenzhen 成都 Chengdu 上海 Shanghai 北京 Beijing + Bus，Metro and now Mobike, are the three key transportation systems of the city 国际化进程 200 cities globally in 20 months 200 million registered users 30 million orders daily 7 million smart Mobikes in mobile network 30TB

4、of data generated daily 挑战与架构目标 系统复杂度不断地提升 开发迭代频率越来越快 产品质量要求越来越高 管理成本和费用成倍增加 Growth and Challenges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Service Containerization and Orchestration DevOps Toolchain and CI/CD Pipelines 国际化需求 数据合规 GDPR 用户体验 统一账号、低延

5、迟 全球化支付 多渠道、多币种 设备接入 差异化IoT通道 区域化运营 架构统一、策略灵活 开城效率 一周一城 后台10分钟配置 企业管理系统 IT/OA/BPM 安全 开发运维体验 多云统一部署 大数据平台 数据仓库、BI GDPR - General Data Protection Regulation Released in April 2016, enforce Since May 25, 2018 Its GLOBAL GLOBAL in reach! ALL ALL organizations processing information about European data E

6、uropean data subjects must comply. Fines Fines of up to 4% 4% of annual revenue or 20 millions 20 millions . GDPR includes 11 Chapter with 99 Article VS 网络安全法 7章，79条. No Technical measures, but requirement. GDPR FAQ 技术路线与原则 立足当下：快、糙、猛 着眼未来：寻求系统性解决方案 目标驱动：多、快、好、省 自下而上：苦练基本功 追求卓越：工程师文化 业务增长? Growth? 运

7、营效率? Effectiveness 用户体验? UX 商业智能? AI & BI 单元化部署? Multi-DC 大数据平台? Big Data 研发流水线? DevOps? 云原生应用? Cloud Native 物联网技术? IoT 微服务架构? Microservices Growth and Challenges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Containerization and Orchestration DevOps To

8、olchain and CI/CD Pipelines 部署架构演化 单机房 代理加速 多集群 同城双活 多机房 异地多活 多云 混合部署 CDN、Nginx方向代理 物联网接入层链路优化 容器调度、服务编排 蓝绿部署、读写分离 最小业务单元独立部署 单元内调用链封闭 架构中立 灵活应变 业务需求： 全球统一账号 系统延迟可接受 快速开城 区域化运营 技术优先级： 1. 就近接入、加速 2. 系统解耦、内聚 3. 异地多活、容灾 网络链路优化 200ms 40ms 北京 法兰克福 成都 香港 上海 硅谷 新加坡 广州 首尔 国内：40ms 东南亚：70ms 海外： 120+ms 12ms 15

9、0ms 220ms 120ms 30ms 多伦多 QCloud VPC stripe? twilio? vodafone? 多级群、同城双活 同城双可用区 接入层路由、流量调度 集群内部署全部微服务 数据访问层 DBProxy 黑石物理机+虚拟云主机 蓝绿部署 ? ? ? ? ? ? ? ? ? ? ? ? MySQL? ? ? ? ? ? ? ? ? ? ? ? MySQL? ? ? ? ? ? ? Monitoring ? ? ? ? ? ? ? ? ? 多机房、异地多活 单元化部署 物理距离决定难度 单一维度拆分 单元化改造 数据特点决定 ? ? ? CDN ? ? ? ? ? ? ?

10、? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 业务数据特点 Global DB 用户归属地信息 用户骑行状态 账户余额 多活DB 骑行记录 车辆位置 钱包明细 非多活DB 车辆运维管理 Growth and Challenges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Containerization and Orchestration DevOps Toolchain and CI/CD Pipelines 摩拜数据库生态体系 D

11、RC架构 DRC：(增量)数据复制中心 PaaS化部署 多源多目的端支持 异构数据库间同步 脚本化配置 容灾同步 多活双向同步 跨国数据中心同步 离线分析同步 DRC应用场景 Growth and Challenges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Containerization and Orchestration DevOps Toolchain and CI/CD Pipelines Spring Cloud A complete s

12、et of tools for building distributed systemsCloud native application framework Battle-tested Netflix OSS Easy for customization Easy to migrate from Spring 3.0 Revolutionary Spring Boot Java developer-friendly Netflix OSS in Production 100s of microservices 1000s of daily production changes 10,000s

13、of instances 100,000s of customer interactions per minute 1,000,000s of customers 1,000,000,000s of metrics 10,000,000,000 hours of streamed 10s of operations engineers Hystrix? Turbine? Eureka? Ribbon? Zuul? Feign? CircuitCircuit BreakerBreaker StreamStream AggregatorAggregator ServiceService Regis

14、tryRegistry LoadLoad BalancerBalancer EdgeEdge ServiceService HTTPHTTP CommunicationCommunication API Gateway - Zuul Web? Browser? Service? Consul? EdgeEdge ProxyProxy? Load? Balancer? Zone B? Zone C? Zone A? Authentication Rate-Limiting Logging Caching Transformation Web Application Firewall Auti-F

15、raud Spring Cloud Config ConsulConsul KVKV + + VaultVault? Cloud Native Stack On The Way Growth and Challenges Globalization Guidelines Multiple Data Center Data Storage & Replication Microservices Stack Containerization and Orchestration DevOps Toolchain and CI/CD Pipelines 容器化 - Docker 黑石扁平网络 Cloud Container Service 单元化部署 多级群滚动升级 按需弹性扩容 全球同服，高质量VPC对等连接 节省应用服务器成本 服务编排 Docker Swarm Docker Compose编排 Docker Swarm 部署 结合Consul DNS 本地与云端网络直连 10分钟创建独立集群 部署100+服务 持续优化开发体验 弹性伸缩 最小化集群 物理机资源池 最大容量 自动伸缩 Cloud Container Services 按需创建容器 Growth and Challenges Globalization Guidelines Mu