风胜-alisql在零售云平台实践-18页

1、AliSQL在零售云平台实践阿里巴巴高级技术专家顾风胜每日免费获取报告1、每日微信群内分享5+最新重磅报告；2、每日分享当日华尔街日报、；3、每周分享经济学人4、每月汇总500+份当月重磅报告（增值服务）扫一扫二维码关注公号回复：研究报告加入“起点财经”微信群。123零售云介绍数据同步服务全链路压测服务零售云产品架构SaaS电商 SaaS 产品零售 SaaS 产品（官方应用&服务市场）ERPWMSCRM绩效营销云中台云POS云导购云客流云互动云客服S-PaaS电商级别门店数字颗粒度手淘开放硬件框架千牛框架品牌营销定制品牌号定制智能导购智能客流智能互动云POS组件导购员组件PaaS（中台构建&业

2、务组件）C-PaaS零售服务能力开放物流中心发票中心订单中心账务中心营销中心会员中心D-PaaS电商级别数据能力数据中心策略中心数据银行T-PaaS电商级别业务稳定性业务全链路压测业务运维工作台业务全链路监控业务安全和防护B-PaaS电商级别业务灵活性Aliware奇门淘宝开放平台IaaS（基础设施&云产品）云服务器云数据库对象存储分布缓存消息服务负载均衡零售云数据同步诉求阿里中台定制 安全 订单物流聚合可靠 服务商商家会员商品交易商品实时 优惠会员仓储财务为什么不用API同步APP会员CRM订单OMS智能POS仓储分页处理不当引起数据不一致 WMS热点数据查询DB超时 交易异地多活，DB同步

3、延迟 开放平台API 网关消息通道大促交易接口限流 业务API全量API增量API详情API消息系统技术成本高，重复建设 订单延迟，丢单 商品中心业务中台会员中心交易中心数据层会员商品交易零售云数据同步解决方案业务中台开放平台服务商系统业务数据业务系统开放平台同步服务中间表ISV应用业务表阿里内网零售云零售云数据同步整体架构控制台推送服务端业务表ISV服务端推送消息服务云通道RDS推送业务 中台全量详情API网关对账任务数据分发RDS推送推送消息服务端 接收订单变更消息 获取交易全量详情 数据推送路由云通道 内外双向的RPC通讯数据分发 订单数据分发RDS推送 负责RDS数据写入API网关 对

4、账任务稳定、易用、低成本RDS ProxyRDS 中间表RDS 中间表RDS推送库与中间表设计RDS关键字段业务核心字段，用于查询过滤系统字段jdp_modified避免分页查询漏单jdp_hashcode乐观锁，减少DB操作关键字段业务连接池业务库推送连接池推送库系统字段名称类型是否索引说明tidNUMBERY交易IDstatusVARCHARY交易状态typeVARCHARY交易类型seller_nickVARCHARY卖家昵称buyer_nickVARCHAR买家昵称createdDATETIMEY交易创建时间modifiedDATETIMEY交易修改时间jdp_createdDATET

5、IMEY数据入库时间jdp_modifiedDATETIMEY数据最后修改时间jdp_hashcodeVARCHAR用来做数据校验的字段jdp_responseMEDIUMTEXTAPI返回的整个JSON BODY大字段大字段详情API返回数据(JSON) 配置需要返回的字段只需要一份SqlMap避免DDL锁表影响业务如何降低RDS写入开销必要性 RDS规格普遍比较低，给到平台的连接数有限（只有120） 分片删除以缩小区域锁 凌晨删除避免影响业务删除 只查询需要用到的数据 批量查询DB进行对账查询 平台与客户共用RDS，需要尽量少占用RDS的资源new.modified sql.modifie

6、d2尝试更新数据开始否是否新增消息是1否尝试插入数据写入成功否查询该记录在DB中的modified & hashcode写入1 区分创建和更新new.modified old.modified | new.hashcode = 是记录是否存在尝试插入数据2 不查询老数据直接更新3 数据内容相同不更新4 乐观锁避免脏数据写入尝试更新数据new.hashcode = old.hashcode是 old.hashcode 否否3 是，没有冲突 写入成功否，则重试3次 是是是优化后减少了90%的DB消耗结束否，并发更新冲突InnoDB memcached pluginMySQL ServerMemca

7、che PluginSQL APIMemcache APISQL Parse & Optimize Buffer PoolInnoDB StorageWritePage Page非主键查询主键查询主键查询QPSRead提升4倍PagePagePagePage主键查询RT 下降30%Log FileData FileData FileData FileISV全链路压测服务创建订单已付款订单已推送仓库已接单仓储流程已拣货已打包已称重已出库ERP流程已发货分单流程已客审已财审已配货ERP系统拉单服务分单处理奇门WMS系统仓内作业天猫交易ALIBABA压测系统订单推送RDS库菜鸟发货ISV自主压测的痛

8、点压测环境不真实数据构造不真实压测人力成本高压测资源成本高ISV全链路压测对接方案压测环境搭建 复用线上环境 克隆线上环境压测数据构造 推送集团全链路压测数据到RDS压测人力成本 流程化对接 可视化报表数据隔离方案 推送到独立的RDS库 根据订单ID前缀隔离寸ISV全链路压测报告:i: 2017杭州云栖大会 THECOMPUTIN GCONFERE NCEt：天 智 能 A P S A R A I N T E L L I G EN C ERDS实 例信息 CPU使用率 时间： 2 0 1 7 - 0 5-2510:23:32. II 玄时间： 30分 下发订单旮： 1 2.3 4 56.;值Q

9、1PS:30 01 单分 S:.2001分 2.402.101.80求 1.501.200.900.6011:1511:20ll:2511:3011:3511:4011:4511:5011:5512:0012:0512:1012:l S12:2012:25CPUI 网络流量 1连接数 1存储空间 I QPS/TPS IIOPSECS实例 I -1压测1Q1PS未达到预斗门 2420CPU佞拜 率 2r.审单节点 163.E:1CSJ XXXX 机器CPU凸 m过 后 求 124RDS存在漫SQ匕 具体慢SOL诊断报牛84ox 11: 1 111:1811:2511:3211:3911:4611

10、:5312:0012:0712:1412:2112:27CPULoad内存磁盘设备IO网络 FE寸ISV全链路压测报告:i: 2017 杭州云栖大会 THECOMPUTIN GCONFERENCEt：天 智 能 A P S A R A I N T E L L I G EN C E业务性能信患 0 )冷令c 0 0令 七0 ( b ) c) 0 4 冷0 0 Q0 令丁户 兰量 : 建：推污兰| l l , I 兰l 发货 订单量 IQP.S云悟社区 C O DI N C.L I F E:寸i: 2017杭州云栖大会 THECOMPUTIN GCONFERENCEISV全链路压测报告t：天 智 能 A P S A R A I N T E L L I G EN C E业 J 性 摩 息 o o 1j 勹。妒愤 创建