运维上海UTCon苏宁大数据平台运维实践0910

UTCon2◎17全球运维技术大会苏宁大数据平台运维实践苏宁云商.大数据平台技术总监主办方Geekbang>.InfoQ九折即将结束QCon全球软件开发大会团购还享更多优惠，折扣有效期至9月17日扫描右方二维码即可查看大会信息及购票10月17-19日上海·宝华万豪酒店如果在使用过程中遇到任何问题，可联系大会主办方，欢迎咨询！锁定席位on-0410011七折即将某省市2040元ArchSummit使用限时优惠码AS200，以目前最优惠价格报名ArchSummit全球架构师峰会2017仅限前20名用户，优惠码有效期至9月19日，扫描右方二维码即可使用锁定席位如果在使用过程中遇到任何问题，可联系大会主办方，欢迎咨询！12月8-9日北京·国际会议中心china66619极客邦科技极客搜索全站干货，一键触达，只为技术立即体验有没有一种搜索方式，能整合InfoQ中文站、极客邦科技旗下12大极客搜索，这款针对极客邦科技全站内容资源的轻量级搜索引擎，做到了！扫描上方二维码，极客搜索！这里只有技术领导者EGO会员第二季招募季正式开启报名时间：9月1日-9月15日扫描添加E小欧，邀您进入EGO会员预报名群立即报名你认为以下哪些关键字对运维最重要?智能高效稳定性能流程MTTR自动化安全审计SLA规范故障预测主办方Geekbang>.InfoQTABLEOFCONTENTS苏宁大数据平台基本介绍大数据平台运维的痛点及解决方案平台优化及增强DOING&TODOUT)全球运维技术大会主办方苏宁大数据平台软件栈介绍数据云(DataCloud)服务层数据云(DataCloud)服务层大数据管理平台大数据管理平台元数据元数据数据开发平台CBT数据开发平台CBTKafka

、DKafka

、DHiveSqoopHiveSqoopSpark

SQLSpark

SQLSpark

StreamingSpark

StreamingMapReduceMapReduceSparkCoreSparkCoreYARNYARN3Flume3FlumeHBaseHBaseAlluxioAlluxioHDFSHDFSWeb日志app日志爬虫合作数据企业经营数据数据源主办方Geekbang>.InfoQ典型数据流向WebServer流式离线Http请求LogServer计算输出pollKafkaStorm/Spark

StreamingKafka业务系统FlumeFlume/DataFlow数据交换HDFS/HiveMR/SparkHDFS/HiveFTP计算输出数据交换FTP数据交换数据交换Push业务系统DBDB主办方Geekbang>.InfoQ平台发展历程第一个Hadoop集群10个虚机节点StormSQL(Libra)平台上线Storm服务化上线数据开发平台上线引入SparkDruid/ES上线诊断平台-华佗上线2014.62015.52016.72013.102014.122015.122017.3流计算平台上线Storm/KafkaHadoop版本升级1.2.1->2.4.0大数据管理平台上线主办方GeekbangInfoQ平台规模离线计算KV存储(HBase)1500节点160节点，6个集群5万任务流，30万任务/天50个NameSpace处理500TB/天600+新增30TB/天高峰期200万QPS150账户，500+开发人员Hive:MR:Spark=90:3:7流式计算OLAP引擎Storm：Druid：39节点1400虚拟机，41个集群单集群最大174节点1500流计算任务30个DataSourceElasticSearch：SparkStreaming：15节点93节点，80个任务4个Index主办方GeekbangTABLEOFCONTENTS苏宁大数据平台基本介绍大数据平台运维的痛点及解决方案平台优化及增强DOING&TODOUT)全球运维技术大会主办方Geekbang>.大数据平台运维的痛点痛点1.部署及运维复杂痛点2.无资源使用视图痛点3.任务相互影响，资源隔离性差痛点4.排查问题耗时长，应用优化门槛高主办方Geekbang>.|nfoQ痛点1.部署及运维复杂平台管理员集群组件辣么多，部署环境辣么多，累成狗。。。堡垒机->跳板机->运维机，就为了开个权限。。。谁懂Flume运维的苦？业务开发我开发用到一个用户行为的数据，在哪个表里？配置crontab的方式串联任务，伤不起。。。不同账户间的任务相互依赖严重，跨账户依赖难实现解决1.平台化、自动化大数据管理平台：主机管理，集群管理自动化大数据管理平台帮助主机客户端集群管理主机管理输入ip或者hostname+添加编号编号IPIPHost113838namenodel-sitsuning224141namenode2-sitsuning334242sle01-sitsuning4443主机列表om43主机列表om554141sle03-sitsuning664242sle04-sitsuning账户权限资源监控资源展板任务展板主办方Geekbang>.InfoQ解决1.平台化、自动化大数据管理平台：主机管理，集群管理自动化大数据管理平台帮助集群管理主机管理>详情主机客户端主机基本信息HostNamenamenode1-sitsuning账户权限资源监控资源展板任务展板OLAPHBaseHA管理HBase数据探查主办方解决1.平台化、自动化大数据管理平台：主机管理，集群管理自动化大数据管理平台帮助集群展板集群管理集群展板+创建集群集群展板长任务进度HDFS集群YARN集群HBase集群ZooKeeper集群软件部署配置管理mon-hdfs-sit主机sit环境HDFS集群集群列表客户端详情节点账户运行正常权限资源监控资源展板主办方GeekbangInfoQ解决1.平台化、自动化大数据管理平台：主机管理，集群管理自动化大数据管理平台帮助主机客户端账户集群管理集群展板>mon-yarn-sit详情mon-yarn-sit的基本信息查看页面(使用window运维机访问)>>sit环境YARN集群集群详细信息配置信息查看详细配置>>Versionhadoop-ResourceManagersZookeepersnamenode1-sitsuning,namenode2-sitsuning,sle01-sitsuningNodeManager节点数namenode2-sitsuning,namenode1-sitsuning

10依赖hdfsmon-hdfs-sit运行信息查看节点>>主办方Geekbang>.InfoQ权限资源监控资源展板任务展板OLAPHBaseHA管理HBase数据探查解决1.平台化、自动化元数据管理：数据字典，权限申请审批实施自动化概览概览数据表管理汇总信息概况权限管理系统管理项目总表数申请外部表记录数表对外授权记录数占用的存储量678115395.34GB表信息概况项目信息完整度分析项目内热点排名top5序名序名表名表名表中文名11test11test1122testtest33tablementtablement44booksparquetbooksparquet55testtdtesttd申请中的外项目记录序名表名所属项目项目管理员申请人申请权限申请时间操作主办方解决1.平台化、自动化元数据管理：数据字典，权限申请审批实施自动化元数据管理MDMdpa14082455概览Hive(1000)Kafka(3)数据表管理项目ETL系统(ETL)类目清空权限管理系统管理dpa查询dpabrouterclickddpabrouterclickd项目:ETL系统(ETL)项目:ETL系统(ETL)所属数据库:bidpa所属数据库:bidpa描述：描述：类目：类目：dpaordbilltfdpaordbilltf项目:ETL系统(ETL)项目:ETL系统(ETL)所属数据库:bidpa所属数据库:bidpa描述：描述：类目：类目：dpaordbilltfddpaordbilltfd数据字典，支持搜索项目:ETL系统(ETL)项目:ETL系统(ETL)所属数据库：所属数据库：bidpa描述：描述：类目：类目：dpaordbilltfsparkdpaordbilltfspark项目:ETL系统(ETL)项目:ETL系统(ETL)所属数据库:bitmp所属数据库:bitmp描述：描述：类目：类目：dpaordbilltftmpdpaordbilltftmp项目:ETL系统(ETL)项目:ETL系统(ETL)所属数据库:bidpa所属数据库:bidpa描述：描述：主办方解决1.平台化、自动化元数据管理：数据字典，权限申请审批实施自动化元数据管理MDM概览Hive>dpaordbilltfd收藏申请权限数据表管理表基本信息字段信息分区信息变更历史授权信息权限管理表名：dpaordbilltfd系统管理中文名：授权人所属系统授权人授权时间批准人所属数据库：bidpa所属项目：ETL系统(ETL)权限申请项目管理员：11080108表owner:11080108申请的表：dpaordbilltfd描述：权限状态：无权限有效期：永久是否敏感信息表：否表来源：Hive仓库申请理由：请输入理由，不超过200字表存储信息确定取消物理存储量：物理存储量：生命：生命：表类型：表类型：表创建时间：表创建时间：DDL最后变更时间：DDL最后变更时间：权限申请解决1.平台化、自动化数据流管理平台：集成Flume，智能扩缩容，插件式2节点小集群ZooKeeperCluster对接<1000qps业务ZK1ZK2ZK5领取任务领取任务分配任务/节点发现failover10节点中集群Master

(active)Master

(standby)对接1000-10000qps业务领取任务metricsmetricsmetricsmetrics30节点大集群对接>10000qps业务Worker1Worker2Worker3主办方Geekbang>InfoQ解决1.平台化、自动化数据开发平台：支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展数据开发IDE首页任务设计资源中心运维中心支持中心新建任务流输入搜索内容任务流组件草稿任务组件数据交换HvHive任务MapReduce任务DATASTAGERPC任务Sqoop任务JaJa任务Python任务Spark任务SparkSql任务新建草稿任务类型选择数据交换任务Hive任务MapReduce任务DATASTAGERPC任务Ja任务Sqoop任务Python任务Spark任务SparlSql任务机器学习基本信息任务名称*请输入任务名称任务描述*请输入描述文本确定取消主办方Geekbang>.InfoQ解决1.平台化、自动化数据开发平台：支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展数据开发IDE首页任务设计资源中心运维中心支持中心、任务流组件草稿草稿66666677SQOOPtest1lasqjobjasangqiangmrcon...sangqiangsparkc...sanqgianghiveco...sangqiangdataxc...SPARKSQL149568…最近打开任务流任务名称sangqiangsparkconfigJar名称JaOK.jar选择文件MainClass*.suning.ja.TestArgs--Xms200Mspark版本spark-1.5.2Isparkopts十参数配置参数名参数值3333✗222✗1111✗수ㅍㄱ프主办方解决1.平台化、自动化数据开发平台：支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展数据开发IDE首页任务设计资源中心运维中心支持中心1:1J「↑5HPMSAH输入搜索内容任务流组件草稿9onlyonce6…☑syncbidpa.t...ISEHBASEO...HPMSAH☑testliuyh☑智能客服离线…☑111☑子HPMSAD☑中HPCCBSINIT☑时)小时任务测试☑新建任务流任务流面板主办方Geekbang>.痛点2.无资源使用视图解决2.资源可视化、人民币化√存储/计算资源计量计费√资源池使用可视化√任务展板主办方GeekbangInfoQ解决2.资源可视化、人民币化存储/计算资源计量计费bdmssitsuning大数据管理平台帮助集群管理主机客户端账户权限资源监控资源展板使用概览资源池使用任务展板OLAPHBaseHA管理使用概览账户sousuo昨天7天30天计算资源统计过去1日新增总耗时0ch-0.98%存储容量统计存储容量统计总容量684.77GB总容量684.77GB11ch总计算成本4.24元计费方法总成本8.25元过去30天存储容量使用折线图主办方Geekbang>.InfoQ解决2.资源可视化、人民币化资源使用可视化集群管理主机客户端账户权限资源监控资源展板使用概览资源池使用任务展板OLAPHBaseHA管理HBase数据探查资源池使用账户sousuo2017-08-08昨天7天集群mon-yarn-sit资源池sousuo最大CPU值最小CPU值CPU使用值主办方Geekbang>.InfoQ解决2.资源可视化、人民币化任务展板大数据管理平台帮助集群管理主机客户端账户权限资源监控资源展板任务展板排行榜任务概览任务详情任务概览账户All集群mon-yarn-sit组件All2017-08-09总任务数：成功任务数：失败任务数：主动杀死任务数：107531074715总耗费处理数据总量平均处理数据量平均运行时间MR/SPARK任务占比222元1.69TB165MB31s10753/0主办方Geekbang>.InfoQ解决2.资源可视化、人民币化任务展板bdmssitsuning/#/taskBoard/taskOverview多维分析任务详情OLAPHBaseHA管理HBase数据探查主办方Geekbang>.InfoQ解决2.资源可视化、人民币化任务展板大数据管理平台帮助集群管理主机客户端账户权限资源监控资源展板任务展板排行榜任务概览任务详情OLAPHBaseHA管理HBase数据探查排行榜组件All任务总量Top10排名排名账户11csi22bigdata33erp44lbi55bi66srdss77scpdm88smmb99sopdm1010pos任务评分Top10(由高到低)排名排名账户bilibili1002017-08-09处理数据量Top10排名排名账户11spider22srdss33ztbd44bigdata55pcms66mobdss77sousuo88pos99scpdm1010lbi任务评分Top10(由低到高)排名排名账户f。主办方Geekbang>.InfoQ痛点3.任务互相影响，资源隔离性差我的任务为什么突然变慢了?是不是别人影响我了?主办方Geekbang>.InfoQ解决3.差异化服务、物理隔离共享型独占型StormMR/SparkKafkaSparkStreamingHBaseDruidES资源浪费：离线、流本来就是错峰的主办方Geekbang>.InfoQ解决3.差异化服务、物理隔离共享型-YARNFairScheduler:每个账户一个Pool，配置最大最小资源；最小资源是能保证的资源，最大资源是上限；优先级:backportfrom2.8；改进为7个优先级，每提升1个优先级，获得分配权重增加1倍；降低长GC的影响：尽快失败，合理设置GCTimeLimit=90GCHeapFree

Limit=10ParallelGCThreads=8；Cgroup解决3.差异化服务、物理隔离共享型-KafkaCluster1Cluster2Region1Region2Region1Region2Region3Region4Region3Region4避免大集群:对ZK的压力,对controller的压力逻辑分区：按照不同的业务场景分配，避免不同保障级别业务的相互影响主办方解决3.差异化服务、物理隔离独占型-Storm虚机1虚机4虚机2虚机5虚机3虚机6虚机x虚机y虚机z虚机1虚机2虚机3虚机4虚机5虚机6独立的物理区域物理CPU与虚机CPU1:1亲和性绑定CPUST从40%+降低至1%主办方Geekbang>.InfoQ痛点4.排查问题耗时长，应用优化门槛高@全体成员有个任务一直出错jobID:job1499408566046自疗URL:taskdetails.jsp?jobid=job.14piagnosticMessagesforthisTask:error:jaheaospaceFAILED:ExecutionError,returncode2fromorq-a麻烦桑总帮看个交换任务，卡主了。HPDB2TDMMPSBRDQLYD怎么解决?测试?还是生产?用户不清楚任务为什么失败用户不清楚该如何优化任务解决4.智能诊断、优化建议离线计算平台-MR任务分析平台mapreduce.jobend-notification.urlMR任务MR任务MR任务事后分析History信息History信息History信息HDFS等待Historyphoenix可视化Notify

serverworkerHBase主办方Geekbang>InfoQ解决4.智能诊断、优化建议离线计算平台-MR任务分析平台任务排行榜评分最低Top20处理数据量最多Top20排名排名账户账户11bibi22epseps33cloudytracecloudytrace44apsaps55smmbsmmb66smmbsmmb77smmbsmmb88lbilbi99lbilbi1010birecbirec排名排名账户账户jobID11sousuosousuojob14823787787612003297922sousuosousuojob14823787787612003948933srdsssrdssjob14823787787612000227944spiderspiderjob14823787787611987958755spiderspiderjob14823787787611987513866safesafejob14823787787611995390899srdsssrdssjob1482378778761199967281010osmososmosjob148237877876119879911总CPU时间最长Top20Task数排名Top20排名排名账户账户11bibi22bibi33erperp44erperp排名排名账户账户11sopdmsopdm22apsaps33apsaps44ztbdztbd解决4.智能诊断、优化建议离线计算平台-MR任务分析平台任务详情>job148237877876119896644输入jobID基本信息账户名称bi集群名称monyarnprd3任务名称tsorousvbelnplanunfnshd(20170408)96分任务状态SUCCEEDED提交时间2017-04-0902:39:25结束时间2017-04-0903:55:21总CPU时间3442184s处理数据量216.47GBmap/reduce504/775任务统计map平均执行时间132sreduce平均执行时间21s任务运行信息平均map处理数据量455.17MBmap输出数据量352.30GBmap输出条数8,625,703,184mapspill条数17,266,181,015reducespill条数8,625,703,184最长map执行时间4456s最长reduce执行时间4394s评分详情(评分方法)平均map处理时间得分20平均map处理数据量得分20任务评分依据平均reduce处理数据量得分20spill数据量得分20长尾任务得分16主办方Geekbang>.InfoQ解决4.智能诊断、优化建议离线计算平台-MR任务分析平台任务详情>job14994085660468795319输入任务ID基本信息账户名称bjredbaby集群名称monyarnprd3任务名称createtabletmpzqzsorder06stored…)t(Stage-1)失败任务状态FAILED提交时间2017-08-1017:14:18结束时间2017-08-1017:15:37总CPU时间1.25min处理数据量0MBmap/reduce1/4失败原因异常日志信息LogType:stderrLogLength:243log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.impl.MetricsSystemImpl).log4j:WARN主办方解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)知识系统数据接入诊断与评分HBaseAPI事件分析DruidAPI指标分析自定义报警SparkYarnHuatuo-WebNotifyHuatuo-ClientJMX实时分析Huatuo-serverDiagnosisStatisticsPush-ServerGather-Module指标事件日志DruidES主办方Geekbang>.InfoQ解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)资源角度性能角度资源角度性能角度宿主机器状态分析Task耗时链分析HDFS资源使用分析长尾Task分析宿主机器状态分析Task耗时链分析HDFS资源使用分析长尾Task分析Driver/Executor进程状态分析资源利用率分析任务调度Overhead分析Reduce并发度分析Cache利用率分析JDBC并发度分析Kafka读并发度分析Shuffle内存利用率分析Driver/Executor进程状态分析资源利用率分析任务调度Overhead分析Reduce并发度分析Cache利用率分析JDBC并发度分析Kafka读并发度分析Shuffle内存利用率分析主办方Geekbang>.InfoQ解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)宿主进程状态分析宿主进程状态分析Driver:38:45332Executor:42:64262Driver:38:45332Executor:42:64262Executor:43:48251分析结论：分析结论：Driver进程38:45332运行中,CPU峰值为6.3%,内存峰值为2324M,FD使用率保持平稳,平均在424。Driver进程38:45332运行中,CPU峰值为6.3%,内存峰值为2324M,FD使用率保持平稳,平均在424。38:45332的进程CPU使用(%)38:45332主办方Geekbang>.InfoQ解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)Geekbang>.InfoQ解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)长尾Task运行诊断❶JobId.StageID(3.15)检测到长尾相关信息：这批Task当前运行时间，已经超过当前成功运行的Task的平均耗时的467%Stage[jobid.stageid=3.15]执行结束。是否运行成功:true(成功/失败:11/0)。整体耗时:678MS。每个Task耗时分布情况(MS)解决4.智能诊断、优化建议离线计算平台-华佗智能诊断平台(spark)Shuffle数据倾斜诊断事件：[INFO]ShuffleWriteStage[9.17]执行结束。任务耗时：4918MS。ShuffleWrite的Meta大小为：228字节。下游Reduce输入数据的大小(字节)下游Reduce输入数据的大小(字节)GeekbangInfoQ解决4.智能诊断、优化建议流计算平台-健康状态监测系统主办方Geekbang>.InfoQ解决4.智能诊断、优化建议流计算平台-健康状态监测系统dashboardalarm发送告警存取数据获取offsetmonitorphoenixsupervisor获取logsize/offsetzookeeper

(storm)zookeeper

(kafka)workerKafka集群jvmmetric主办方Geekbang>InfoQ解决4.智能诊断、优化建议流计算平台-健康状态监测系统ppcsHomePageB健康状态2017年08月10日15时04分~2017年08月10日22时59分1、Topology基本信息启动时长启动时长Num

workersNum

workersNum

executorsNum

executorsNum

tasks7h54m52s7h54m52s1401404494494492、Topology配置诊断·topology的bolt并发设置合理,无需调整。此次启动也无worker发生迁移3、数据消费视图(2