FinOps在知乎的落地与实践（对外版）

知乎FinOps:_____在知乎落地与实践知乎陈文权自我介绍a拥有10年软件幵发和架构设计经验，先后负责公有云、私有云，统一监控等系统基础架构设计和研发工作。专注于基础技术架构，工程效能，DevOps平台，FinOps平台的设计和研究，擅长平台服务化产品设计和微服务的设计与实施。具备体系化思考和业务价值的敏感性。当前大背景与落地挑战利益驱动行业大背景麦肯锡在调查报告中指出，ra‘全行业降本增效的大背景，每家企业的云计算预算平均互联网行业都在对基础设施超过23%,并且浪费30%支出下手，其成本支出占比的支出1较咼。V________丿V________J实践挑战各个公司基础设施的构建范式各不相同，组织和文化各不相同，FinOps实践带来挑战。现状:知乎技术全景存储消息队列流量接入私有云(SaaS)容器数据库大数据计算业务问答搜索基础设施中台现状:知乎资源总览多供应商体系，异构化资源，私有云、公有云、混合云，自建IDC…服务器防止供应商锁定技术迭代迅速增强议价权不同供应商的特色功能日常问题和需求，带着问题出发业务面临的问题：1.成本为什么快速增长？2.成本是怎么花出去的？3.成本是谁花出去的？4.成本的使用是否合理？5.怎么多视角观测和透视成本？管理者面临的问题：1.成本当前是不是合理的？2.成本有没有优化空间？3.预算目标能不能完成？4.怎么运营和管控成本？5.怎么评估成本的物超所值？基本实施步骤：边摸索，边实践，边建设成本可观测怎么核算&分摊，算的准_精细化运营A怎么成本运营成本优化目标成本优化策略，行动第一步第二步第三步—站式成本观测、优化、运营平台用量同环比（天/周/月）天账指标成本异常超弹异常利用率数据归因月账指标异常通知涨跌幅异常账单大盘数据洞察自定义异触达资源1告警1中1心利用率指标账单透视（上聚下钻）准确数据性对账工具SKU覆盖率天月误差管理视角业务视角财务视角智能巡检组织架构月账单私有云账单天账单（T-1）公有云账单SKU闲置资源优化线索对象存储议价专项商务议价全网比价商务合同服务器容器对象存储成本灭火图成本分人工分析分析报告自动化分析综合分析中心化成本运营（管理者+业务线Leader+财务+商务）自建DC在离线混布成本运营可观测模型账单模型成本管控预算管理单位成本月完成率预算调整年完成率采购管控统一米购审核机制预算来源资源池成本运营系统平台资源画像资源退订资源缩容资源下线平台升级核账&对账准确性运营专项成本优化—站式成本观测、优化、运营平台预算管理成本运营系统成本运营成本优化符合FinOps定义的优化理念FinOps生命周期由三个不断重复的阶段组成：通知：给出成本核算&分摊的可观测型模型，精确账单优化：不断优化资源的利用率和用量，使成本物超所值操作：一个持续的成本运营策略，不断驱动成本优化OptimizeVisibility&AllocationRates&UsageContinuousImprovement&operationInform账单模型账单模型：设计思路账单设计目标是成本可观测，可透视。可观测模型：•日账单(T-1):能敏捷的观测每日成本变化，感知资源弹扩成本变化，新增等-月账单(T-1):准确的了解过去一个月成本使用明细。观测维度：•APP•团队•业务线账单组织的基本单位是APP，APP组成团队，团队组成业务线。账单模型：核算流程误差纠正Q1：为什么日账单是预估成本。A1:因为各个云供应商没有准确的日成本数据，所以日成本是用上个月的成本快照计算得出，仅供参考。知乎的成本核算系统有两种账单类型:月账单（「1月），日账单（T」日）。其中日账单是预估账单，月账单是正式账单。____调整项成本数据分摊规则月账单日账单Q2:为什么月账单是正式成本。A2:因为各个云供应商每月初会推送费用账单，将日预估成本累加后，纠正误差，得出准确的月账单。账单模型：分摊流程分摊核心逻辑公有云(laaS)账单模型：日账单分摊流程这里以部分云产品为例，分析某个APP怎么产生日账单账单模型：月账单分摊流程这里以部分云产品为例，分析某个APP怎么产生月账单账单模型:出入账模型以容器平台的APP为例：APPAPPAPPT出账rr容器平台［入账物理机MySQL指标账单模型：怎么消除天月误差？云厂商目前出账的方式，本质上不可能消除天月账单误差，但可以是误差尽可能小，使天账单更具参考性。误差来源分析：1、不合理的SKU定价；2、利用上个月产品费用预估本月费用；3、未分摊的云产品（天账没有，月账有）；解决方案：通过完整的误差监控大盘，快速定位误差根源，动态调整定价，以及分摊资源成本运营成本运营:核心思路数据驱动运营成本运营:实施步骤每一步都需要数据成本运营:指标度量不能只看成本，业务发展会带来资源使用的自然增长单位成本是衡量资源使用的最佳指标;希望单位成本具有业务敏捷性，更具弹性；用量和利用率是成本运营指标，用来观测成本健康度成本运营：预算目标限制050501099111063112.8289.72119.41137.15105.3|10413102.12100.78100.19942494.0993.291690.889.910086.2199.2194.3913394100150年度完成率■月度完成率成本运营：用量和利用率资源的用量和利用率情况主要用来观察成本健康度，利用率（水位线）越高，成本性价比越高。是成本运营的主战场，提升利用率（降配或下线机器），直接带来成本的下降。«告警中心新増告書规!H成基本信息筍曼描述什么指标发生了什么,eg：［壮区］成本増，过大•规则描述：SSCPU成本涨幅过大成本运营通知BOT检查项:■■■■容器MEM发生超弹计费症状:容器MEM发生超弹计费级别：critical备注：当前值24.00大于阈值10.00成本运营通知bot检查项:■■■容器内存发生超弹计费症状:无级别：critical备注：当前值2456.90大于阈值10.00成本运营通知bot检查项容器CPU发生超弹计费症状:无级别：critical备注：当前值5281.92大于阈值10.00龙本运营系统通知(2022-12-1213：01：06)固有新的告警需要马上执行。与警指标：利用率与警规则：部分容器集群存在可分配率过低与警级别：警示与警描述：可分配率〉25%,CPUMAX利用率＜35,与警时间：2022-12-1213：01：06W警地址链接：成本运营系统-＞成本运营-＞资源无［tot'houce'U成本运营系统通知(2022-12-0621：45：19)您有新的告警需要马上执行。业务名称：业务研发中心-社区业务研发团队-前端组告警指标：成本告警规则：成本变化幅度过大告警级别：警示告警描述：成本环比涨幅＞20%或跌幅＞50%告警时间：2022-12-0621：45：19告警地址链接：成本运营系统-＞成本-＞按业务线Q150+1000-5011/1611/1711/1811/1911/2011/2111/2211/2311/2411/2511/2611/2711/2811/2911/3012/0112/0212/0312/0412/0512/0612/0712/08成本管控成本运营：预算管控流程资源申请管控优化预算管控：一个典型的例子，超量计费物理机容器平台容器-超额弹扩CPU容器-超额弹扩MEM容器-CPU容器-MEM正常计费10倍惩罚计费容器平台，只有业务将容器的申请量和使用量降下来，容器平台才能陆续释放掉物理机预算管控：一个典型的例子，超量计费容器的费用是按照申请量计费。一个APP申请了：100core*64GB,然后发现使用水位线不高，通过降低容器的申请量到50core*32GBo费用直接降低了一半。但是第二天发现这个APP收到超量计费告警，说明申请量降的过低。需要适当调高，以避免10倍计费。重复这个过程，不断试探到最佳申请量的位置。这个过程也叫挤水分。容器使用量挤水分过程各产品趋势($S)(feg)

■容糖夷源费用。各资源趋势侄逗)(sS)

■Sa-CPU■SS-MEM容翠遍嵌弾STCPU■容器*餵弹扩MEM侄逗)(IS)

■容器数据洞察成本运营:数据洞察从异常到根因，从全局到局部，自上而下，层层下钻成本运营：灭火图本月预算目标本月目标完成率年度目标完成率58.777.86%91.31%本月预算目标本月目标完成率年度目标完成率28598.44%102.07%本月预算目标本月目标完成率年度目标完成率288.59目标达成113.89%本月预算目标本月目标完成率年度目标完成率282.3108.33%103.92%数据洞察：归因分析，首页数据洞察归因分彳归因分析结果X成本基期(2023-05-01-2023-05-31)观察期(2023-06-01〜2023-06-30)浮动涨跌幅*业务线商业广告-站，成本上涨92298.58100515.48216.82个8.9%团队AppIM引起成本上涨的维度贡献排名维度0天：：：7±导出指标■平均（成本）序列产品基期？观察期？变化量变化率贡献度？筛选■2023-05-01n心容器37801.8546109.168307.312丄・98%101.1<Vbo&知盟-容器-5430.67-7637.45-2206.78■40.64%■26.86%＞运行归因分析1■E1心指标2258.923160.59901.6739.92%10.97%Q&GPU物理机688.281378689.72100.21%8.39%&HDFS20580.6321244.47663.843.23%8.08%11万-Q&知盟-CDN-1056.68-1487.34-430.66■40.76%■5.24%10.5万-&Hadoop计算作业2002.542235.64233.111.64%2.84%10万-96,I02、95,985&rucene1822.391641.58-180.81・9・92%-2.2°/o9.5万-&CDN6915.247092.98177.742.57%2.16%9万-&kafka2063.192209.91146.721.79<Vb8.5万-2023-04-022023-04-C数据洞察：同环比分析•业务线团队APP维度❷环比❷商业广告-站内天账单月账单月环比天环比周环比区间环比99922.68105585.655662.97，5.67%成本趋势环比TOP分析团队APP产品大导出序列产品上周日均9本周日均？浮动涨跌幅D容器47920.2950041.962121.674.43%指标3107.94808.81700.954.73%□rucene1742.57854.68-887.89-50.95%□知盟-应用-7569.1-6872.87696.239.2%知盟-容器-9156.05-8499.7656.357.17%□kafka2102.982518.77415.7919.77%BNginx4583.474898.04314.576.86%□CDN7176.247482.35306.114.27%□Hadoop计算作业2265.522458.43192.918.52%13知盟-kafka-372.17-496.72-124.55-33.47%运营收益：成本逐步下降容器-MEM2022-12-14申请量€使用量#使用率（%）s成本§成本占比（业务线）§申请量e使用量€6,234.85,766.092.48807.46.116,308.65,720.£2,048.01,758.0171,173.3171,986.5148.379.585.84135.9100.4820,880.253.6317.828,446.423,310.781.953,624.6236.0172.573.0937.32,418.51,749.072.32341.726,750.023,869.689.233,307.310,234.59,430.692.151,309.755,958.344,803.080.076,471.629,835.626,826.689.913,821.794,820.478,103.782.3711,693.6428,304.1387,855.70.352,232.01,755.512.82179,923.3168,108.64.94162.379.53.1431,923.722,885.用0.25233.0169.J7.692,492.51,694.(18.9726,634.523,638.』6.9210,125.59,891.516.3254,975.246,821.C|11.9032,255.427,636.414.9690,106.973,361.______94.37437,372.9381.761.E7.8636,447.731,813.52023-032023-053.0002.5002.0001.5001000500核心扌曰标：知乎总成本下降19.6%单位成本下降21.2%用量&利用率指标：容器CPU使用率从46.42%上升到82.17%容器内存使用率从47.85%上升到82.7