龙蜥操作系统开源社区白皮书2024_第1页
龙蜥操作系统开源社区白皮书2024_第2页
龙蜥操作系统开源社区白皮书2024_第3页
龙蜥操作系统开源社区白皮书2024_第4页
龙蜥操作系统开源社区白皮书2024_第5页
已阅读5页,还剩219页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

龙蜥操作系统开源社区白皮书化4.1云蜥共舞智领未来 09 094.1.2年度贡献计划 4.2“潮”“蜥”共振筑基智算 4.2.2年度贡献计划 4.3“德”行龙蜥共创新篇 4.3.3年度明星方案 4.4"中"“蜥”合璧共创未来 4.5芯耀龙蜥潜心砺芯 4.5.3年度明星方案 5.1社区技术布局 5.2技术生态与产业协作 5.3社区重点技术方向运营 原生技术概览236.1通用计算场景 236.1.2基于上游独立演进的内核基础能力 396.2云原生场景 4 4 6.3智能计算场景 486.3.2AI框架 496.4一云多芯硬件生态 51 52 53 546.5运维与性能 6.5.1SysOM:一站式运维管理平台 6.5.2Coolbpf:基于libbpf跨平台的跟踪诊断增强框架 586.5.3KeenTune:智能化全栈调优&容量评估工具 6.6软硬件协同 61 61 63 666.7安全可信 67 6.8编程语言 75 75 6.9社区基础设施 7.1用户案例 7.2龙蜥生态 7.3社区联盟 社区风采948.1社区品牌 948.2社区活动 8.3社区治理 他们说108第一章。寄语第一章。寄语的共同努力下取得了一系列成绩,成为推动信息技术领域发展的重要力量之一,也让我们见证了一个充满活力与创新精神的开源社区的发展。作为我国重要的操作系统开源社区,《2024龙蜥社区白皮书》聚焦开源生态发展路径,汇集诸多龙蜥生态的创新成果,为我国操作系统发展提供了龙蜥方案。CCF开源发展委员会和中国软件行业协会开源委员会将与包括龙蜥社区在内的我国开源社区一起,积极推进开源事业发展,共同为我国开源生态建设贡献随着云计算和人工智能技术的飞跃式进步,行业需要服务器操作系统的升级,因此,服务器目前,龙蜥社区在国内已经取得了显著的影响力,其技术和生态系统的不断成长,为企业和用户提供了稳定、高效的解决方案。在云智融合方面,龙蜥社区更是走在前沿,积极探索如何将智能算法与云计算资源进行无缝对接,以提高数据处理能力、优化资源使用效率和提升系统安全性。未来,期待龙蜥社区继续深耕技术创新,勇于探索、敢于突破,创造出更多具杨继国2024年英特尔作为副理事长单位与社区在多个技术领域都展开了广泛合作创新,龙蜥操作程框架OneAPI以及开源深度学习工具箱OpenVino集成到龙蜥操作系统。未来Intel将继续与龙蜥社区在各个领域保持紧密合作,把更多的开源技中科方德副总裁龙蜥社区秉持开放、包容、协作的理念,汇聚行业精英,与各界伙伴并肩作战,共同推进操作系统技术的创新与发展。在新的一年里,我们期待龙蜥社区在创新的道路上不断突破,深化技术交流与合作,继续作为行业先锋,开创更多可能性。中科方德将携手见证龙蜥社区的郑臣明海光信息生态发展中心总经理、龙蜥社区理事龙蜥社区是国内领先操作系统开源根社区,为构建开放、共商、共建、共享的技术生态提供了坚实的操作系统底座。海光公司是国内集通用CPU和通用协处理器研发为一体的芯片设计公司,为中国信息化建设提供强大的算力底座。未来海光将和龙蜥社区携手,通过芯片与操刘东中兴通讯中心研究院副院长、龙蜥社区理事的AI应用场景和实践经验,愿意和龙蜥社区一起,共同推进AI原生操作系统建设,加快行业应用。第一章:寄语第一章:寄语慧,搭建开放协作平台,孕育无限可能。此次合作,是前沿科技与多元创新生态的深度融合,让高效算力赋能千行百业,催生新业态、新模式。期待我们双方的合作共同开启数字化余杰开源已经成为全球最主要的开发模式之一,开源软件已经成为全球IT基础设施的重要支撑,打造我国主导的开源根社区和积极融入国际开源社区同样重要。非常开心看到龙蜥社区近年来取得的快速进展,技术创新能力大幅提升,尤其是已经成为众多商业发行版的底座,支撑统开源创新大赛,来自全国数十个高校的80余组参赛队在龙蜥社区赛事积极拼搏,最终有2操作系统是支撑整个计算生态的基石。随着大模型、云原生等计算需求作系统架构正面临着前所未有的挑战。如何在弹性伸缩、资源隔离、容错恢加高效的技术方案,已成为行业的关注焦点。近年来,天津大学与龙蜥社区的合作日益紧密,双方携手推动技术创新,尤其在服务器无感知计算领域取得了显著系统技术将继续扮演推动数字化转型的核心角色,尤其是在面对智能等新场景的挑战时,我们需要持续创新,一起为下第二第二章·序在这个充满挑战与机遇的新时代,非常荣幸我能和大家一起再次共同见证《2024龙蜥操作系统开源社区白皮书》的全新发布。自2021年首次发布以来,这份白皮书已经成为龙蜥社区技术创新和成长的年度见证。值此辞旧迎新之际,带着满心的感激与自豪,请允许我向您呈现2024年的龙蜥社区白皮书,一同回顾过去一年的成就,并展望未来的宏伟蓝图。过去的一年,龙蜥社区的发展势头依然强劲。我们的大家庭已经扩展超过千家合作伙伴,涵盖了操作系统厂商、芯片厂商、整机厂商、云计算厂商和应用厂商等各个领域的佼佼者。秉承“开放、平等、协作、创新”的社区精神,我们一起共同推动了数字化发展的开源新基建,致力于将龙蜥社区打造成为全球数字创新的坚实基石。在此,我们要特别感谢中兴通讯、浪潮信息、中科方德、AMD等伙伴单位的卓越贡献,他们的参与和投入让技术更加多元,社区更加开放,生态更加繁荣。他们的努力和成就也在本书中得到了充分的展示。我们积极响应数字化转型的浪潮,推动了多项关键技术的突破。我们不仅在云原生、系统安全、大规模运维等领域取得了重要进展,更在人工智能、大数据等新兴技术领域展开了深入的探索和实践。在今年的互联网大会上,我们联合多家社区共同发起了开源生态发展合作倡议,并随后发布了基于服务器操作系统场景的关键共性技术链统一规范,在构建更加开放、兼容、安全、高效的操作系统技术生态方面迈出了坚实的一步。龙蜥社区的发展,离不开每一位成员的辛勤付出和智慧贡献。我们深知,技术的创新和社区的壮大,需要每一位成员的共同努力。因此,我们始终坚持开放、平等、协作、创新的原则,鼓励每一位成员积极参与到社区的建设和发展中来。我们相信,通过大家的共同努力,龙蜥社区将能够在全球数字创新的舞台上发挥更加重要的作用。在这一年中,我们也获得了业界的广泛认可,2024EDGEAWARDS年度前沿科技产品最佳技术突破奖、2024Gitee最有价值开源项目、2024OS2ATC“最具影响力开源创新贡献和开源创新先锋”奖、2024年度操作系统领域国内活跃开源项目及开源开发者等等。这些荣誉不仅是对龙蜥社区过去一年工作的肯定,更是对我们未来发展的鼓励和鞭策。展望未来,我们坚信龙蜥社区的发展前景是光明的。我们将继续秉承开源精神,推动技术创新,加强产业合作,扩大社区影响力。我们期待与更多的伙伴携手,共同打造一个更加开放、更加创新、更加繁荣的龙蜥社区。龙蜥社区理事长、阿里云智能集团研发副总裁马涛第三章关于龙蜥第三章关于龙蜥|3.关于龙蜥龙蜥社区(OpenAnolis)是立足中国面向国际的Linux服务器操作系统开源根社区,引领云智融合技术浪潮下国产操作系统的创新发展。社区理事会由阿里云、浪潮信息、统信软件、中兴通讯等24家国内外头部企业共同组成。社区生态伙伴超1000家,来自芯片厂商、软件厂商、整机厂商、操作系统厂商等覆盖操作系统全产业链参与生态共建。龙蜥操作系统装机量达800万,服务了金融、通信、政务、能源、交通等众多行业超过100多万用户。龙蜥操作系统(AnolisOS)性能和稳定性经过历年“双11”历练,能为云上典型用户场景带来40%的综合性能提升,故障率降低50%,兼容Linux生态,支持一键迁移,并提供全栈国密能力。截至目前,龙蜥操作系统已发布AnolisOS23、AnolisOS7.9、AnolisOS8等多个社区版本。其中,龙蜥社区推出更安全、更稳定、更Al的龙蜥操作系统AnolisOS23官方正式版,采用最通用的LinuxANCK6.6内核,全面兼容国内外主流CPU架构,适配更新、更丰富的Al容器服务生态,在操作系统层面首次原生支持Al算力调用和应用。当前,阿里云、浪潮信息、中兴通讯|新支点、统信软件等超过13家合龙蜥社区龙蜥社区理事会(理事长、副理事长、理事)(主席、副主席、委员)龙芯中科申责信息(主席、副主席、委员)红旗软件龙蜥顾问团(高级顾问、特约顾问)14.社区伙伴风采展阿里云计算有限公司是全球领先的云计算及人工智能科技公司,提供云服务器、云数据库、云安全、云存储、企业应用及行业解决方案服务。其研发的稳定、安全、高性能的服务器操作系统AlibabaCloudLinux是目前阿里云上部署规模最大的操作系统之一,可以为用户应用部署在Web服务、云原生应用、大数据、数据库、Al等场景中提供系统软件维护、安全加固、性能优化、多架构支持、内核热补丁等操作系统服务。4.1.1社区合作阿里云作为龙蜥社区理事长单位,始终致力于引领社区健康发展,2024年在技术、生态、运营等方面均有多项合作贡献。1)技术上,阿里云主导发起「三大合作计划」,联合其他理事单位在AnolisOS23的商业衍生合作、CentOS替代、A应用推广三方面进行合作;其次在版本研发上积极投入贡献,推出AnolisOS23正式版;成立安全联盟和系统运维联盟两大联盟、内核工作组。2)在生态上,为推进业务合作强化联盟组织,通过整合阿里云和生态伙伴资源促进三方合作落地,阿里云牵头组织了“理事长走进系列”活动,与包括统信、浪潮信息、龙芯、中兴通讯、中科方德、ARM、海光信息等重点理事单位、合作伙伴在内的企业高层和核心团队进行深度交流,以各家的业务需求驱动更多社区合作落地。不仅如此,阿里云联合龙蜥发布'AlibabaCloudLinux伙伴招募计划」,综合来自阿里云基础软件、云市场、计算巢等团队的技术积累和推广资源,以及龙蜥社区开放强大第四章·社区伙伴风采展第四章·社区伙伴风采展3)在运营上,积极参与并赞助2024龙蜥操作系统大会,组织包含理事大会、运营委员会等多场社区治理会议。并将计划应用在龙蜥操作系统上;联合阿里云伙伴落地包括太保科技、小鹏汽车、北京创智科技等4.1.2年度贡献计划极提报代码,完善社区技术文档等。生态方面,积极推进阿里云和龙蜥社区生态互引,持续推广各项计划的实施。运营方4.1.3年度明星产品AlibabaCloudLinux阿里云服务器操作系统户提供最长13年的企业级支持和维护,让用户体验更好的操作系统服务,当前已累计服务超过60w+用户。AlibabaCloudAIContaine阿里云Al容器镜像(AlibabaCloudAIContainers,简称AC2)是阿里云提供的对面向AIl场景的系列容器镜像,通过提供定性保障,让用户可以在阿里云上全容器场景下有更好的使用体验。龙蜥社区联合阿里云发起的Alinux伙伴招募计划,也操作系统智能助手OSCopilot 龙蜥社区副理事长单位,浪潮信息通过深化产业链上下游的开放合作,推动开放标准的制定和普及,共同加速行业智能化4.2.1社区合作浪潮信息作为龙蜥社区的副理事长单位,依托浪潮信息龙蜥联合实验室,2024年在技术创新、生态共建、人才培养、运营 1)在技术贡献方面,浪潮信息主导成立可信计算、系统安全等SIG组,牵头编写《龙蜥操作系统可信计算最佳实践白皮书》、《eBPF技术实践白皮书》,牵头制定并发布《服务器操作系统硬件兼容性要求》、《服务器操作系统质量测试要求》、《数据中心自动化运维规范》等社区入安全防御空白及面向数据中心基础设施硬件运维领域空白。此外,浪潮信息积极参与CloudKernel等20多个SI规划和技术贡献,贡献显卡、网卡、Raid卡等内核驱动15+个,主导龙蜥社区驱动基线建设,推动“一测多证”落地龙蜥社区。社区。白皮书最佳实践白皮书第四章社区伙伴风采展2)在生态共建方面,浪潮信息联合产业链上下游合作伙伴完成1000+项软硬件兼容认证,形成并推动可信计算、智能0A、低时延网络、安全加固等10+项解决方案在金融、医疗、教科研、交通等关键行业落地。积极参与龙蜥操作系统大会共建,联合举办MeetUp、龙蜥大讲堂、校源行等活动近30场,协同共建龙蜥社区三大计划,作为TCSponsor牵头10+项目,持续推动龙蜥操作系统实现从开源到商业化的良性循环发展。与此同时,浪潮信息作为龙蜥社区安全联盟第四章社区伙伴风采展3)在人才培养方面,作为首批龙蜥社区人才培养计划发起单位,浪潮信息结合自身软硬优势及十余年操作系统服务经验,推出针对服务器操作系统云峦KeyarchOS的企业定制课程,组织认证培训10+场,近千人通过认证,获得浪潮信息KCA及龙蜥社区ANCA双认证证书。同时,联合大连理工以龙蜥OS为实例开发了面向下一代操作系统的培训课程,覆盖全国260+所高校、3500+人次;也支持多场全国性顶级赛事,为来自68所高校的参赛者提供实践环境与技术指导。4.2.2年度贡献计划作为龙蜥社区的副理事长单位,浪潮信息将依托“浪潮信息龙蜥联合实验室”,持续从技术创新、生态共建4.2.3年度明星产品浪潮信息云峦服务器操作系统KeyarchOS人工智能、边缘计算等应用场景需求,相关产品在金融、能源、交通、通信、医疗等关键行业广泛应用,累计装机量超过供应链安全技术贡献,推动创新与发展。凭借在开源领域的杰出贡献,中科方德荣获龙蜥社区2022-2023年度“社区优秀第四章社区伙伴风采展4.3.2年度贡献计划1)在技术合作方面,中科方德加入龙蜥社区发行版SIG组,与社区成员共同开展AnolisOS的核心包维护工作,提升软件包的稳定性和性能,积极响应并快速修复CVE安全漏洞及系统的测试、系统bug修复等,有效增强AnolisOS的安全防护能力。在保障版本稳定发布的同时,促进社区内部的协同创新与技术共享。2)在产品合作层面,中科方德以龙蜥社区FounduISIG组成员共同协作,完成FoundUI桌面环境在AnolisOS的适配开发工作,FoundUI核心桌面环境组件、应用包,在AnolisOS版本上验证安装成功并良好运行,SIG和PR数百次。在龙芯平台方德主力协同龙蜥社区发布AnolisOS8.4LoongArch正式版,是打造国产生态环境中重要的一项成果。在龙芯专属PR中,中科方德贡献龙芯贡献的PR数量和代码贡献都处于领先,主导分析CVE影响并提交相关修复数十条。方德重点参与AnolisOS23研发,以桌面环境、自研应用、上游包的开发、缺陷修复及维护,重点参与基础软件包编译、CVE安全漏洞修复、社区版本测试支持及OpenStackZ版本的适配支持工作,主导分析CVE影响并提交相关修复近百条。此外,在国产平台测试/联调方面积极投入,在QUME、OpenStack支持、虚拟化支持等方面作出了3)在运营贡献方面,中科方德在社区运营方面展现出积极的贡献,致力于联合社区伙伴共同推进社区的成长与发展,并致力于构建开放的生态环境。作为社区理事单位,中科方德积极参与2024年龙蜥大会,设立展台展示公司核心产品与技术,参与组织了包括技术实践和生态案例在内的多个分论坛和闭门会议,也联合社区举办“走进系列”MeetUp,活动进一步加强了与社区成员的互动,推动了社区内知识的共享和技术进步。4.3.3年度明星方案随着对开源软件的广泛使用,开源代码的引入已经成为现代软件开发的重要组成部分。然而,开源软件在为企业提供高效、灵活的开发工具的同时,也带来了诸多风险和挑战,如:造成安全性的风险、合规性的风险、供应链安全风险等。为了解决这一系列问题,中科方德与龙蜥社区协同,在开源引入环节进行深入合作,实现了全面的开源引入分析,风险控制,合规保证。并通过流程规范实现了开源引入的自动化、流程化管理,降低开源供应链风险,同时提升开发效率和合规中兴通讯是全球领先的综合通信信息解决方案提供商,为全球电信运营商、政企客户及个人消费者提供创新的技术与产品解决方案。公司成立于1985年,业务覆盖160多个国家和地区,服务全球1/4以上人口,致力于实现“让沟通与信任无处不在”的美好未来。在操作系统领域,中兴通讯于2002年启动自研操作系统研发,产品已覆盖嵌入式、服务器、桌面、车用、机载等场景,广泛应用于电信、电力、汽车、金融、电子政务等领域。4.4.1社区合作新支点服务器操作系统V6是一款基于龙蜥社区的服务器操作系统产品,已于2024年通过安全可靠测评。新支点服务器操作系统满足虚拟化、云计算、大数据等各类商用场景中对主机系统的可靠性、安全性、实时性、性能等方面的严苛要求,产品涵盖了服务器操作系统、虚拟化平台、容器引擎等在内的基础设施组件。电信场景对于操作系统的效能、可靠性、安全性及调维能力提出了更高的要求。随着5G架构的演进,多种技术如NFV、SDN等都被引入到了5G组网中,5G高吞吐量需求的体现之一在于核心网侧对于系统的存储、网络以及业务单元部署运行各个方面都更注重运行效率。针对精简资源运行场景和高性能虚拟化运行,需要基于架构简化、资源简化的轻量化虚拟化技术;另外,安全和云原生是MEC云平台的重要技术,与此对应的轻量化安全容器技术第四章·社区伙伴风采展要提供微秒级的最大中断响应延迟和最大任务调度延迟能力,保障帧数据不被丢失。云原生技术也要求操电信场景对于操作系统的可靠性要求是5个9,NFV架构中,由于虚拟化的运行支持,单主机上会承担更多的网元和业务,其运行可靠性要求远高于以前的网络架构。如何确保底层运行的可靠性,建立运行环境信任链,云化架构下,软件复杂度增加,传统基于人工方式的优化和质量保障方式越来越困难,而应中兴通讯面对上面的挑战,进行了一系列的技术创新,并不断把相关的能力回馈社区;通过和社区的合作,来使得龙蜥社区版本适应电信场景,通过商用来检验和提升龙蜥社区版本的能力,目前基于4.4.2年度贡献计划●发起AIINFRA工作组、车用OSSIG及RISC-V架构工作组●发布基于龙蜥下一代操作系统的商用衍生版本●承办2025年龙蜥操作系统峰会并主办中兴分会场●主办2场技术MeetUp●参与生态建设,拓展软硬件生态互认证4.4.3年度明星产品行定制优化的自研操作系统,产品已通过安全可靠测评,符合GB要求》和GB/T20272-2019《信息安全技术操作系统安全技术要求》(第四级)中相关条款所述的有关要求,获得网络安全专用产品安全检测证书。通过核心技术的突破与积累,产品已满足虚拟化、云计算、大数据等各服务器;并与国内外主流权威安全漏洞扫描厂商建立了合作关系。新支点服务器操作系统客户已覆4.5芯耀龙蜥潜心砺芯推动着数据中心、嵌入式系统、游戏和PC市场迈AMD于1969年在硅谷创立,最初只有几十名员工,从那时起AMD便踏上创新之路,致力于引领半导体产品领域的最前沿。如今,AMD已经成长为一家现代化的全球性企业,凭借先进技术和诸多突破性行业创新,树立现代计算新标杆。第四章·社区伙伴风采展AMD作为龙蜥社区的积极参与者,于2024年正式加入龙蜥社区,始终致力于促进开源项目的协作,推动基于EPYC架构的相关技术发展。同时,AMD与AlibabaCloudLinux团队密切合作,在龙蜥社区支持关于AMD芯片特性相关的使能工作,为相关龙蜥下游发行版在AMD平台运行提供了保障。并且,在社区中通过搭建AMD内部测试集群,保障AMD相关补丁回合和版本发布的质量。同时,完成了2024年最新发布的Turin处理器在OpenAnolis的适配驱动,完善和丰富AMD芯片相关的功能,比如perf,PlatformQualityofServiceExtensions,并积极引入机密计算-AMDSecureEncryptedVirtualization-SecureNestedPaging(SEV-SNP)。这些技术的实施不仅提升了数据处理效率,还增强了系统的安全性和稳定性,充分表明AMD在引领行业创新方面的努力和承诺。通过与社区的紧密合作,AMD能够迅速发现和修复软件中的潜在问题,确保产品的高可用性和可靠性。此外,AMD还积极向社区介绍新特性,以便为客户提供更全面的支持。这种互动关系使得AMD能够及时获取宝贵的用户反馈,进而优化EPYCCPU的功能,使其更好地满足多样化的业务需求。4.5.2年度贡献计划AMD着重于支撑云计算长期发展,包括加强与龙蜥社区的技术合作,发布优化的开源工具,提升技术文档的可用性,并设立简易的技术交流渠道。同时,AMD将定期举办研讨会,分享最佳实践和新技术,以促进社区成员之间的学习和合作。4.5.3年度明星方案AMD重点致力于深度优化基于AlibabaCloudLinux的云原生数据仓库AnalyticDBforPostgreSQL。通过结合第4代AMDEPYCGenoa处理器的强大性能、自研的计算引擎以及行列混合存储架构,性能提升30%。AMD的HPC优化实例hpc8ae,以其在高性能计算领域的卓越表现,专门优化计算流体、有限元分析、多物理场模拟等复杂仿真应用,提升性价比达50%。这一系列成功案例展示了与龙蜥社区合作的实质成效,推动了云原生技术的|5.社区技术演进服务器操作系统作为计算产业生态承上启下的关键一环,必然会因数据中心算力产业的技术创新而快速发展。未来3-5年,算力产业正经历发展的大变局,在传统通用算力和新兴智能算力两大方向上,产业面临着完全不同的问题,这些问题给操作系统生态建设带来了前所未有的机遇和挑战。在传统通用算力方向上,操作系统生态需要应对长期碎片化、多元化的发展的挑战。在行业技术演进定律,如摩尔定律(Moore'sLaw)失效,用户成本和效率的需求驱动下,CPU算力多元化已经成为发展趋势。国际上,围绕x86、ARM、RISC-V软硬件生态的发展将长期并存;在国内,在CPU创新发展的探索和落地过程中,伴随着多样指令集生态的竞争发在新兴智能算力方向上,操作系统生态需要应对在技术高速演进中协同发展的挑战。在行业技术演进定律,如规模定律 (ScalingLaw),以及Al原生应用的双轮驱动下,AI基础设施和Al应用技术都处于高速的迭代过程中。一础设施供应链交付面临可靠性和交付效率的挑战,操作系统需要在SystemforAI方向上,进一步演进和迭代。另一方面,操作系统自身也面临拥抱Al原生技术,在AlforSystem方面,应用Al新技术、新算法,通过突破创新,实现自我变革。如下图所示:龙蜥社区:九大技术方向编安软运社程全硬维区语可件AnolisOS产品矩阵与基言信第五章·社区技术演进第五章·社区技术演进5.1.2软硬件协同硬件全栈协同提供了空间。社区也在此领域推动了CIPU、DPU等相关软硬件协同标准的制定,实现了VIRTIO、xQUIC、SMC-R等接口或协议技术在社区伙伴业务上的规模化部署使用,并积极布局全链路的系统软件栈编译优化技术,在软硬件5.1.3业务平滑迁移5.1.4保障业务稳定可靠运行用户业务的稳定运行是基础设施要完成的最重要工作之一。这就需要经过大规模实践检验的运维技术。在社区伙伴的贡献下,龙蜥社区先后成立了系统运维SIG和eBPFSIG,孵化了SysOM、SysAK、Coolbpf等运维项目。SysOM(SystemOperation&Main户,用户可以在同一个平台上进行主机管理、系统监控、异eBPF应用开发编译的门槛,创新地提出远程编译思想当前社区已经形成了以AnolisOS为核心的操作系统发行版矩阵,形成了包括LifseaOS、AlibabaCloudLinux3、统信服务器操作系统V20、银河麒麟高级服务器操作系统V10、中标麒麟高级服务器操作系统V7、浪潮信息KeyarchOSV5.8SP1、方德高可信服务器操作系统V4.0、新支点服务器操作系统V6、中国移动BC-Linux、凝思安全操作系统、新华三磐宁服务器操作系统V3.0等在内的上下游发行版。同时,社区已发布了AnolisOS23版构建,基于该理论对发行版软件包进行筛选,制定维护策略,为用户提供安全、稳定、可靠的操作系统发行版。2024年,以达成“开源生态发展合作倡议”的发布为标志,龙蜥社区技术生态与产业协作发展进入新阶段。开源社区往往采用传统开源软件的研发模式,即采用集市模式进行开发,各发行版在软件架构层面缺少共识,操作系统开发和运维人员、操作系统服务提供商在进行发行版研发,核心软件选择,安全漏洞修复,软件版本维护时缺少对相关问题的决策依据和评判标准,给操作系统厂商和终端用户在软件版本选择、维护等方面造成困扰。倡议书提出三点倡议,一是推动操作系统内核等关键共性技术链统一,同时尊重并维护各社区的原创性和独立发展,共同塑造核心统一、中立开放、个性独立的开源社区版本。二是推动操作系统企业、上下游软硬件企业加强对话交流和产业协商,广泛凝聚生态建设共识,形成覆盖全操作系统生态的合作机制,共同做强做优做大创新操作系统生态。三是推动全球开源操作系统共融共建,加快培育各类开源领域人才,为世界开源生态发展作出重要贡经过大家的共同努力,我们对于操作系统的一些核心组件的开发和维护形成重要共识,共同选定了Linux6.6作为下一个操作系统版本的基线内核,这个基线内核不仅仅是6.6这么一个数字,对于内核的核心接口比如KCONFIG,KABI等方面也形成了统一的规范,在一些面向上下游生态的核心软件包比如GLIBC,GCC,LLVM和binutils的版本,还有200多个核心的软件包版本也都达成了初步的一致。目前的工作虽然只是一小步,但这是各家社区共同努力共同推动的结果,也是中国操作系统生态发展建设中最重要的一步。龙蜥社区将会与社区合作伙伴一起,继续积极参与国际开源社区的技术合作,并与其它四家社区一起,协同操作系统上下游厂商,解决好生态的兼容性问题,服务好社区的开发者和用户。为应对未来数据中心的发展趋势,抓住CentOS停服替代、“Al+云”原生应用的创新机会,龙蜥社区的九大技术方向,第五章·社区技术演进第五章·社区技术演进●AnolisOS23的生态衍生合作计划AnolisOS8作为社区主力操作系统,主要是解决CentOS生态的继承和自主演进问题。服务器操作系统的主流场景,即“Al+云”重新思考选型的服务器操作系统,当的操作系统,担负起了重塑中国系统软件供应链的重任。因此,AnolisOS23将是龙蜥社区连接过去、现在、未来的新一代操作系统。这里社区版本的合作研发,以及基于社区版本的商业衍生合作,将是未来几年社区发展的主航道。目前已有5家重要理事单位(统信、中科方德、浪潮信息、中兴通讯、阿里云)依据AnolisOS23研发节奏为基础,分别预计会于2025年上半年左右陆续发布统信软件操作系统技术预览版、中科方德服务器操作系统技术预览版、浪潮信息操作系统技术预览版、中兴新支点服务器操作系统预览版、AlibabaCloudLinux4技术预览版。AnolisOS23.1GA版本已落地并集成三大社区(龙蜥、开源欧拉和鸥栖)核心软件包版本实现统一规范,该成果是龙蜥(OpenAnolis)、开源欧拉(openEuler)和鸥栖(OpenCloudOS)三家社区,在广泛征求操作系统企业及相关上下游软硬件厂商的意见后,基于服务器操作系统场景,在操作系统内CentOS2024年6月全面停服。Linux社区用户,以及龙蜥社区相关厂商服务的客户,均面临CentOS停服的增量算力OS部署的选型问题,以及存量算力CentOS的系统安全问题。这里需要社区服务+商业服务的双管齐下,才能解决客户的问题。社区及时推出了AnolisOS7延保服务,在2024年6月30日EOL的基础上为用户提供免费四年时间的ELS延保服务,即延保至2028年6月30日,期间龙蜥社区为用户提供包含重大CVE修复、缺陷修复等相关支持服务。延保结束后,龙蜥社区将停止对AnolisOS7的维护更新及技术支持,请尽快升级到AnolisOS●AI应用推广计划AI原生时代开启,企业的产品、技术、服务全面拥抱AI技术,随之而来的就是Al原生,推动云原生和CentOS替代的加速。因此Al原生是未来基础软件产业发展的新动能。面向Al原生应用重新思考和设计服务器OS软件栈,是面向下一代AlInfra要长期思考的问题。社区Al应用推广计划布局了OSCopilot语料知识库、Al容器商业化参考实现、智能运维、Al容器发布及兼容性测试、Al服务器多元异构算力商业参考实现等方向。在社区理事单位、合作伙伴阿里云、浪潮信息、龙芯、代表性AI芯片等头部厂商的牵引推动下,已启动了Al知识库、AI容器镜像、多元异构算力方向建设,并跟社区Al龙蜥操作系统开源社区白皮书龙蜥操作系统AnolisOS是OpenAnolis龙蜥社区发行的开源Linux发行版,兼容主流Linux发行版操作习惯,支持多计算架构,提供稳定、高性能、安全、可靠的操作系统服务。当前AnolisOS提供AnolisOS7、AnolisOS8和AnolisOS23三个主要版本。三个主要版本均集成ANCK内核版本(AnolisCloudKernel,Anolis云内核),ANCK是由社区CloudKernelSIG组基于上游Kernel研发,一款定制优化版的内核产品,在CloudKernel中实现了若干针对云基础设施和产品而优化的特性和改进功能,旨在提高云端和云下客户的使用体验。与其他Linux内核产品类似,CloudKernel理论上可以运行于几乎所有常见的Linux发行版中。关于AnolisOS生命周期版本维护能力是操作系统提供服务的重要能力之一,本文介绍了龙蜥社区提供的AnolisOS各版本的维护生命周期,以及生命周期各个维护阶段所提供的服务支持能力。生命周期涉及术语解释长期支持版本和主版本龙蜥操作系统AnolisOS有长期支持版本和主版本。●长期支持(Long-TermSupport,LTS)版本:有更长的支持周期,维护周期至少5年。AnolisOSLTS版本在发布和维护阶段有如下特点:主版本:维护周期相对短,维护周期不超过5年。AnolisOS主版本在发布和维护阶段有如下特点:第六章·原生技术概览第六章·原生技术概览大版本与小版本维护周期不同支持阶段开发支持阶段●OpenAnolis龙蜥社区推荐的软件功能增强、新AnolisOS会提供Errata展示相关详情,并提供对应的内核包新版本)下载。●针对软件兼容性需求和问题,可流转入Anol时不遵循"内核二进制接口(kABI)兼容性"规范标准。在维护支持阶段,AnolisOS会提供如下支持:提供支持的缺陷修复(ANBA)。当上述修复可用时,AnolisOS会以勘误表(Errata)的形式提供修复详情,以及对应的RPM包下载**;**如有必要,会提供优选更新(QualityUpdat机镜像。●新硬件的支持,以及硬件功能增强支持,在维护支持阶段不承诺100%提供。但是如有必要,会经过OpenAnolis扩展维护支持(ExtendedMaintenanceSupport,EMS)阶段,也称为扩展更新支持(ExtendedUpdateSupport,EUS),出现在新的小版本或大版本发布后,可以给无法立刻升级到新的小版本的客户一个适当的过渡期,对于客户平滑迁移业务较为友好。在AnolisoS8中,AnolisOS8.2、AnolisOS8.6也存在一个短时间的扩展维护支持阶段。扩展维护支持阶段支持力度不超过维护支持阶段的支持力度。●对于AnolisOS8.2段,在AnolisOS8.4发布后,依然提供相关支持到2022年3月30日。在次日起之后,请所有用户尽快升级到●对于AnolisOS8.6来说,由于AnolisOS8.8对比8.6有更多的特性升级,为了给已经使用AnolisOS8.6的客户提供更平稳的过渡,在AnolisOS8.8发布后,依然提供相关支持到2024年3月30日。在次日起之后,请所有版本后缀说明常见的版本后缀标识了一个小版本周期内的不同阶段,有时候也展示了不同的开发阶段。现存的版本后缀如下:固定,不因开发阶段改变而改变LTS的性质。小版本不存在LTS或主版本的概念。例如:"AnolisOS8.2是一个LTS版本"这个说法是错误的。段,通常会形成Beta→RC→GA甚至Beta→RC1→RC2….RCn→GA等多个测试版本。在发布周期较为乐观的第六章原生技术概览第六章原生技术概览全版本生命周期一览(最新)01Q2|Q304010203图例开发支持阶段1■开发支持阶段2=维护支持阶段扩展支持阶段(ELS)●AnolisOS7,结束日期是2028年6月30日。段。整体结束的支持日期为2031年4月30日。开发支持」阶段,和为期3年的「维护支持阶段」。AnolisOS23整体结束的支持日期为2030年6月30日。●下一个重要的版本名为AnolisOS27LTS,预计2027年2季度发布,将于2034年2季度结束支持。小版本生命周期AnolisO5892024年Anolis05231Anolis0523.3(原25.0)AnolisOS23.4(原25.1)AnolsOS23.5(原25.2)Anolis0523.6(原25.3)图例开发支持1■开发支持2架构选型原则在内核选型方面,龙蜥社区会考虑ANCK支持IntelGNR、AMDTurin等下一代主力机型,以及飞腾、海光、鲲鹏、龙芯、申威等国产主力芯片的需求,并通过与国内外主流厂商及合作伙伴(包括但不限于芯片、操作系统、云计算、服务器等厂商)的沟通,最终决策ANCK采用上游某个LTS稳定分支内核作为产品内核,然后通过回合上游主线和自研等新ANCK5.10重要自研/回合特性如下:避免不同cookie的任务同时运行在一个物理核的不同HT上,有效避免侧信道攻击。●HTawarequota技术:在任务使用coresched特性的情况下,通过感知HT对端是否●cgroup级别的SCHED_IDLE:可通过设置目标cgroup的cpu.idle属性来使得该cgroup的调度策略成为●CPU动态隔离技术:将不同CPU核心或CPU集群分配给不同任务,可避免任务间系统性能和稳定性。该功能支持系统运行时动态更改CPU隔离配置cgroup分配到一个合适的分区●异步unthrottle(解限流)特性:将unthrottle的操作异步化,减少单次unthrottle耗时,避免因单次unthrottle内存第六章·原生技术概览●multi-pcp功能:支持在per-core中保留order大于0的内存页,避免在分配高内存第六章·原生技术概览●HVO(HugeTLBVmemmapOptimization):HVO可以降低大页内存所对应的vmemmap内存占用。其原理是把一个大页在vmemmap中所有structpage的虚拟地址都映射到同一个物理地址,以此释放structpage所占用的。●cachestat:新增cachestat系统调用,用于查询指定文件指定范围的缓存状态,并总结了缓存页数、脏页数、标记为写回的页面、最近被逐出页面等统计数据。●mglru:支持了改进内存页回收能力的mglru,能够在大数据场景改善内存回收的速率和准确性,提升e2e性能。●batchTLBflushing特性:该特性重构migrate_pages()实现并实现TLBflush的批处理,在此基础上可以实现内存拷贝的硬件加速。●THPZSR:THPZSR可解决使用THP带来的内存膨胀问题。该功能会把透明大页拆分为小页面,并将其中的全零页面(zerosubpage)回收,从而避免内存的快速膨胀引发OOM。●pagecache(文件缓存)限制功能:用于解决因pagecache无限制使用带来的系统稳定性问题,例如业务抖动、预期外的内存溢出OOM(OutOfMemory)等。支持以memcg为粒度对pagecache使用进行限制,对超过限制的pagecache进行异步回收或者同步回收。●pagecache(文件缓存)预留功能:通过为pagecache(文件缓存)设置预留内存空间,解决因大量匿名页申请导致文件缓存颠簸的问题,从而缓解因持续回收pagecache所引发的系统稳定性问题(例如无法触发OOM)。●OOT内存定向隔离功能:0OT(OutOfTree)驱动质量存在差异,常常出现useafterfree内存错误以及越界访问等问题。通过对OOT驱动的内存池进行隔离,确保被破坏的内存不会被分配至其他模块,使得OOT驱动破坏的仅为其自身的内存。从而能够快速界定问题,减少排查与修复所需的时间,进而降低业务损失。●内存资源隔离能力增强:务响应延迟,造成性能抖动。此功能允许以memcg粒度锁住程序的代码段内存,防止核心程序的代码段所属内存被频繁换入换出的问题。龙蜥操作系统开源社区白皮书●Kildled冷内存回收:回收冷内存,降低内存成本。●kfence增强:KFENCE功能进行了增强,支持灵活的动态开关KFENCE以及全面捕获内存污染问题,从而兼顾了线上探测与线下调试的需求。●tmpfs零页填充:当发生文件hole的readfault时,通过系统零页来填充,避免内存浪费,节省成本。●页表共享:通过对共享内存的页表进行共享,可以避免大避免重复页表页申请,节省内存成本。●代码多副本:在NUMA架构(尤其是ARM实例)中,不同NUMA节点具有各自的本地内存,当一个NUMA节点上的程序或进程需要访问其他NUMA节点的代码段时,就会引入额外的延迟和性能开销。通过代码多副本功能,可以将远程节点的代码段复制到本地节点,避免了跨节点访问,从而解决NUMA架构中因跨节点访问带来的性能延迟问题。●Asyncfork:Async-fork将fork调用过程中最耗时的页表拷贝部分从父进程移动到子进程,父进程因而可以快速返回用户态处理用户查询,子进程则在此期间完成页表拷贝。为了保持父子进程之间的数据一致性,我们设计了一套高效的主动同步机制。实验结果表明,与Linux中的默认fork相比,Async-fork显著减少了快照期间到达请求的尾延迟。●代码大页:代码大页(HugePages)是基于透明大页THP(TransparentHugePages)进行的优化扩展,支持将应用程序和动态链接库的可执行部分放入到大页(通常是2MB或更大)中,有助于降低程序的iTLBmiss,并提升CPU的2MBiTLB利用率,避免内存碎片化或内存膨胀问题,提高内存利用效率,适用于数据库、大型应用程序等大代码段业务场景。●FastOOM特性:在云原生容器场景,容器内存耗尽导致容器OOM,一般这种OOM会造成系统抖动和对相邻容器的干扰,因此快速OOM可以降低这样的局部容器OOM对整机的影响,提升系统的容错和快速恢复能力。第六章·原生技术概览第六章·原生技术概览oio_uringnvmepassthrough:将实际执行的文件操oio_uringpercpusqthreadpolling:支持多个io_uring实例共享同一个sqthread,优化cpu开销并降低上下文切换延时。高性能用户态块设备ublk:支持基于io_uringpassthrough机制的高性能用户态块设备ublk,提供分布式存储a支持subpage块大小,例如512字节块大小,可应用于容器镜像场景中erofs直接索引容器镜像的tar包,省去容器镜像生命周期管理中tar包的untar以及清理流程,从而提升性能和稳定性,并提升容器镜像作为goldenimage的安全性。支持erofs的flattenedblockdevice模式,使得mu支持透明压缩和全局压缩去重,支持LZ4,LZMA,deflate,Zstd等压缩算法。XFS16k原子写:基于XFSCow机制自研16k原子写特性,相比MySQL默认打开双写,有至多50%的性能提升,同时显著减少磁盘lO。该方案的优势在于不依赖硬件,且无运行时I0链路配置依赖。支持延迟inodeinactivation特性该特性将回收放到后台O支持daxreflink。●oExt4append写优化:优化Ext4delallocappend写场景(典型的如业务写日志)多余的i_disksize更新操作,在kafka小包场景性能提升10%。6ext4修复0_DIRECT+0_SYNC语义问题。该问题将导致append写的场景文件落盘的长度没有及时更新,此时如果异常掉电将无法读取写入的数据。●o。ofuseCTO缓存一致性模型增强,适用于依赖强一致性的分布式文件系统(如NFS)后端,并增强相关监控。fusefdpassthrough增强:常用场景的IO延迟降低到先前的10%。fusefdattach增强:可无损恢复fuse挂载点连接,提升生产环境的稳定性。跨namespace传递fuse挂载点支持:实现fuse挂载点在非特权容器间的传播,提供一种基于fuse的远端存储在云原生场景下的解决方案。支持fusedaemon在故障恢复之后,可以请求对故障期间的请求进行重发。支持bg_queue读写分离和公平性优化。支持多队列。支持cache=none模式下sharedmmap。可以动态解决这种问题。oocgroupv1支持blockthrottle限流和iocost权重控制。lOhang检测:通过扩展核心数据结构,提供相关接口导出IOhang信息,辅助快速分析和定位IOhang原因。tcmu_loop设备支持参数可配置,如can_queue,nr_hw_queues,cmd_per_lun,sg_tablesize等,当后端设备能力足够大的时候,调大这些参数能明显提升性能。大块10的IOPS限流功能优化:解决blockthrottle因大块l0(典型的如bufferIO场景)可能存在的拆分导致lOPS限流不准确的问题。避免预分配大的SGLbuffer,以优化virtio-blk设备的10内存占用,对高密安全容器场景非常有用。驱动●UDP分段卸载(USO)技术:支持将大报文分割成携带传输头的小报文,从而提高在复杂网络环境下的转发效率和报文接收性能。●基于虚拟内存分配的xdpsocket创建优化:通过vmalloc虚拟内存分配技术提升成功创建可能性,避免物理内存碎片化导致的分配失败问题。●TSQ性能优化:virtio-net通过默认使能txnapi,以优化TCPSmallQueue的发送性能。●依托eBPF的强大能力,提供了基于eBPF的tcprt,vtoa等功能的支持,相比于内核模块方案,eBPF方案提供了更强大的能力。●支持SMC内核网络协议栈:配合硬件RDMA技术提供共享内存通信,透明加速TCP以获得更低的网络时延和CPU使用率。●添加dwc_rootportPMU驱动。添加dwc_rootportPMU驱动,使perf工具可以采集到硬件支持的PMU事件,用于分析PClerootport性能。●支持以perfmetric的形式对性能问题进行topdown分析,提升CPUPMU的易用性。●支持倚天Arm-SPE特性,完善perf工具,可支持检测倚天平台内存瓶颈和伪共享问题。●支持按照net、block、gpu领域的方式进行模块签名校验。●优化PCI驱动遍历/proc/bus/pci/devices的性能。●正式支持NVMeoverTCP、NVMeoverRDMA以及nvme-multipath特性,打开相应Kconfig以及回合上游补丁增强稳定性。第六章原生技术概览第六章原生技术概览●OOT驱动基线建立,当前驱动基线已有mellanox、ice、i40e、mpt3sas、mpi3mr等25+的驱动。●增强softlockup检测功能:可直接区分导致softlockup的原因是中断风暴、软中断执行时间长还是内核任务执行时间长这三种情况中的哪种,提高问题分析效率。●支持倚天710CMN-700PMU驱动。●支持倚天710DDRCPMU驱动。●支持SEA异常内存隔离。●支持倚天710mpam驱动。o。o让guest内存on-demand的accept,加速大规格内存实例启动速度提高200%。TDXguest的启动速度优化:通过优化cpuidle的实现,加速TDXguest内核的启动速度50%。第六章第六章·原生技术概览●可信计算:支持IntelGNR的lbrlogevent,扩展了branchstack事件的信息。完整支持了scalable-iov,可以基于硬件提供跟细粒度的10资源虚拟化。支持了IntelIOMMU的slad,为10设备热迁移提供了脏页追踪的功能。支持SRF平台SchedCluster;SRF取消了超线程,4个Core共享L2cache。支持新平台指令,包括AMXFP16,AVX10,CMPccXADD,SWPr龙蜥操作系统开源社区白皮书●加速器:海光内核密码模块CCP(CryptographicCoprocessor):ANCK6.6重要自研/回合特性如下:行时共享CPU核心的硬件资源竞争情况。●HTawarequota技术:在任务使用coresched特性的情况下,通过感知HT对端是否空闲来控制消耗cfsquota的速率,使任务在每个调度周期执行的指令数量大致相同,从而达到可预期算力交付的效果,适用于计算型任务。系统性能和稳定性。该功能支持系统运行时动态更改CPU隔离配置,适应运行时关键任务变化场景,提升CPU资源利用率。●schedsli,富容器:采集并统计容器级别的cpu使用率,loadavg,调度延迟等指标,提供了容器资源视图功能的相关接口,实现对容器资源的可见性增强,可以用于评估容器的负载及资源使用情况。●细粒度优先级:提供更细粒度的抢占优先级,当唤醒优先级高的任务时,可以更容易抢占优先级低的任务,在混部场景下能降低高优先级任务的长尾延迟。●mTHP支持:随着业务内存使用越来越大的趋势,使用mTHP来管理内存,可以在兼顾更好的业务生态的基础上,让应用更好的享受大内存带来的性能优势。●Asyncfork:Async-fork将fork调用过程中最耗时的页表拷贝部分从父进程移动到子进程,父进程因而可以快速返回用户态处理用户查询,子进程则在此期间完成页表拷贝。为了保持父子进程之间的数据一致性,设计了一套高效的主动同步机制。实验结果表明,与Linux中的默认fork相比,Async-fork显著减少了快照期间到达请求的尾延迟。kfence增强:KFENCE功能进行了增强,支持灵活的动态开关KFENCE以及全面捕获内存污染问题,从而兼顾了线上探测与线下调试的需求。●●●●●网络稳定性第六章第六章·原生技术概览99●添加dwc_rootportPMU驱动。添加dwc_rootportPMU驱动,使perf工具可以采集到硬件支持的PMU事件,●0OT驱动基线,当前6.6内核支持的OOT有23.10版本的mellanox驱动。第六章·原生技术概览第六章·原生技术概览●支持倚天cpuinfo信息增强。●10虚拟化:龙蜥操作系统开源社区白皮书加速器:随着ANCK5.10/6.6版本的持续演进,会有越来越多的新特性合入,请持续关注ANCK的ReleaseNote:/si龙蜥社区以及广大ISV/IHV/OSV合作厂商,在发布各类软件、硬件、龙蜥操作系统及衍生版等产品时,均需要评估验证各自产品的兼容性。为此,龙蜥社区针对软件、硬件、操作系统三类对象,通过配套工具、流程、文档等,提供了高效、便捷、自动的兼容性评估验证手段,推动龙蜥社区各类软硬件产品的兼容适配,繁荣龙蜥社区软硬件生态。第六章原生技术概览第六章原生技术概览软件兼容性软件兼容性,包括引入龙蜥操作系统发行版的软件、业界主流开源软件和商业软件的兼容性,龙蜥社区提供了差异化的兼容性验证流程,致力于验证各类软件与龙蜥操作系统不同版本之间的兼容性,推动软件与龙蜥操作系统的兼容适配,围绕龙蜥操作系统建立完善的软件生态。软件兼容性验证主要包含以下3类:1.对于引入到龙蜥操作系统发行版的RPM软件,基于Cl-Bot、ABS和T-One等龙蜥社区基础设施,建立了一套统一专业的CICD流程,对引入的软件包进行源码扫描、SPEC检查2.对于业界主流的上游活跃开源软件,以源码安装运行方式,在龙蜥操作系统上进行兼容性验证,保障开源软件最新发龙蜥操作系统用户可以通过龙蜥社区软件兼容性列表查询相关软件与龙蜥操作系统某个发行版本的兼容性。龙蜥社区软件兼容性SIG会持续发布和更新软件兼容性列表,持续推动龙蜥社区软件生态建设。开始开始注册用户申请龙蜥实验室环境新塔测试申请填写认证申请详情进人审核阶段N审核通过证书寄回社区存档发布到兼容性列表结束查看修改意见,修改后重新提交日志日志龙蜥操作系统开源社区白皮书针对硬件兼容性,龙蜥社区提供了ancert硬件兼容性测试套件,致力于验证硬件设备集成商等厂商发布的整机服务器和各种板卡外设与龙蜥操作系统不同版本之间的兼容性,推动社区发行版在各种硬件设备上的适配,围绕龙蜥操作系统建立完善的硬件生态。目前,ancert支持服务器整机和NIC、HBA、FC、GPU、NVMe等多种外设,以及DPU与龙蜥操作系统的硬件兼容性测试。主要技术特点:●跨平台,支持x86、ARM、LoongArch等不同架构。●支持各种硬件设备的探测,识别,分类,展示。●RPM包形式发布,同时支持单机、多机测试环境。●一款自动化测试框架,支持自动化,并发测试等。●支持Python,Shell等语言编写的测试用例。网络……此外,龙蜥社区硬件兼容性SIG构建了完整的硬件设备兼容性测试申请流程,包括:验证标准,申请流程,硬件测试,结果验证,列表发布等流程。社区用户,IHV或者硬件设备集成商等通过安装龙蜥操作系统硬件兼容性验证工具ancert,对相关硬件设备执行兼容性第六章第六章·原生技术概览测试,并将测试结果提交到龙蜥社区硬件兼容性列表,测试结果经过龙蜥社区硬件兼容性SIG审核通过之后就可以发布到龙蜥社区硬件兼容性列表上。龙蜥操作系统用户可以通过龙蜥社区硬件兼容性列表查询相关硬件设备与龙蜥操作系统某个版本的兼容性。龙蜥社区硬件兼容性SIG会持续发布和更新硬件兼容性列表,持续推动龙蜥社区硬件生态建设。准备SUT和LTS环境龙蜥OSYYNYYNN针对操作系统兼容性,龙蜥社区提供了ANCE(ANolisCompatibilityEvaluation)操作系统兼容性分析评估工具,可被应用于操作系统迁移、龙蜥操作系统兼容性测试、OSV衍生版认证等多种场景,致力于推动国产化操作系统的迁移和替代,保障龙蜥操作系统发行版的前向兼容性,以及衍生版与龙蜥社区技术路线的一致性,降低社区重复适配成本。●跨平台,支持x86,ARM不同架构,支持AnolisOS、CentOS等不同发行版及衍生版。●丰富的评估维度,包括软件包、内核、系统环境、应用依赖4大类共20项评估维度。O软件包包括ABI、API、CL、conf配置、service配置、provides、requires。O内核包括kABI、kconfig、内核动态参数、内核启动参数、内核模块、系统调用。O系统环境包括系统服务、系统命令、环境变量、网络端口。O应用依赖包括依赖RPM包、依赖系统命令、依赖so库。●支持多种评估对象,包括静态的ISO、RPM文件,以及动态的OS运行时环境。●RPM包形式发布,支持离线部署使用,或被集成其他平台使用。应用场景应用场景软件包评估ANCE工具内核评估x86_64aarch64系统环境评估应用依赖评估操作系统迁移评估OSV衍生版认证操作系统兼容性测试支持OS对于操作系统迁移场景,通过与SysOM平台结合,简化迁移前后的步骤,加速操作系统迁移和替代。对于龙蜥操作系统兼容性测试场景,主要验证发行版小版本迭代的前向兼容性。对于OSV衍生版认证场景,主要验证OSV厂商发布的龙蜥衍生版与龙蜥发行版的亲缘性,保障与龙蜥社区技术路线的一致性,并享有龙蜥社区既有软硬件兼容性生态,降低社区重复适配成本。第六章·原生技术概览随着容器技术成熟,基于容器镜像部署应用,基于k8s管理应用逐步成为大家共识,越来越多企业和应用投身到了容器化部署改造升级进程。但是随着容器化使用越来越多,原有基于namespace+cgroup的隔离方式也面临着越来越多的挑战:1.多个容器共享内核,内核锁、访存竞争等系列干扰对容器应用性能的干扰2.多租场景共享内核带来的安全风险基于这些问题,社区提出来了基于kata的安全容器架构,通过将虚拟化技术和容器技术结合,并直接对接k8s社区,很好的解决了探索过程中我们碰到了很多问题,比如社区原有katacontainers资源开销比较大,每个安全容器资源开销超过100MB,启动也很虚拟化边界Host进程virtiofs用Rust实现VMMDragonball:让原有VMM的内存资源开销从100+MB下降到3MB。即使是128M实例的开销也在可接通过上述技术突破,RunD目前已在生产环境部署并支持单节点4000安全容器、200/s并发、200ms启动。技术应用场景2.可信&不可信容器混合部署,例如:大技术影响力RunD经历过大规模生产环境的考验,相关成果也已汇总为学术论文发表在2022年USENIXATC、2023年SOSP上。当背景介绍及可复现构建等需求,且通用文件系统冷门特性会增加格式复杂度,影响分发和执行环节的安全性和可控性,因此打造技术方案直接访问等特性,于Linux5.4正式合入Linux主线。在容器镜像领域,通过与CNComposefs、阿里云DADIOverlayBD等方案深度融合,打造FS-Cache,TarFS等技术,服务容器runC、Kata、gVisor等场景。在终端领域已成为AndroidOpenSourceProject推荐的系统分区文件系统格式。●继XFS文件系统后Linux社区上游第二个原生支持透明大页(largefolios)的主流磁盘文件系统,领先EXT4。●提供OCI标准镜像免解压TarFS技术提升性能,实●除传统块设备外,支持基于文件挂载,提升容器高密场应用场景:容器/App/系统镜像,软件包管理,Al数据分发,函数计算,机密计算,无盘启动,安装器等。基于EROFS+FS-Cache优化Nydus镜像按需加载EROFSoverFS-Cache是龙蜥社区牵头为Nydus和EROFS开发的下一代容器镜像按需加载技术,同时也是Linux内核原生的镜像按需加载特性,于5.19合入内核社区主线。该方案将按需加载的缓存管理通过FS-Cache框架下沉到内核态执行,当镜像已在本地缓存时,相比用户态方案可有效避免内核态/用户态上下文切换和内存拷贝;当缓存未命中时,再通知用户态通过网络获取数据,做到真正的“按需”,非按需场景下实现几乎无损的性能和稳定性。Nydusd第六章第六章·原生技术概览在按需加载场景,EROFSoverFS-Cache相比FUSE性wordpressE2E启动时间基于EROFSTarFS技术优化OCI容器镜像●无法做只读/防写入保护。tarerofsOCILAYERo文件OCILAYERo文件tarerofs在containerd非按需场景,对比当前默认的overlayfssnapshotter,EROFSsnapshotter启动性能更优:wordpressE2E启动时间第六章第六章·原生技术概览AI容器基础生态简介基于AnolisOS构建AI生态的优势强大的指标监控管体系强大的指标监控管体系AlframeworkonAMD软硬件优化阿里云上alibbacloudlinux的O5占有率第一(超过centos)AnolisO5下载量达到250万+AC2产品优势最佳的OS售后服务AI在05上的兜底服务能力(如GPU驱动问题、网卡问题等)PyTorch在学术研究和工业应用中均占据重要地位,广泛用于开发、训练和部署各种深度学习模型的构建与优化过程中,PyTorch提供了PyTorch算子抽象了硬件设备,使得相同的一份代码可以跑在CPU、GPU等不同设备。在广泛使用的英伟达GPU、英特尔乘法实现,当前流行的Transformers结构,被包括ChatGPT龙蜥社区为ARM版本的Pytorch引入了ACL(ARMComputeLibrary)的矩阵乘法实现,通过ACL的矩阵乘法实现,可以充分发挥最新ARMCPU的计算能力,提升Pytorch在ARM平台上的性能。其时间复杂度是M*N*K级别,深度学习涉及的矩阵乘法计算量很大,比如常见的卷积操作可能就涉及5000万次计算,所发,其性能可以提升十倍以上。此外ARMv8.6A架构还引入了BF16扩展,为深度学习使用的半精度数据类型提供了指令第六章·原生技术概览第六章·原生技术概览通过矩阵乘法优化,ARMCPU上的吞吐获得了1倍左右的提升。以基于transformers框架的模型为例,只需要如下所示在TrainingArguments中增加torch_compile=True的参数即可启V

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论