软硬件融合V0.7-超异构计算革命_第1页
软硬件融合V0.7-超异构计算革命_第2页
软硬件融合V0.7-超异构计算革命_第3页
软硬件融合V0.7-超异构计算革命_第4页
软硬件融合V0.7-超异构计算革命_第5页
已阅读5页,还剩66页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

软硬件融合超异构计算革命黄朝波1.(挑战)云计算等复杂计算场景挑战2.(理论)软硬件融合综述3.(技术)软硬件融合技术基础5.(架构)基于软硬件融合的超异构计算6.(生态)构建超异构计算的开放生态1.1云计算IaaS层核心服务复杂计算:在传统AP/OS系统之上,还需要支持虚拟化、服务化,实现单设备多系统共存和跨设备多系统协同。和边缘计算、自动驾驶终端等相比,云计算系统复杂度最高,对性能、灵活性以及底层软硬件的各种要求也最高。云计算是由IaaS、PaaS以及SaaS等组成的分层服务体系,计算、存储和网络是IaaS层核心的三类服务。各类云主机,类型有:通用型、计算优化型、内存优化型、存储优化型、网络优化型、异构加速(GPU/FPGA/DSA/etc.)型等涉及技术:异构加速、网络VPC/EFA等、本地/远程存储、虚拟化、安全等本地块存储、远程块存储、对象存储、归档存储等冗余等类型:虚拟网络VPC、业务负载均衡等涉及技术:网络控制面/数据面编程,高性能网络优化,高速网络接口等主机/容器等虚拟化,用于资源隔离;虚拟化+池化,资源自由组合;多租户共享资源。提高资源利用率,降量的数据复合增长率27%,云端数据存储占08可迁移性和硬件接口一致性主机/容器等虚拟化,用于资源隔离;虚拟化+池化,资源自由组合;多租户共享资源。提高资源利用率,降量的数据复合增长率27%,云端数据存储占08可迁移性和硬件接口一致性务器迁移。硬件接口直通VM,需要不同厂家硬件接口一致性。09特定场景服务杂的网络关键是带宽和延迟,还要关注域间隔离和跨域访问,以及访问控制、快速网络变更等。06弹性和可扩展性横向扩展,资源数量的增减;纵向扩展,资源容量或性能的升降。01超大的规模AWS01超大的规模AWS拥有超过400万台服务器,分布在全球22个地理区域和69个可用区。07复杂系统解构微服务/云原生,更多东西向流量。复杂系统不断解构,与多租户、多0505安全问题网络安全、数据安全、可信根及“零信任”、可信计算等。资源池化后,通过CPU、内存、存储、网络等资源的不同比例再组合,扩展出特定场景优化的实例类型。1.301性能和灵活性性能和灵活性是矛盾,复杂系统灵活性优先于性能。如何不损失灵活1.301性能和灵活性性能和灵活性是矛盾,复杂系统灵活性优先于性能。如何不损失灵活性的同时,持续不断的提升性能?04业务和基础设施分离业务和基础设施相互干扰,基础04业务和基础设施分离业务和基础设施相互干扰,基础设施资源占比越来越大;基础设施层05接口的弹性接口既要虚拟化,又要标准化,还要多种设备类型共存,更高的要求是接口的高可扩展性和可编程性。05接口的弹性接口既要虚拟化,又要标准化,还要多种设备类型共存,更高的要求是接口的高可扩展性和可编程性。02业务异构加速02业务异构加速交互的代价,系统复杂度,加速效率,更多场景覆盖,开发门槛等。03工作任务卸载数据和控制平面,局部卸载or整体卸载。现有系统兼容,“用户无感”,不同任务/系统间的交互。芯片NRE费用高,设计周期2年,生命周期4年。如何覆盖不同客户业务的差异性和业务的长期快速迭代。06硬件引擎的虚拟化和个性化类06硬件引擎的虚拟化和个性化类似于CPU多线程,硬件引擎需要支持多线程处理,每个线程有自己高可用是复杂计算场景的关键要求,如何实现硬件级别的高可用性和冗台应对上述所有挑战软件硬件软硬件微服务务客户端及其他软件硬件抽象层硬件抽象层硬件抽象层边缘服务器 终端设备 微服务软件硬件软硬件微服务务客户端及其他软件硬件抽象层硬件抽象层硬件抽象层边缘服务器 终端设备 微服务云网边端,算力需求不断提高,系统复杂度不断提高,对硬件的灵活可编程性要求也越来越高。微服务可自适应的在云、网、边、端运行,需要云数据中心内部,以及跨云边端的硬件平台一致性。需要芯片、系统、框架和库、以及上层应用的多方协同。云端服务器 或超异构SOC)2.1软硬件融合的背景软件应用层出不穷,并且快速迭代。两年一个热点,已有热点技术仍在快速演进。同一领域,不同用户业务仍存在差异化,以及单个用户业务的长期快速迭代。plet来越难以驾驭,研发成本及风险越来越高。CPU性能瓶颈。但单台服务器承载的工作负载数量和单个负载的算力消耗仍在增加,需要硬件加速。也使得芯片无法大规模落地。软硬件之间的鸿沟越来越大。CPU软件性能低下,定制ASIC难以大规模落地。软件迭代越来越快,硬件迭代却越来越慢。芯片高投入高风险,制约着软件的发展。指令是软件和硬件的媒介,指令的复杂度(单位计算密度)决定了系统的软硬件解耦程度。按照指令的复杂度,典型的处理器平台大致分为从左往右,单位计算越来越复杂。性能越来越好,而灵活性越来越低。任务在指令是软件和硬件的媒介,指令的复杂度(单位计算密度)决定了系统的软硬件解耦程度。按照指令的复杂度,典型的处理器平台大致分为从左往右,单位计算越来越复杂。性能越来越好,而灵活性越来越低。任务在CPU运行,则定义为软件运行;任务在协处速运行。更高的灵活性√更低的性能更低的灵活性各类处理器都在不断拓展自身的边界:CPU集成协处理器,不断扩展硬件加速指令集。例ATensor各类处理器都在不断拓展自身的边界:CPU集成协处理器,不断扩展硬件加速指令集。例ATensor超异构计算成为发展趋势:异构计算从单异构、多异构走向超异构既要性能不断提升,还要保持灵活可编程性。构/异构:单类型引擎,优劣势共存;超异构:分工协作,优势互补。CPU传统异构CPU+xPU异构异构CPUGPUDSA+etc.软硬件融合创新处理引擎介于两者之间,是不同比例软硬件混合态。基于软硬件引擎的分层跟系统分层是不同的概念。动态:任务最合适的处理引擎,并非一成不变,而是随(Offload)/上浮(Onload)。软硬件融合不改变系统层次结构和组件间的交互关系,但打破传统软硬件的界限,系统的、动态的重构软硬件划分/协同,优。传统分层很清晰,下层硬件上层软件。软硬件融合的分层分块,每处理引擎介于两者之间,是不同比例软硬件混合态。基于软硬件引擎的分层跟系统分层是不同的概念。动态:任务最合适的处理引擎,并非一成不变,而是随(Offload)/上浮(Onload)。软硬件融合不改变系统层次结构和组件间的交互关系,但打破传统软硬件的界限,系统的、动态的重构软硬件划分/协同,优。传统分层很清晰,下层硬件上层软件。软硬件融合的分层分块,每个任务都是不同程度软硬件解耦基础上的再协同。软件协处理器硬件软件硬件复杂系统,由分层分块的各个组件,即工作任务(Workloads),有机组成。把工作任务映射到一个或多个处理引擎:①性能敏感,占据较多CPU资源;②广泛部署,运行于众多服务器。宏观的看,分层的系统,越上层越灵活软件①性能敏感,占据较多CPU资源;②广泛部署,运行于众多服务器。宏观的看,分层的系统,越上层越灵活软件成分越多,越下层越固定硬件成分越多。庞大的规模以及特定场景服务,使得云计算底层工作任务逐渐稳定并且逐步卸载到硬件 (被动趋势)。构,使得“硬件”更加灵活,功能也更加强大,使得更多的层次功能向“硬件”加速卸载(主动抢占)。软件硬件CPU软件(CPU)总结意义软硬件融合的根基:①分层分块的系统/宏系统;②广泛存在软硬件融合承上启下,从产品定义和系统架构开始,逐步拓展总结意义软硬件融合的根基:①分层分块的系统/宏系统;②广泛存在软硬件融合承上启下,从产品定义和系统架构开始,逐步拓展分协同的超异构计算。每个工作任务都是在软硬件均衡/解耦基础上的再协同。连接(软件之间、软硬件之间以及硬件之间的连接)和调用的极致性能和灵活性。兼顾软件灵活性和硬件高性能,实现既要又要。软硬件融合,既是理论和理念,也是方法和解决方案;让硬件更加灵活、弹性、可扩展,弥补硬件和软件之间的鸿沟;应对云计算、边缘计算及超级终端等复杂场景的挑战;解决芯片一次性成本过高导致的设计风险;等等。算算法和应用驱动、OS、框架、开发库等产品定义、系统架构微架构设计和实现工艺、封装、测试软硬件融合01个体和系统众多个体的集合,会涌现出超越个体特征的某些更高级的特征。07集中和分布云端集中,终端分布,边缘端介于04开放和封闭开放和封闭,是不同的技术路径/商08量变到质变服务器数量众多的超大规模数据中心,其许多宏观特征要求,跟小规模系01个体和系统众多个体的集合,会涌现出超越个体特征的某些更高级的特征。07集中和分布云端集中,终端分布,边缘端介于04开放和封闭开放和封闭,是不同的技术路径/商08量变到质变服务器数量众多的超大规模数据中心,其许多宏观特征要求,跟小规模系统要求,非常的不同。09软件和硬件软件定义硬件更强调软件而忽略硬件;软硬件融合更好的协调软件和02内涵和外延系统的边界在哪里?既要考虑系统内涵的业务场景,还要考虑系统的03简单和复杂给用户的产品有多简单,背后所隐藏的技术细节就有多复杂。天下武功,唯快不破;重剑无锋,大巧若工。快即是慢,慢即是快,快和慢时刻相伴。06通用和专用软硬件融合,从模糊的意识到具体的见解,有赖于对这些矛盾的思考,它们是思维深化和创新的工具。业模式选择。行业发展的未来,业模式选择。行业发展的未来,封05快与慢通用CPU唾手可得,简单灵活,但性能较低。定制的专用加速器,开发门槛高,但性能更好。云计算规模庞大,算力要求最高,系最需面向未来:系统越来越复杂,算力需软硬件融合相关技术,从云计算抽象云计算规模庞大,算力要求最高,系最需面向未来:系统越来越复杂,算力需软硬件融合相关技术,从云计算抽象IntelSVPRaja表示:要实现元宇宙级别的体验,算力至少需要提升1000倍。软硬件融合,从微观和宏观的视角,尝试解决复杂计算面临的问题。系统越复杂,软硬件融合的价值越凸显。软硬件融合系场景计算件接口软件和硬件高效的数据交互能网络03算法加速和任务卸载算法硬件实现以及任务卸载框架0件接口软件和硬件高效的数据交互能网络03算法加速和任务卸载算法硬件实现以及任务卸载框架04虚拟化的硬件加速虚拟化处理的高性能实现05异构计算加速平台加速平台④虚拟化加速DPUIPU/HPU网络软硬件接口定义CPU软件和其他硬件组件之间数据通信的接口,既包括数据面交互,也包括控制面交互。IO备接口,可以是加速器接口;更广义的,也可以是封装的高层次服务接口。基于生产者消费者模型,驱动和设备。组成部分:软件驱动、设备的硬件接口子模块、共享队列以及传输的总线。软硬件接口演进总线Fabric1.软硬件接口定义CPU软件和其他硬件组件之间数据通信的接口,既包括数据面交互,也包括控制面交互。IO备接口,可以是加速器接口;更广义的,也可以是封装的高层次服务接口。基于生产者消费者模型,驱动和设备。组成部分:软件驱动、设备的硬件接口子模块、共享队列以及传输的总线。软硬件接口演进总线Fabric1.软件轮询硬件寄存器2.硬件中断4.共享队列5.用户态软件轮询6.多队列并行CPU总线接口专用DMA硬件模块其他部分接口可以分为三类:软件和软件的接口;硬件和硬件的接口;软硬件之间的接口。3.2高性能网络云计算系统持续解构,东西向网络流量越来越多,占比越来越大;服务器堆栈延迟的问题凸显。,高可靠性(低性能抖动)、高网络利用率,如AWSSRD。务1数据交互接口任务卸载侧硬件数据交互接口任务卸载侧软件任务1机软件侧任务2的子任务A(硬件)务2务1数据交互接口任务卸载侧硬件数据交互接口任务卸载侧软件任务1机软件侧任务2的子任务A(硬件)务2务3务4任务卸载:主机软件任务卸载到独立硬件;任务卸载以算法“加速器”为核。任务卸载原则:原有调用关系不变。软件调用软件转换成软件调用硬件、硬件调用软件或硬件调用硬件。机软件侧务1务4务2任务卸载侧务2务3•架构模型,通过接口呈现虚拟化特性•流水线:指令流驱动•架构模型,通过接口呈现虚拟化特性•流水线:指令流驱动vs数据流驱动•映射机制:映射算法vs映射表•缓存机制:主动vs被动抽象是对原有对象的封装,虚拟化是抽象后的复制;虚拟资源通过时间、空间的分割以及抽象模拟共享物理资源。例如,网络虚拟化是虚拟地址到物理地址的映射,存储虚拟化是虚拟块/盘到物理块/盘的映射。总线互联(路由)FA-1…虚拟化层……总线互联(路由)……021…FPGAFPGA的硬件弹性跟云非常契合,加速框架可以覆盖较多的场景。云计算异构加速主要用于业务应用,权衡1:既要保证加速的性能,还要考虑加速的弹性。权衡2:独立或集成。GPUGPU/FPGA/DSAGPU/FPGA/DSADPUDPUGPU/FPGA/DSAGPU/FPGA/DSACPUCPUDPUCPUCPUCPUGPU/FPGA/DSADPUSmartNICSmartNIC需要有独立的加速平台,不断的把工作任务从CPU软件卸载,并硬件加速。CPU卸载网络WorkloadCPUCPUCPU。CCPUUFPGA/DSADPU/IPUIPU络DSACPUDSADPU/IPU/HPU络DSACPUCPUDSADPU/IPU/HPUCPUDSADSAIPU络DSACPUDSADPU/IPU/HPU络DSACPUCPUDSADPU/IPU/HPUCPUDSADSACPU资源完全交付;传统客户方便上云;主机侧独立安全域;物理机+虚拟机优势合并;统一公有云和私有云运维。CPU(50%↑)(50%↓)网络本地存储CPUCPUCPUGPUGPUGPUDSADSADSA本地存储本地存储CPUCPUCPUGPUGPUGPUDSADSADSA本地存储以计算为中心,指令控制流驱动计算;以数据为中心,数据流驱动计算。以DPU为中心,不完全等同于以数据为中心。DPU本身要完成大量工作任务处理。不考虑具体芯片的物理界限,整个系统是数据流驱动的超异构计算。本地存储分布式系统以数据为中心CPUGPUDSA本地存储4.4DPU/IPU是云计算的核心4.5计算和网络的融合计算和网络,通常是独立的,如今在不断融合:网络设备越来越像计算机,而计算也越来越需要网络的参与。数据在网络中流动,计算靠数据流驱动,系统的本质是数据处理,计算和网络设备都是DataProcessingUnit。CPU性能瓶颈。把虚拟化、网络、存储及安全等任务从CPU卸载到DPU加速,减轻CPU的压力。IPU成为集成加速平台,既完成基础设施层工作任务加速,CPU性能瓶颈。把虚拟化、网络、存储及安全等任务从CPU卸载到DPU加速,减轻CPU的压力。IPU成为集成加速平台,既完成基础设施层工作任务加速,IaaS服务,融入DPU,“集中管理,分布执行”,DPU成为管理运维的核心。而CPU和GPU成为扩展。计算需求的本质是算力提升,要想数量级的提升性能,就需板级系统,都是超异构架构。U网络超异构SOCUASIC传统SOC架构DPU,无法本质解决数据中心问题。DPU的出现,预示着计算逐步进入超异构。接口4.接口DPU/IPU必选功能:支持虚拟化、网络、存储和安全等基础设施层的处理,融入IaaS服务,支撑业务VM/容器,缺一不可。继续扩展业务弹性加速和业务VM/容器运行环境,成为超异构处理器HPU。 4.8AWSNitro&IntelIPU4.9NVIDIABluefield-3DPU&AltanDriveSOCNVIDIAAtlanCPUGPUDPU大SOC(即超异构处理器)。有的芯片性能狂飙,但通用灵活性低,落地规模小,无法做到升。有的算力方案,重在规模扩张,摊大饼方式无法根本上解决算力需求数量级提升的挑战。有的解决方案,执着于提升算力利用率,但改变不了算力芯片性能瓶颈的现状。芯片视角的算力提升:有的芯片性能狂飙,但通用灵活性低,落地规模小,无法做到升。有的算力方案,重在规模扩张,摊大饼方式无法根本上解决算力需求数量级提升的挑战。有的解决方案,执着于提升算力利用率,但改变不了算力芯片性能瓶颈的现状。芯片视角的算力提升:工艺进步②提高运行频率;集成更多处理引擎和异构/超异构提高进而实现宏观算力最大化。提升灵活性,资源池化,更好的支持云计③并行度;④优化和处理的匹配度。⑥提升宏观算力利x算力由性能、规模、利用率共同组成,相辅相成,缺一不可:FlexiFlexi-ityBaselinePerformancedeal算力平台性能资源效率灵活性软件生态★☆☆☆☆边际效应递减:增加晶体管资源,性能提升有限。性能瓶颈,摩尔定律失效。★☆☆☆☆相比其他硬件加速处理器,★★★★★CPU指令最简单,是一些最基础的组件。像搭积木一样,编程灵活。★★★★★CPU广泛应用,软件生态★★★☆☆性能比CPU大幅提升,比来性能即将瓶颈。★★★☆☆高效率的小核,以及部分CPU,资源效率显著提升。★★★☆☆本质是众核并行,编程具有一定灵活性。同步并行约束,编程相对简单。★★★★☆★★★★☆定制无冗余,理论上极致的性能。受限于设计复杂度,难以超大规模设计。★★★★☆理论上最高的资源效率,但不可避免存在功能超集。★☆☆☆☆和可配置表项,通过驱动程序控制硬件运行。☆☆☆☆☆同一领域,不同厂家ASIC实现存在差别,需要特定驱动程序。无生态可言。★★★★★ASIC一样极致的性能。由于一定程度的软硬件解耦,能够实现较大规模设计。总体性能高于ASIC。★★★★★少量可编程的通用性是需要代价的,但功能利用率★★☆☆☆少量指令,需要强大的编译器,把算法映射到特定有一定的可编程性。★☆☆☆☆算法和框架经常更新,难以把主流框架完全并且长DSA构。5.3基于软硬件融合的超异构计算软硬件融合的价值:①兼顾性能和灵活性;②更多易用性,更好的驾驭超异构;③更通用的产品,支撑用户价值创新。e计算范式核心器件算力通用性优势第一代1极度灵活可编程。效率最低,性能已经瓶颈。第二代的通用灵活性,应用领域更加广泛。——1极致性能灵活性最低,完全定制的方案,用户难以差异化,难以大规模。第三代5接近于ASIC的极致的性能,并且具有一定的可编程能力。同一领域,应用的算法依然多种多样,并且快速迭代,应用层(如AI)DSA难第四代。定制芯片覆盖场景小,生命周期短,难以大规模落地。大芯片NRE费用不断增加,需要足够“通用”灵活可编程,才能大规模落地,才能摊薄单芯片成本。基于通用的硬件,以及“可编程”能力,支持形形色色的用对比项C超异构处理器单系统分布式多系统计算模式指令流驱动计算定制芯片覆盖场景小,生命周期短,难以大规模落地。大芯片NRE费用不断增加,需要足够“通用”灵活可编程,才能大规模落地,才能摊薄单芯片成本。基于通用的硬件,以及“可编程”能力,支持形形色色的用对比项C超异构处理器单系统分布式多系统计算模式指令流驱动计算数据流驱动计算扩展性独立系统,几乎没有扩展性可编程功能扩展,虚拟化弹性扩展,子系统解耦的平行扩展。需要修改架构原生支持设计规模可驾驭规模为1以计算量为标以计算量为标准,依据“二八定律”++++6.1控制平面和计算平面基于软硬件融合的超异构计算:控制平面运行在CPU,计算(或数据)平面“运行”在CPU、GPU、DSA等各类处理引擎。控制平面横截面计算(或数据)平面纵截面控制平面计算平面TranslationHardwareHardware6.2泛义的软硬件接口TranslationHardwareHardwaree块和块之间、层和层之间的接口;e软件和软件之间、硬件和硬件之间、软硬TranslationTranslationeeSoftwareSoftware软件和硬件之间的接口:1.硬件定义接口,软件适配;2.软件定义接口,硬件适配;3.硬件/软件定义接口,软件接口适配层;4.硬件/软件定义接口,接口适配层卸载;5.软件硬件设计遵循标准接口(标准、高效、开源、迭代)。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论