通过GC Nano技术提升用户界面体验

1、通过gc nano技术提升用户界面体验 gpu是提升hmi用户体验的基础技术，可以实现屏幕/ui合成，包括多个源(isp/照相机、视频等)的多层混合、图像过滤、字体渲染/加速、3d效果(变换、透视等)等无数其他功能。vivante拥有一条基于gpu技术的综合产品线，包括gc vega系列和gc nano系列。gc vega系列适用于需要最新、最好gpu硬件和功能的，这些功能包括：opengl es 3.1，完整安卓扩展包(aep)支持，包括硬件镶嵌/几何着色器(ts/gs)、directx 12、ctm(closetothemetal) gpu编程、混合射线跟踪、零驱动开销、融合以及针对用法o

2、penvx、opencv或opencl视觉处理的gpu计算，都纳入到最乐观的ppa(性能、功耗和面积)和全功能设计计划中。目标市场笼罩高端可穿戴设备和近距离/中距离移动设备、4k电视以及用于服务器虚拟化的gpu。gc nano系列则属于另一范畴，适用于为具备gpu渲染的hmi/ui的可穿戴设备和iot设备(智能家庭/家电、信息设备)等消费类产品带来革命性推进的器件。该内核专为在cpu、内存(片上和ddr)、电池及带宽十分有限的资源受限型环境下工作而设计。gc nano还举行了优化，与需要在30/60fps及以上速率下提供ui合成加速的较小尺寸的平台协作工作。gc nano系列的优势包括：

3、83;优化的硅片面积和功率。硅片占位微小，可使受限soc的单位面积性能达到最佳；这就意味着，厂商可在不超出硅片/功率预算且保证敏捷、平滑的ui性能的前提下，在其设计中添加增加图像功能。gc nano可在超低功耗和热量(最小动态功率和临近零的泄漏功率)下最大限度地延伸电池寿命。·智能合成。vivante的即时模式渲染(imr)架构通过智能化的方式，仅合成和更新发生转变的屏幕区域，削减了合成带宽、延迟、开销及功率。合成可以通过两种方式举行：利用gc nano合成全部屏幕层(图形、背景、图像、视频、文本等)；或通过紧耦合的设计，其中gc nano与显示控制器/处理器(第三方或vivante

4、 dc核)同时工作实现ui合成。想要进一步削减带宽，还可以通过vivante的dec压缩ip核对数据举行压缩/解压缩。·可穿戴和iot 设备即用。超轻量级向量图形(gc nano lite ) 和opengles 2.0(gc nano、gc nano ultra)驱动、sdk及工具可很简单地将可穿戴设备及设备屏幕过渡到消费级图形界面。gc nano包还包括教程、示例代码及其他文档，以协助开发人员优化或移植其代码。·为mcu/mpu平台设计。可卸载并极大降低系统资源的有效设计，包括完整ui/合成及显示控制器集成、最小cpu开销、无ddr且仅含闪存的配置、带宽调制、ctm g

5、pu驱动以及针对可穿戴/iot设备的、可削减硅片尺寸的gpu特性。软件代码量微小，削减了对内存大小的限制，缩短了gpu初始化/启动时光，同时对于需要一键显示信息的屏幕，可以眨眼启动ui合成。·生态系统和软件支持。开发人员可以利用轻量级nanoui或opengl es api进一步扩展或定制解决计划。业界对于现有vivante产品提供的大量支持，包括笼罩字体、插图工具及qt开发环境的重要合作伙伴的、针对、androidwear及ui解决计划的gc nano/gc nano ultra产品线。·计算即用。将来几年内，可穿戴/物联网(处理)节点数量将以数百亿个的速度增强，因为节点

6、始终保持开启、互联和处理状态，数据网络的带宽可能成为问题。gc nano通过在节点上举行超低功率处理(gflop/gint ops)，且仅按照需求发送实用的压缩数据，可以有效缓解带宽压力。案例包括传感器融合计算和图像/视频带宽降低。vivante的软件驱动栈、sdk以及工具包将支持nanoui api，其可为无操作系统/无ddr 的gc nano lite提供ctm gpu加速，同时还可为更先进的解决计划(包括专有或高级操作系统，例如嵌入式、tizen、android、androidwear 及其他在最小内存空间中需要opengl es 2.0+的rtos)提供opengles 2.0 api

7、(3.x可选)。这些各式各样的操作系统/无操作系统平台将构成下一代可穿戴设备和物联网的基础，为每个人带来独特的最佳共性化体验。gc nano驱动包括主动节能、智能合成与渲染以及带宽调制，使oem厂商和开发人员能够用法超轻ui/合成或3d图形驱动为可穿戴设备和物联网构建丰盛的视觉体验。gc nano的无数创新创建了一个完整“视觉”可穿戴设备mcu/soc平台(图1)，能够实现ppa和软件效率最优化，从而充实设备的整体性能和bom成本，同时提供最紧凑的ui图形软硬件开销，不会降低或限制屏幕上的用户体验。随着可穿戴设备和物联网逐步融入人们的生活，这些新的gpu将会越来越多地应用到身边的新鲜产品中。图

8、1：gc nano系列soc/mcu实现案例。3d ui渲染的趋势和重要性2智能家庭设备的ui案例所示，下一代产品将采纳智能手机、及智能电视中细心策划的ui设计元素，并将它们整合到物联网设备及可穿戴设备中，使产品保持全都界面。相像的ui外观(look -and-feel)可以削减用法学习曲线，加快设备采纳速度。另外，因为不同设备的处理能力/性能水平不同，会依据较小尺寸屏幕采纳最低水平配置(基准性能)，但是随着设备性能升高到操作系统供给商划分的更高层级，还可添加附加特性/更高性能。图2：智能家庭设备上的hmi用户界面样例。更新后的ui包括以下新特性：·动画图标为用户轻松展现选中的菜单项

9、或输入光标指向的位置，用法户无需花费时光寻觅屏幕上的光标位置。在选中图标前，图标可以旋转、摆动、弹出、闪现等。·实时动画动态内容可以将容易的背景(壁纸)转化成动态的移动场景，为用户设备增强共性修饰。背景图像和设计也可搭配装点、照明、主题及气氛等实现共性化设置。一些大型白色家电创造商正在测试这些概念设计，希翼不远的未来能够呈现一二。·3d效果文本、图标和图像可超越容易的阴影效果，其中，gpu功能可利用强大的着色器命令渲染，为ui各个部分增添3d特征(例如：转盘、视差、深度含糊、部件/图标渲染成3d/2d外形、图标运动的程序/模板动画、粒子系统的物理、透视图等)。这些效果可以利

10、用gcnano的超低功率opengl es 2.0/3.x流水线实现。gc nano的架构在hmi ui合成方面表现精彩，可以展现3d ui效果并降低带宽和延迟，详见下文。gc nano带宽计算本节将会逐步讲述多种用户界面场景示例，并对gc nano gpu渲染的30和60fpsui hmi计算系统带宽。合成办法将评估的屏幕显示合成有两种挑选：第一，gpu完成全部层(或表面，包括视频)的囫囵屏幕合成，显示控制器仅将已合成的hmi u i输出到屏幕上(图3)；其次，显示控制器对gpu和视频(vpu)合成的层举行最后的混合和合并，再显示出来(图4)。顶层暗示图未显示ddr内存事务，但将在后续ui步

11、骤的描述中给出。图3 ：gc nano全合成：在向显示控制器发送终于输出帧前，gn nano对全部ui层举行处理。图4：显示控制器合成：终于输出帧由显示控制器利用来自gcnano和视频处理器的输入层合成。ui带宽计算计算假设。gc nano ui处理采纳argb8(每像素32位)格式。当gc nano举行全合成时，gpu会自动将16位yuv视频格式转换成32位argb格式。视频帧为yuv422(每像素16位)格式，并且与屏幕尺寸辨别率相同(gc nano将输入视频作为视频纹理对待)。终于合成的帧为argb8格式(每像素32位)。读取视频的哀求突发长度为32字节。gc nano ui哀求突发长度

12、为64位字节。写出ui渲染和终于帧的写长度为64字节。这些状况假设ui渲染为32位。假如显示格式为16位(适用于较小屏幕)，则以下所列的带宽计算将会大大降低。带宽计算将以wvga(800x480)和720p(1280x720)为例。本例中，需要刷新/更新的每帧ui像素的大包裹括以下比例：15%(标准ui)；25%； 50%(最差ui)。·gc nano全ui合成。图5 描述了来/去ddr内存的数据流利用gc nano举行囫囵ui合成的过程。采纳这种办法的益处包括：利用gpu在图像或视频上举行一些前后处理、过滤、为图像/视频添加标准3d效果(视频转盘、弯曲/去弯曲等)以及增加实境(gc

13、 nano在视频流顶部笼罩渲染的3d内容)。因为可以对gc nano编程使其执行图像/ui相关任务，这种办法灵便度最高。图5 描述了来/去ddr内存的数据流利用gc nano举行囫囵ui合成的过程。·本显示控制器ui合成。本节描述了来/去ddr内存的数据流利用显示控制器对来自gc nano和视频处理器的各层举行终于合并/合成的过程(图6)。这种办法在一定程度上降低了带宽消耗，这是由于gpu不举行终于帧合成，也就无需读取视频表面。gpu仅负责合成帧的ui部分，而不涉及来自soc/mcu中其他ip模块的任何附加层。这种办法的一个益处就是，可降低系统总带宽，但会牺牲ui的灵便性。假如视频(

14、或图像) 流仅需要与u i剩余部分合并，那么这个办法正巧合适。假如输入视频(或图像)流需要以随意方式处理(添加3d效果、过滤、增加实境等)，那么这个办法就有局限性，最好利用gpu举行全帧ui合成。图6：显示屏控制器对来自gc nano和视频处理器(vpu)的两个输入层举行终于帧合成。显示控制器包含一个能够挺直从系统内存中读取数据的dma引擎，其支持多种数据格式，包括argb、rgb、yuv444/422/420及其重排格式。gc nano合成ui的架构优势gpu渲染包括两个主要架构，即瓦片纹理渲染(tbr)和挺直渲染(imr)。tbr在全帧全部相关信息都可用时，将屏幕图像分解成方块并举行渲染。

15、在imr下，图形指令挺直向gpu发布并立刻执行。vivante架构中的技术可以剔除帧中躲藏或不行见的部分，因而不会在渲染终于将被去除的场景部分上铺张执行、带宽和功率等。vivante的imr在为最新aaa级嬉戏(利用全硬件加速展现精细的几何图形和pc水平的图形质量)渲染逼真的3d图像时也具有显著优势，例如其高端gc vega内核(directx 11.x、opengl es 3.1及安卓扩展包aep)可支持高级gs/ts着色器等。注：gc/ts等一些高级特性不适用于gc nano系列。ui瓦片纹理渲染(tbr)架构下面解释在tbr架构下渲染ui的过程。·场景分解成块。tbr架构将图像

16、分解成自立的瓦片(小方块)举行渲染。每个方块都有自己的数据库/指令列表(方块列表)，并且在gpu开头渲染和进入下一帧之前，囫囵帧的全部指令都需处于可用状态。数据库/方块列表缓冲区的大小在渲染(可能导致溢出)前也是未知的，并且依靠于帧容易帧数据库较小，而复杂帧数据库较大。任何方块在处理过程中发生变幻都意味着囫囵帧数据库需要再次更新，而且在某些状况下，需要刷新全帧并重启。图7a 场景分解成块·但是在渲染帧之前，全部ui表面在处理前都需通过瓦片前处理。在ui 合成之前，tbr架构需要每个ui表面都通过瓦片前处理。在本样本图中，12个表面中的每一个都被分割成三角形来举行渲染本例为两个三角形，

17、但三角形的数量也可以更多。因为每个帧都需要经过预处理，这就极大地增强了合成的时延。图7b 每一个都被分割成三角形来举行渲染。·将预处理步骤和分块步骤相结合，可实现以下效果。图8呈现了当前帧的状况，全部的ui表面都被分割为三角形，囫囵帧被分块，并预备好举行渲染。假如帧不发生任何变幻(静态ui)，则可按原样渲染。图8a 呈现了当前帧的状况，全部的ui表面都被分割为三角形，囫囵帧被分块，并预备好举行渲染。·假如ui为动态，则帧各部分需要举行重处理。假如帧各部分为动态，则惟独被标注为“dirty”的方块将按照变幻举行重处理。对于细小的变幻，只要ui表面保持原样，且惟独一小块区域在任

18、何给定时光举行更新，则可以接受。较新的ui为前景和背景表面增强了动态特征帧内容、图像、文本等无数部分不断发生变幻。例如，天气图标(如雨和云)可能是动态的，菜单项会自动滚动，内容会不断更新，视频在播放，背景墙纸也是动态的。在各种状况下，全部的ui表面将需要经过预处理，为渲染做预备，而这就增强了时延。图8b 假如ui为动态，则帧各部分需要举行重处理。·图9(详见本刊网站) 展示了ui 内部的“dirty”方块。每个黄色板块代表一个“dirty”方块，需要举行更新。每次表面发生变幻时，都需要经过预处理，相应的方块也需要经过预处理。假如在帧完成数据库和指令列表时发生任何变幻，则在tbr gp

19、u移动至下一个帧前，囫囵数据库都需要举行更新。图9 ui内部的“ dirty”方块。·tbr ui渲染总结。从上述步骤可看出，因为预处理的ui三角形需要首先储存在内存中，然后在用法时会被读取，基于tbr的gpu具有额外开销，这就增强了ui渲染的时延。tbr gpu也需要大量的片上l2缓存来存储囫囵帧(方块)数据库，但随着ui复杂性增加，片上l2缓存大小(裸片面积)只能同时增强，或tbr内核只能不断溢出至ddr内存，这会导致时延、带宽和功率增强。tbr具备确认和追踪u i的哪些部分(方块)和哪些表面发生了变幻的机制，可尽可能简化预处理过程，但对于拥有无数移动区域的较新ui来说，这仍构成

20、了限制。此外，随着屏幕尺寸/辨别率和内容复杂性的增强，在全部屏幕上，由此导致的时延在用法统一ui的谷歌、微软和其他操作系统平台上甚至显得更为显然。ui的挺直渲染(imr)架构最先进的gpu用法的是imr技术，它是基于目标的渲染技术，在pc(台式机/笔记本)显卡中直到vivante的gc系列产品线上都能看到。imr技术使gpu可以渲染逼真的图像，并绘制屏幕上最新的复杂、动态、交互式内容。在该架构中，图形api调用指令被挺直发送至gpu，收到指令和数据后即刻举行对象渲染。这一流程显著提升了3d渲染性能。对ui来说，无需举行预通过处理，这消退了上一节中看到的tbr相关延迟。此外，ui中加入了许多智能

21、事务消退机制，使得帧中的躲藏(看不到的)部分甚至不必通过gpu流水线发送；或是假如躲藏部分已经处于发送状态(例如，ui表面发生变幻)，它们也可以立刻丢弃掉，这样流水线即可继续执行故意义的工作。出于灵便性考虑，合成处理过程在着色器中举行，vivante gpu可以自动增强矩形图元，以便将囫囵屏幕纳入考虑范围，进而实现100%的效率(用法两个三角形仅发挥50%的效率)。对于容易ui和3d帧而言，内存带宽等效于tbr架构，但对于更高级的ui和3d场景来说，tbr设计需接入远超过imr的外存，由于tbr的片上缓存中无法容纳大量的复杂场景数据。图10描绘了vivante的imr架构用法的动态ui渲染流程。该流程相较于tbr来说更为容易，ui或图形的动态变幻更为一目了然。图10 描绘了vivante的imr架构用法的动态ui渲染流程。·基于对象的imr ui渲