一文看懂谷歌的AI芯片布局

一文看懂谷歌的AI芯片布局谷歌

AI芯片2018年7月Google在其云端服务年会GoogleCloudNext上正式发表其边缘(Edge)技术，与另两家国际公有云服务大厂Amazon/AWS、MicrosoftAzure相比，Google对于边缘技术已属较晚表态、较晚布局者，但其技术主张却与前两业者有所不同。

GoogleAI布局逐渐走向边缘除了同样提倡基础的物联网闸道器(IoTGateway)软件EdgeIoTCore、人工智能/机器学习(AI/ML)软件EdgeML外，还针对人工智能/机器学习推出专属的加速运算芯片，称为GoogleEdgeTPU，成为此次盛会一大焦点。在Google发表EdgeTPU前已发表过CloudTPU芯片，首次发表是在Google另一个更全面、更盛大的例行年会GoogleI/O2016上。CloudTPU顾名思义用于云端机房，而TPU是TensorFlowProcessingUnit的缩写，言下之意是针对TensorFlow而设计的硬件加速运算器，TensorFlow则是Google于2015年11月提出的人工智能框架，是目前诸多人工智能框架中的一大主流，其他知名的框架如Caffe/Caffe2、ApacheMXnet等。目前人工智能框架百花齐放，其他常见的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以简单譬喻而言，人工智能的开发撰写如同文书撰写，人工智能框架就如同记事本、Word等文书处理器，功效在于协助与便利开发撰写。Google自行开发设计的CloudTPU仅用于自家云端机房，且已对多种Google官方云端服务带来加速效果，例如Google街景图服务的文字处理、Google相簿的照片分析、乃至Google搜寻引擎服务等。GoogleCloudTPU也改版快速，2016年首次发表后2017年推出第二代，2018年推出第三代芯片不过，Google之后对CloudTPU的技术态度似有变化。2018年2月宣布可申请租用TPU运算力，如同GoogleCloudPlatform(GCP)的公有云服务般，依据运算芯片的使用时间计费，每小时6.5美元(至2018年9月已降至4.5美元)，与GCP的CPU租用服务相比相当昂贵，GCP的CPU租用服务，以***彰化滨海工业区的机房(不同位置的机房费率不同)而言，标准型计价约在0.055至5.28美元间，且8种计费费率中有5种低于1美元/小时。TPU租用费亦同样高于GPU租用，GCP的NVIDIAGPU租用费率约在0.49至2.48美元间，视规格等级而异(TeslaK80/P100/V100)。GoogleCloudTPU虽可租用，但Google是否愿意单独销售CloudTPU给系统商，让系统商制造及销售TPU运算系统，仍待进一步观察。在Google推出云端用的CloudTPU后，让人未预料的是Google也针对边缘提出专属的TPU芯片，然在此前仍有些征兆，即2017年11月Google提出轻量版的TensorFlowLite(某种程度取代此前的TensorFlowMobile)，使电力有限的行动装置也能支援TensorFlow，2018年推出的EdgeTPU芯片即是以执行TensorFlowLite为主，而非原宗的TensorFlow。GoogleEdge装置内的作业系统为Linux或AndroidThings，而后执行GoogleEdgeIoTCore基础功能软件、GoogleEdgeML人工智能软件，并可选用配置GoogleEdgeTPU。GoogleEdge软硬件架构概观图3左侧为物联网感测器，右侧为Google云端系统及服务。另外EdgeTPU也支援AndroidNeuralNetworks神经网路应用程式接口(API)，简称NNAPI。NNAPI于在2017年12月Android8.1释出时一同提出，NNAPI可视为TensorFlowLite、Caffe2等框架的基础层。由此可知EdgeTPU所支援呼应并加速的软件，于2017年便已先行到位。NNAPI可透过硬件抽象层与驱动程式，运用GPU、特定处理器或数位讯号处理器(DSP)等，使人工智能运算加速。资料来源：Google官网与CloudTPU不同的是，EdgeTPU估将由Google销售给系统商，再由系统商配置于前端装置内，包含感测器节点、装置或闸道器内，EdgeTPU不是自用或租用而是销售。EdgeTPU技术轮廓虽然Google对CloudTPU、EdgeTPU的技术资讯揭露均不多，但仍有若干资讯可推测其背后意向与考量。首先是Google很明白Edge定位的系统运算力有限，所以EdgeTPU的运算任务仅在于执行已训练完成的人工智能模型，即推测运算、推算工作(Inference，今日多译成“推论”)，真正要大量耗费运算力的模型训练(Training)，依然由充沛运算力的系统事先进行，如工作站、服务器、云端等，透过CPU/GPU/TPU进行训练。

其次，EdgeTPU强调可同时执行处理多组每秒30张高清晰度画质的人工智能判别运算，显示EdgeTPU将用于视讯影像类的人工智能应用，且为即时判别(30FPS)。

更进一步的说明，EdgeTPU只负责人工智能的加速判别、加速推算，仅为加速器、辅助处理器的角色。因此，必须与系统的主控芯片沟通联系，这方面EdgeTPU提供了两种介