ACAP平台弹性/智能高 Xilinx转型全面拥抱AI

作者：爱集微

2018-11-12

自行调适/运算加速/平台化策略

多年来以可编程逻辑组件技术立足产业的Xilinx，为了在AI的创新浪潮中注入下一波成长动能，启动成立以来最大规模的转型工程，Xilinx总裁暨执行长Victor Peng(图1)表示，在AI无所不在的时代，相关应用日新月异，芯片设计周期已经落后创新的速度，FPGA弹性的特点则可以应用在AI的创新上。目前一般新芯片设计周期高达24个月，透过ACAP平台的协助，可将AI模型加以拆解，变成数个不同的发展(Develop)、优化(Optimize)、部署(Deploy)流程，该平台动态范围广泛弹性，可针对不同的应用调整需要的加速范围。

图1 Xilinx总裁暨执行长Victor Peng表示，该公司自行调适运算加速平台ACAP目标为打造灵活应变、万物智能的世界。

因此Xilinx未来不再是组件供货商，而是平台化解决方案开发与供货商。而数据爆炸、AI兴起、摩尔定律放缓，颠覆了原有的市场和业务，Peng认为，平台策略在这样的大环境下中也就显得更加重要，系统和基础设施在全球迅速扩张，对于运算能力和带宽也有了前所未有的要求。同时，也要更加迅速地满足不断变化的要求和标准。就像自然界「物竞天择，适者生存」的自然法则一样，在数字世界，灵活应变的系统也是最具弹性和可持续性的。

Xilinx于10月推出第一款ACAP平台产品Versal，Peng指出，Versal字面上是由Variety与Universal组合而成，希望在技术与应用上可以兼顾多样性与通用性。 Peng强调，ACAP平台是整体软件的堆栈，不仅仅是芯片，还包括高整合度工具、优化函式库、操作系统等，还有AI框架标准，只须利用符合业界标准设计的流程就能针对其硬件与软件进行编程与优化，针对整体应用的加速，而不仅止于深度学习网络。

Versal架构专为AI应用开发

Versal的架构将发展两个系列、六个应用区隔，两个系列以有无AI核心为主要差异，未搭载AI引擎的系列，运算能力由低至高为Prime、Premium以及HBM三个产品线；而搭载AI引擎的系列，主要以应用区隔为AI核心、 AI边缘以及AI RF系列。未搭载AI引擎系列，针对市场上广泛适用性进行设计，并就作业负载的链接与在线加速进行优化。搭载AI核心的系列，针对云端、网络以及自驾车应用进行优化，该系列配有5个组件，并提供128至400个AI引擎。

在架构上，Xilinx FPGA与SoC产品管理暨营销资深总监Kirk Saban(图2)解释，Versal架构中有几个主要的核心，包括：纯量处理引擎(Scalar Processing Engine)，搭载Arm Cortex-A72与Arm Cortex R5应用处理器，还有可完全软件编程的平台管理控制器；自行调适硬件引擎(Adaptable Hardware Engine)，可动态重新配置，实时加速能力最高达八倍；DSP引擎可提供高准确性浮点运算与低延迟，针对客制化数据路径的粒度控制；AI引擎具有高传输率、低延迟与高效率，可协助AI推论与高阶讯号处理，搭配先进内存和接口技术，可提供强大的异质加速能力。

图2 Xilinx FPGA与SoC产品管理暨营销资深总监Kirk Saban解释，自行调适硬件引擎，可动态重新配置，实时加速能力最高达八倍。

而在软件支持与开发环境部分，Xilinx软件业务执行副总裁Salil Raje说，AI人工智能有两个阶段，训练和推论。在训练阶段，数据科学家将海量的数据放到模型中，然后微调模型、改善模型以减少误差，之后将训练模型部署到应用当中。在推论过程当中，数据量相对较少，在推论阶段，响应速度与功耗就显得更加重要，如果部署在搭载电池的边缘设备当中，要尽量降低功耗。未来几年，推论需求的成长性将明显高于训练(图3)。

图3 AI推论需求将持续攀升
数据源：Barclays Research(05/2018)

AI创新与应用日新月异

而推论带来的挑战包括：AI创新的速度，低延迟、高通量和高效能与整体的应用加速。 Raje指出，几年前AI关注图像的分类以及推荐的引擎，但是AI应用和AI模型的使用数量成长的速度非常快，包括目标识别、分割、语音识别、异常检测等，在每个应用当中都有很多的创新发生在AI的模式上。 2012年的AlexNet促成AI模型的大爆炸，在过去六年，绝大多数的创新都是为了改善精确度。最近则是想提高AI模型的效率，以应用于行动装置和IoT终端。

现在AI的应用、AI模型和精度方面有很多的创新，Raje举例，有一个最先进的深度学习网络，等专为其设计的芯片生产时，技术已经产生了变化，此固定功能芯片，只为了支持一个旧的网络架构。所以固定芯片架构不是好选项，要灵活应变的硬件如赛灵思FPGA和ACAP组件，使得用户能够客制数据流以针对最先进的网络，同时可弹性调整，而不需更换芯片。灵活应变的硬件也能够客制内存的层次结构，可以用更多的On Chip内存而不是用DDR，以改善功耗和延迟。而且可以自定义精度，选择最合适的精度。

Xilinx不久前并购大陆AI独角兽公司深鉴科技，该公司可以客制数据流以适用所需要的网络。并透过量化技术客制精度，也可以重新训练，重新获得精度。 Raje表示，推论引擎并不是独立工作的，它有几个具体的功能，想要缩短时间延迟，须要将各个功能的速度都进行加速，以智能城市应用为例，预计2020年在政府和商业大楼当中，全球将拥有超过10亿部摄影机，并产生大量数据。 CPU和GPU分别发挥作用的话，延迟82毫秒，功耗75瓦。采用FPGA，延迟减少26毫秒，功耗降低到50瓦。通量增加三倍，从每秒12帧到每秒38帧。

建构AI Ecosystem为当务之急

Versal采用台积电最先进的7奈米FinFET制程，正式量产时间2019年第二季，在此之前Xilinx也以现有16奈米UltraScale+ FPGA为基础，发表Alveo U200与Alveo U250加速卡，就机器学习而言，Alveo U250的实时推论传输率比高阶CPU高出20倍，甚至在低于2毫秒的低延迟应用方面，也比高阶GPU这类固定功能加速器高出4倍。此外，Alveo加速卡的延迟较GPU减少3倍，在数据库搜寻等应用方面加速、并提供较CPU高出90倍的效能。

AI应用领域之广泛，也需要串联上下游为数众多的产业链，自然非单一厂商可以通吃，这也是Xilinx宣示未来技术与产品将以平台化发展的最重要原因，现阶段该公司以数据中心为策略核心，此次开发者大会也积极与大陆云端服务业者华为、阿里巴巴、浪潮等公司合作，抢占AI运算/推论市场，与布局较早的GPU、CPU竞逐云端AI应用大饼。

以投入较早的NVIDIA为例，目前在AI竞争当中取得暂时的领先，该公司已经发展一系列的硬件芯片与板卡，搭配完善的开发环境、AI深度学习框架、软件函式库等，产业链初具型态；而昔日信息运算霸主Intel，近年则是透过许多投资与并购，希望能扭转CPU不适合深度学习运算的劣势。相较之下起步较晚的Xilinx今年大动作投入，积极合纵连横布局产业生态系(Ecosystem)。

华为智能计算业务副总裁张小华说明，采用华为云技术、硬件以及Xilinx FPGA，建构一套统一的在线线下协同平台，采用相同的生态系统、环境数据、共同的安全协议以及管理协议。也就是华为的服务器与共有云HPV加速，并整合Xilinx技术加速组件，由此软硬件构成一个完整的加速平台，所有合作伙伴和开发者采用这个统一的平台去部署自己的业务。

而阿里巴巴FPGA异构计算研发总监张振祥则说，阿里云FPGA已经发展到第三代产品与架构服务，随着未来新架构上市，当能提供更迅速、确实并安全的运算服务。阿里云FPGA异质运算团队特别强化网络安全，即使FPGA遭受到恶意攻击，也可将伤害做有效的控管，不会影响到其他芯片，也可以自行软件恢复。

浪潮集团副总裁李金指出，该公司致力于打造AI全面性的产品布局，从运算平台高效的管理系统套件到深度学习框架的优化、终端解决方案四个层次为客户提供迅速、高效、优化的AI运算基础设施。并观察到AI的三大趋势，第一，AI运算能力需求快速成长，现有AI平台的运算能力难以满足AI应用研发创新的需求，需要更强的效能支持；第二，大量的数据和终端用户的体验，推动更高速、更高带宽的数据储存和传输信道需求；第三，深度学习网络模型的快速迭代需要更加灵活的可客制化AI运算架构。 FPGA可以提供强大的运算效能，更高的数据传输率以及灵活的软硬件算法支持。