芯来科技发布NI1000系列通用算力核心支持VME矩阵扩展

来源:芯来科技 #芯来科技#
649

当前 AI 芯片的算力需求持续多元化,除专用 NPU 外,对高性能通用并行计算内核的需求日益凸显。为此,芯来科技正式推出首款支持 Vector Matrix Extension 的高性能 AI 通用处理器 IP——NI1000 RISC-V CPU IP。依托 RVV 向量、VME 矩阵扩展实现全域加速,为国产 AI 芯片提供一体化融合通用算力内核。

芯来NI系列CPU IP,赋能国产AI芯片

NI 系列是芯来科技针对人工智能应用的专用处理器产品线,支持配置为 900 系列或 1000 系列任意一款,RVV 1.0 VPU 的 VLEN 可配置为 512b /1024b /2048b /4096b,并支持 Cluster 内每个 Core 独立配置 VPU。通过 IOCP(IO Coherent Port)与 NPU 加速器紧耦合,保持缓存一致性,降低数据搬移开销。NICE/VNICE 接口支持用户自定义标量/向量指令,也可通过 NICE 接口与 NPU 进行紧耦合互动。



注意:

NI 系列 CPU IP 并非取代 NPU、GPU 等加速器 IP,而是与之进行结合,更好的服务 AI SoC 上的加速器,提供 AI 芯片公司更完善的整体解决方案。

芯来科技高性能 AI 通用处理器 IP —— NI1000

NI1000 基于高性能 RV64 标量核,兼容标准的 RISC-V 软件生态,提供通用控制能力与执行能力。其核心架构由三部分协同构成:性能强劲的通用标量处理器,超宽原生 RVV 向量单元负责通用并行计算,VME 矩阵扩展负责一般规模矩阵乘法。三层硬件协同工作,提升通用 AI 算力。

超宽 RVV 向量能力

NI1000 支持 1024/2048/4096bit 原生 RVV 向量能力,硬件可配置 1024bit~4096bit 向量宽度,适配日益增大的通用算力需求。还支持 Vector-NICE 接口,允许用户自定义指令加速特定向量运算。

VME 矩阵扩展与 RVV 同核紧耦合

NI1000 支持 VME(Vector Marix Extension)矩阵扩展:VME 与 CPU/RVV 同核紧耦合,提供原生矩阵运算指令,提升矩阵算力,VME 与 RVV 共享寄存器组与运算单元仅增加少量 Matrix Tiles 面积资源。

VME - 优势与定位

成本与性能平衡适中,辅助 NPU:VME 融合 RISC-V 通用向量能力与专用矩阵累加能力,通用计算与 AI 矩阵计算兼顾。对比 IME 拥有独立矩阵累加硬件,矩阵运算能效更高;对比 AME 省去完整独立矩阵寄存器堆与硬件矩阵加速器,兼顾硬件开销可控与矩阵算力能效。非常适合作为辅助NPU的通用并行计算内核。

RV 软件生态兼容性好:VME(Vector Marix Extension)矩阵扩展完全基于 RISC-V Vector Extension 作为基座,软件生态基础好,VME 将成为最早标准化的 RISC-V Matrix Extension。

VME - 大量复用 RVV

VME指令的源操作数复用RVV的寄存器组,且VME的运算单元开销可完全复用RVV运算单元。

VME - 新增原生矩阵运算指令

VME 新增若干条原生矩阵运算指令,运算结果存储至专用的 Matrix Tiles 中。此外,VME 新增对于 FP8 数据类型的原生支持。

VME - 新增四套独立 Matrix Tiles 及用法

数据加载:复用 RVV 寄存器通过 load 指令从内存加载至 RVV 向量寄存器 Vr1 和 Vr2

累乘计算:VMMA 指令复用 RVV 计算单元对用向量寄存器 A、B 做外积乘法,把(Vr1×Vr2)个乘积累加进专用(N×N)矩阵累加Matrix Tiles。

存放结果:每一次外积结果可持续叠加到 Matrix Tiles。多个 Tiles 实现乒乓并行吞吐,提高并行性。

NI1000 使用 VME 的性能提升示例

在 VME 矩阵扩展下执行 32×32 规模 FP32 数据类型的矩阵乘法,如上图所示,在整体面积仅增加 15 %的情况下(主要是 Matrix Tiles 带来的面积增加),矩阵乘法性能提升 2.5 倍。

NICE 可扩展指令接口助力系统协同

NI1000 提供 NICE/VNICE 用户可扩展指令接口。NICE(Nuclei Instruction Co-unit Extension)是芯来 CPU IP 的一种用户可扩展指令接口机制,用户可基于芯片标准通用 CPU 内核自主定义扩展指令集:

NI Core 提供用于 Scalar 指令扩展的 NICE 接口,可支持单周期,多周期,流水线等不同指令类型。NI Core 的 NICE 扩展单元不仅可以进行运算型的自定义指令扩展,还可以通过专用总线访问 Core 的存储资源(DCache等)实现与主 Core 的内存一致性

NI Core 提供 Vector 指令扩展的 NICE 接口, 可支持单周期,多周期,流水线等不同指令类型

    用户可结合自己的应用扩展自定义指令,将 NI Core 内核扩展为面向 AI 领域进一步强化的专用处理器。

    总结一:RISC-V 是适合 AI 芯片最好的 ISA

    从指令集视角看,只有 RISC-V 是能在一颗 AI SoC 内部同时胜任主控核,算力核,启动核三个角色的架构。RISC-V 既能做高性能 AI 主核,也能裁剪为无 MMU 的极简嵌入式 MCU,向量、矩阵 AI 扩展指令可以复用同一套标准,支持厂商自定义指令扩展,云端、边缘、终端共用底层算子、驱动与开发框架,大幅降低软件重复开发成本。

    总结二:NI1000满足AI芯片对于算力核的核心诉求

    AI 芯片算力核需要强大的矢量并行算力

    • NI1000 原生支持 RVV1.0 向量单元,VLEN 可配置 1024/2048/4096bits

    • NI1000 支持 FP16、BFP16、INT8 等多精度,高效承载 AI 算子

    • NI1000 可扩展支持 VME 向量矩阵扩展

    AI 芯片算力核支持紧耦合自定义硬件加速

    • NI1000 可通过 NICE/VNICE 接口扩展自定义标量 / 矢量指令;支持与 NPU 加速器紧耦合集成,适配异构 AI 算力架构。

    AI 芯片算力核需要成熟 RISC-V 软件生态

    • NI1000 支持的 RVV 在 AI 方面的软件生态呈蓬勃发展态势

    • NI1000 支持的 VME 复用 RVV 软件生态,节约开发时间配套 AI 软件栈

    AI 芯片算力核需要高带宽访存、与片上加速器高效数据交互

    • NI1000 支持多级缓存架构:L1 I/D Cache + Cluster 共享缓存;

    • NI1000 支持 IOCP 缓存一致性端口,与片上 NPU / 加速器保持缓存一致性,降低数据搬移开销。

    • NI1000 支持 VLM 矢量 Local Memory Port 提供专用的高速吞吐通路。

    综上所述

    NI1000 高性能通用并行计算内核,以 RVV、VME 加速赋能 AI 芯片发展。在 RISC-V 开放生态下,NI1000 既可承担 AI 芯片中的通用 AI 算力核,也可与各种 NPU 等加速器紧耦合协同,形成更完善的整体解决方案。芯来科技将持续以开放 RISC-V 生态为底座,为 AI 芯片公司提供从主控核、算力核到子系统方案的全栈支持。



    责编: 爱集微
    来源:芯来科技 #芯来科技#
    THE END
    关闭
    加载

    PDF 加载中...