GPU 进阶笔记（三）：华为 NPU/GPU 演进（2024）

Published at 2024-01-01 | Last Update 2024-01-01

记录一些平时接触到的 GPU 知识。由于是笔记而非教程，因此内容不求连贯，有基础的同学可作查漏补缺之用。

水平及维护精力所限，文中不免存在错误或过时之处，请酌情参考。 传播知识，尊重劳动，年满十八周岁，转载请注明出处。

1 术语
2 华为 DaVinci 架构：一种方案覆盖所有算力场景
- 2.1 场景、算力需求和解决方案
- 2.2 Ascend NPU 设计
3 路线一：NPU 用在手机芯片（Mobile AP SoC）
4 路线二：NPU 用作推理/训练芯片（Ascend AI Processor）
参考资料

本文内容都来自公开资料，仅供个人了解参考。 AI 相关的东西现在迭代非常快，所以部分内容可能已经过时，请注意甄别。

1 术语

CPU/GPU/NPU 等等都是硬件芯片，简单来说，晶体管既可以用来实现逻辑控制单元，也可以用来实现运算单元（算力）。在芯片总面积一定的情况下，就看控制和算力怎么分。

CPU：通用目的处理器，重逻辑控制；
GPU：通用目的并行处理器（GPGPU），图形处理器；
NPU：专用处理器，相比 CPU/GPU，擅长执行更具体的计算任务。

1.1 CPU

大部分芯片面积都用在了逻辑单元，因此逻辑控制能力强，算力弱（相对）。

1.2 GPU

大部分芯片面积用在了计算单元，因此并行计算能力强，但逻辑控制弱。适合图像渲染、矩阵计算之类的并行计算场景。作为协处理器，需要在 CPU 的指挥下工作，

Image Source [8]

1.3 NPU / TPU

也是协处理器。在 wikipedia 中没有专门的 NPU (Neural Processing Unit) 页面，而是归到 AI Processors 大类里面，指的是一类特殊目的硬件加速器，更接近 ASIC，硬件实现神经网络运算，比如张量运算、卷积、点积、激活函数、多维矩阵运算等等[7]。

如果还不清楚什么是神经网络，可以看看以图像识别为例，关于卷积神经网络（CNN）的直观解释（2016）。

在这些特殊任务上，比 CPU/GPU 这种通用处理器效率更高，功耗更小，响应更快 （比如一个时钟周期内可以完成几十万个乘法运算），因此适合用在手机、边缘计算、物联网等等场景。

TPU：这里特制 Google 的 Tensor Processing Unit，目的跟 NPU 差不多。 [11] 对 TPU 和 GPU 的使用场景区别有一个非常形象的比喻：

如果外面下雨了，你其实并不需要知道每秒到底有多少滴雨，而只要知道雨是大还是小。与此类似，神经网络通常不需要 16/32bit 浮点数做精确计算，可能 8bit 整型预测的精度就足以满足需求了。

Floor Plan of Google TPU die(yellow = compute, blue = data, green = I/O, red = control) [11]

1.4 小结

GPU 已经从最初的图像渲染和通用并行计算，逐步引入越来越多的神经网络功能（比如 Tensor Cores、Transformer）；另一方面，NPU 也在神经网络的基础上，开始引入越来越强大的通用计算功能，所以这俩有双向奔赴的趋势。

2 华为 DaVinci 架构：一种方案覆盖所有算力场景

2.1 场景、算力需求和解决方案

不同算力场景下，算力需求（TFLOPS）和内存大小（GB）的对应关系 [1]

华为的解决方案：一种架构（DaVinci），覆盖所有场景 [1]

用在几个不同产品方向上，

手机处理器，自动驾驶芯片等等
专门的 AI 处理器，使用场景类似于 GPU

2.2 Ascend NPU 设计

2017 年发布了自己的 NPU 架构，[2] 详细介绍了 DaVinci 架构的设计。除了支持传统标量运算、矢量运行，还引入了 3D Cube 来加速矩阵运算，

Image Source [2]

单位芯片面积或者单位功耗下，性能比 CPU/GPU 大幅提升：

Image Source [2]

下面看看实际使用场景和产品系列。

3 路线一：NPU 用在手机芯片（Mobile AP SoC）

现代手机芯片不再是单功能处理器，而是集成了多种芯片的一个片上系统（SoC），华为 NPU 芯片就集成到麒麟手机芯片内部，随着华为 Mate 系列高端手机迭代。

Image Source [7]

比如，一些典型的功能划分 [7]：

CPU 主处理器，运行 app；
GPU 渲染、游戏等；
NPU 图像识别、AI 应用加速。

Mate 系列手机基本上是跟 Kirin 系列芯片一起成长的，早期的手机不是叫 “Mate XX”，而是 “Ascend Mate XX”，从中也可以看出跟昇腾（Ascend）的渊源。

3.1 `Kirin 970`，2017, Mate 10 系列手机

据称是第一个手机内置的 AI 处理器（NPU）[3]。在 AI 任务上（比如手机上输入文字搜图片，涉及大批量图片识别）比 CPU 快 25~50 倍。

10nm，台积电代工
CPU 8-core with a clockspeed of uP to 2.4GHz i.e. 4 x Cortex A73 at 2.4GHz + 4 x Cortex 53 at 1.8GHz
GPU 12-core Mali G72MP12 ARM GPU
NPU 1.92 TFLOPs FP16