Recent Posts

• 2023-10-25

  GPU 进阶笔记（二）：华为昇腾 910B GPU 相关（2023）

  记录一些平时接触到的 GPU 知识。由于是笔记而非教程，因此内容不求连贯，有基础的同学可作查漏补缺之用。 GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网（2023） GPU 进阶笔记（二）：华为昇腾 910B GPU 相关（2023） GPU 进阶笔记（三）：华为 NPU (GPU) 演进（2024） GPU 进阶笔记（四）：NVIDIA GH200 芯片、服务器及集群组网（2024）水平及维护精力所限，文中不免存在错误或过时之处，请酌情参考。传播知识，尊重劳动，年满十八周岁，转载请注明出处。 1 术...

• 2023-10-14

  K8s 的核心是 API 而非容器（二）：从开源项目看 k8s 的几种 API 扩展机制（2023）

  Fig. kube-apiserver internal flows when processing a request. Image source Programming Kubernetes, O'Reilly第一篇介绍了 k8s 的 API 设计。本文作为第二篇，通过具体开源项目来了解 k8s API 的几种扩展机制。 K8s 的核心是 API 而非容器（一）：从理论到 CRD 实践（2022） K8s 的核心是 API 而非容器（二）：从开源项目看 k8s 的几种 API 扩展机制（2023） 1 引言 ...

• 2023-10-03

  Linux Load Average：算法、实现与实用指南（2023）

  借着遇到的一个问题，研究下 loadavg 的算法和实现。 1 一次 load spike 问题排查 1.1 现象 1.2 排查 1.2.1 宿主机监控：load 和 running 线程数量趋势一致 1.2.2 定位到进程（Pod） 1.2.3 Pod 监控：大量线程周期性状态切换 1.2.4 交叉验证 1.3 进一步排查方向 1.4 疑问 2 lo...

• 2023-09-16

  GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网（2023）

  记录一些平时接触到的 GPU 知识。由于是笔记而非教程，因此内容不求连贯，有基础的同学可作查漏补缺之用。 GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网（2023） GPU 进阶笔记（二）：华为昇腾 910B GPU 相关（2023） GPU 进阶笔记（三）：华为 NPU (GPU) 演进（2024） GPU 进阶笔记（四）：NVIDIA GH200 芯片、服务器及集群组网（2024）水平及维护精力所限，文中不免存在错误或过时之处，请酌情参考。传播知识，尊重劳动，年满十八周岁，转载请注明出处。 1 术...

• 2023-09-01

  [译] 如何训练一个企业级 GPT 助手（OpenAI，2023）

  译者序本文来自 OpenAI 的 Andrej Karpathy 在 Microsoft Build 2023 大会的分享：State of GPT。原分享包括两部分， 如何训练一个 GPT 助手； 如何有效地将这些助手 apply 到应用程序中。本文翻译了其中第一部分。作者之前还有一篇“如何训练一个乞丐级 GPT”：GPT 是如何工作的：200 行 Python 代码实现一个极简 GPT（2023）。另外，InstructGPT：基于人类反馈训练语言模型遵从指令的能力（OpenAI，2022） 有助于深入理解本文。译者水平...

• 2023-08-27

  Understanding NVIDIA GPU Performance: Utilization vs. Saturation (2023)

  GPU performance metrics reported by tools like nvidia-smi may be misleading.This blog delves into the underlying issue to provide a deeper understanding. 1 NVIDIA "GPU util": a confusing phenomenon 2 GPU Util: a misleading term? 2.1 Definition from officia...

• 2023-08-06

  [译][论文] LLaMA 2：开放基础和微调聊天模型（Meta/Facebook，2023）

  译者序本文来自 2023 年 Meta（facebook）的大模型论文：Llama 2: Open Foundation and Fine-Tuned Chat Models。翻译了其中感兴趣的部分。LLaMA2 用了两个 GPU 集群进行训练： RSC 集群：200Gbps InfiniBand + 400W A100 GPU； 生产集群：200Gbps RoCE + 350W A100 GPU；RoCE + 350W GPU 的集群，经过优化的代码能达到IB + 400W GPU 集群性能的 90%。总共耗费 3.3M ...

• 2023-07-23

  [译][论文] 大语言模型（LLM）综述与实用指南（Amazon，2023）

  译者序本文来自 2023 年一篇大模型论文：Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond，翻译了其中感兴趣的部分。论文信息：@article{yang2023harnessing, title={Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond}, author={Jingfeng Yang and Hongye Jin and Rui...

• 2023-07-10

  [译][论文] LLaMA：开放和高效的基础语言模型集（Meta/Facebook，2022）

  译者序本文翻译自 2022 年 Meta（facebook）的大模型论文：LLaMA: Open and Efficient Foundation Language Models。作者阵容：Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet,Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, EricHambro, Faisal Azhar, Aurelien Rodri...

• 2023-06-22

  [译] 长文写作的魔力（2022）

  译者序本文翻译自 2022 年的一篇文章：Writing Is Magic。作者 Marc Brooker 在 AWS，是 databases, serverless, EC2, EBS 等多个领域的专家。译者水平有限，不免存在遗漏或错误之处。如有疑问，敬请查阅原文。以下是译文。 译者序 1 提升影响力的方式 2 写（文档和长文）的好处 2.1 让自己真正想透问题（clarity） 2.2 让受众思考更专注（attention） 2.3 让时间和空间影响力更大（scale） ...