并行计算与算子编程

模型中的一次矩阵乘法，如何变成 GPU 上高效执行的程序？这门课从并行计算的基本概念与性能模型出发，逐步介绍 CUDA、内存层次、Tensor Core 与异步流水线，并以 FlashAttention 和 3D Gaussian Splatting 为案例，连接算法、硬件与系统。

从并行思维到真实算子，一步步理解性能从何而来。

当前公开第一讲与第二讲，可通过阅读模式复习，也可逐页查看课堂中的图示与讨论。

以个人形式阅读、复现或改进并行计算与 AI 算子相关论文，也可以选择任意领域的论文，运用并行计算提升其中算法或系统的运行效率。通过实验与讨论形成自己的理解。