Cuda知识点总结(个人篇)
发布网友
发布时间：2024-10-16 20:28
共1个回答
热心网友
时间：2024-10-17 23:57
这是我个人在CUDA编程实践中积累的知识点记录，主要用于个人参考，非详尽教程。分享在知乎上，以备日后查阅。
1. GPU编程接口主流介绍
CUDA（Compute Unified Device Architecture）是一种针对GPU（图形处理单元）的并行编程模型，其核心概念包括：
thread: 单个执行单元，可以是1D、2D或3D
block: 由多个thread组成，通常为1D、2D或3D结构
grid: 包含多个block，执行一个kernel函数，可以1D或2D布局
SP (Streaming Processor): GPU的基本处理单元
SM (Streaming Multiprocessor): 多个SP组成的处理器，负责调度和指令执行
2. SM, SP, Warp关系详解
在硬件层面，SM和SP是CUDA软件概念的对应物。SM负责指令调度，SP执行实际计算，每个SP负责处理一定数量的warp，即线程束，通常每warp有32个线程。
3. 编程挑战：线程ID和内存管理
理解线程索引（ThreadIdx）在不同Grid和Block结构下的计算是关键，CUDA编程需要灵活运用这些概念。Kernel运行时间监控可以通过nvprof和nvvp工具进行分析。
4. 常见编程规则
Host、Device和Global标识用于指示代码执行位置：_host_在CPU，_device_在GPU，_global_由CPU调用GPU执行
kernel函数要求返回void，且必须在.cuda文件中声明
5. 内存模型详解
内存分为2种Host内存（pageable和pinned）和6种GPU内存（如constant和texture memory），理解这些内存的性质和使用场景至关重要。
6. CUDA Stream和同步功能
Stream用于设备操作的并发与优化，遵循广度优先而非深度优先执行策略，以充分利用GPU资源。
7. 锁页内存与同步函数
锁页内存（pinned memory）确保数据在物理内存中，对于内存拷贝和GPU计算同步有重要作用。cudaDeviceSynchronize等函数用于控制CPU与GPU的同步。
