线程和执行

并行的关键是使用多个线程来解决问题（duh。）但是在线程的组织方式上，经典的多线程编程存在一些差异。

首先让我们谈谈你的典型 GPU，为了简单起见，我将重点关注

GPU 具有许多处理核心，这使其成为并行执行多个线程的理想选择。这些核心在流处理器（SM，NVidia 术语）中组织，其中 GPU 具有给定数量。

在 SM 内部运行的所有线程都称为线程块。SM 上可以有比线程更多的线程。核心数量定义了所谓的扭曲大小（NVidia 术语）。线程块内的线程被称为 warps。

一个跟进的快速示例：典型的 NVidia SM 有 32 个处理核心，因此它的 warp 大小为 32.如果我的线程块现在有 128 个线程要运行，它们将被束缚为 4 个经线（4 个经线* 32 个经线尺寸= 128 个）线程）。

稍后选择线程数时，warp 大小非常重要。

单个 warp 中的所有线程共享一个指令计数器。这意味着这 32 个线程真正同步，因为每个线程同时执行每个命令。这是一个性能缺陷：这也适用于内核中的分支语句！

示例：我有一个内核，它有一个 if 语句和两个分支。在 warp 中我的 16 个线程将执行分支一，另一个 16 分支两个。直到 if 语句，warp 中的所有线程都是同步的。现在有一半人选择了不同的分支。发生的事情是，另一半将处于休眠状态，直到错误的语句在前 16 个线程上执行完毕。然后这些线程将处于休眠状态，直到其他 16 个线程完成其分支。

正如你所看到的，糟糕的分支习惯会严重降低并行代码的速度，因为这两个语句都会在最坏的情况下执行。如果 warp 中的所有线程决定它们只需要其中一个语句，则完全跳过另一个并且不会发生延迟。

同步线程也不是一件简单的事情。你只能使用单个 SM 同步线程。SM 之外的所有内容在内核中都是不可同步的。你必须编写单独的内核并一个接一个地启动它们。