[cuda]cudaMemcpy会同步所有的默认stream

本质上per-thread是为了多线程设计的流模式，当面对多线程的进程应用的时候，如果每个线程都使用的是legacy stream的时候，那么多线程的意义其实就失去了，因为在gpu上还是串行的。进行编译nvcc --default-stream per-thread ./pthread_test.cu -o pthreads_per_thread 可以得到如下结果，可以看到legacy就一个stream, 但是依然把整个进程中的所有流给同步了。还是上面的代码，我们先看看如何启动per-thread。

默认流在执行的过程中，会等待其他非默认流执行完成后，然后再开始执行，并且默认流在执行的过程中，其他非默认流是不会执行的，时间上不会发生重叠。不同的默认流，其启动顺序是不可估的，有GPU调度器决定，但是在同一个流中，执行是严格按照串行的方式来执行的。cudaMemoryAsync 只能发生在非默认流中？cuda中的流分为默认流和非默认流。

CUDA 默认流与非默认流 CUDA中有一个重要的概念是 流(stream). 其实它代表着一系列的指令的执行队列. 这个执行队列就像他的名字一样, 有着固定的执行顺序(就像河流只能向一个方向固定的河道流淌一样). 而这条河的源头就是主机线程(host), 它开启了这个执行队列. 同样的, 也可能这座高山开启了不同的河流, 我们的主机线程(host)也可能启动了不同的执行队列. 或者多个主机线程(多座高山), 开启了多个stream(河流). 我更愿意理解流是更高一个层次的并行手段, 相对于thread

CUDA程序的并行层次主要有两个，一个是核函数内部的并行，一个是核函数外部的。合理使用CUDA流能实现核函数外部的并行。

前面我们没有讲程序的结构，我想有些童鞋可能迫不及待想知道CUDA程序到底是怎么一个执行过程。好的，这一节在介绍流之前，先把CUDA程序结构简要说一下。 CUDA程序文件后缀为.cu，有些编译器可能不认识这个后缀的文件，我们可以在VS2008的Tools->Options->Text Editor->File Extension里添加cu后缀到VC++中，如下图：   一个.cu文件内既包

在 CUDA 编程中，线程同步是极为关键的环节。()函数的作用在于确保针对都完成后，才安全地开始下一个操作。可以将其看作是一个屏障。它通常在或者其他非__global__函数中被调用。由于 GPU 线程是异步执行的，它们的执行顺序并不确定。例如在一些复杂的计算流程中，如果后续的计算依赖于前面内核操作的结果，那么使用这个函数就能避免在前面结果还未就绪时就开始后续操作，从而防止错误的产生。则是用于在。当多个线程可能会对相同的内存位置进行操作时，就需要使用它。

核函数中：a = (double*)((char*)dev_a + i*pitch)，这样对a的遍历方式是获取数组每一行的数据，同时计算a的结果直接作用在dev_a 上，而不需要再将a赋值给dev_a！总结：无论一维还是二维数组，都变为一维数组，进行传递，二维数组要注意数组的宽度大小。2. cudaMemcpy2D()传递一维数组、二维数组，已经核函数索引遍历的方法。再核函数中对一维数组索引，直接是0下标索引。

cuda中流分为默认流（空流）和非空流。

有人问：C语言为什么只需要include<stdio.h>就能使用里面声明的函数?这是一个看起来非常简单的问题，但是很多初学者，甚至学了很久的人都可能没有搞明白。为什么包含即可用？要明白包含即可用的原因，就必须讲到C语言代码是如何变成可执行文件的了，这里可以参考《hello程序是如何变成可执行文件的》。这里使用#include指令，在预编译之后，相当于把文件里面的内容都放到.c中了。/...

CUDA从入门到放弃（七）：流（ Streams）应用程序通过流来管理并发操作，流是一系列按顺序执行的命令。不同的流可能无序或并发地执行命令，但此行为并不保证。流上的命令在依赖关系满足时执行，这些依赖可能来自同一流或其他流。同步调用（synchronize call）可以确保所有启动的命令已完成。任何 CUDA 操作都存在于某个 CUDA 流中，要么是默认流（default stream），也称为空流（null stream），要么是明确指定的非空流。

cudaMemcpy cudaMemcpy用于在主机（Host）和设备（Device）之间往返的传递数据，用法如下： 主机到设备：cudaMemcpy(d_A,h_A,nBytes,cudaMemcpyHostToDevice) 设备到主机：cudaMemcpy(h_A,d_A,nBytes,cudaMemcpyDeviceToHost) 注意：该函数是同步执行函数，在未完成数据的转移操作之前会锁死并一直占有CPU进程的控制权，所以不用再添加cudaDeviceSynchronize()函数 ———————

CUDA编程（五）：流stream

以下哪句对一个 CUDA 流的描述最恰当？ 1.可从多个并行线程中读取的数据缓冲区 2.一种用于在 GPU 上并发运行任何操作的方法 3.用于协调来自多个 CPU 的指令的 CUDA 机制 4. 按发布顺序执行的一系列操作 答案：4 用于控制非默认流行为的两条规则是什么？ 1在同一非默认流中发布的操作将并行执行 2同一流中的操作将依发布顺序执行 3在不同非默认流中发布的操作之间没有必然顺序 4不同非默认流中的操作将始终并行执行 答案：2、3 **以下哪项可以在非默认流中执行？**可参考 。请选择所有适用项

出于个人兴趣和工作需要，最近接触了GPU编程。于是想写篇文章（或一系列文章），总结一下学习所得，防止自己以后忘了。这篇短文主要介绍CUDA里面Stream的概念。用到CUDA的程序一般需要处理海量的数据，内存带宽经常会成为主要的瓶颈。在Stream的帮助下，CUDA程序可以有效地将内存读取和数值运算并行，从而提升数据的吞吐量。本文使用了一个非常naive的图像处理例子：像素色彩空间转换，将一张76...

一个CUDA流中各个操作的次序是由主机控制，并按照主机发布的次序执行。

cudaMemcpy用于在主机（Host）和设备（Device）之间往返的传递数据，用法如下： 主机到设备：cudaMemcpy(d_A,h_A,nBytes,cudaMemcpyHostToDevice) 设备到主机：cudaMemcpy(h_A,d_A,nBytes,cudaMemcpyDeviceToHost) 注意：该函数是同步执行函数，在未完成数据的转移操作之前会锁死并一直占有CPU进程的控制权，所以不用再添加cudaDeviceSynchronize()函数 ...

类比理解：就像快递员在不同仓库（CPU内存和GPU显存）之间搬运货物（数据）。