1.第一个CUDA程序 CUDA提供与C在语言级别上集成，在主机代码中调用设备代码 尖括号内参数用来确定运行时如何启动设备代码 2.关键词 像调用C函数一样将参数传递给核函数 设备执行操作时需要分配内存 使用cudaMalloc()分配 ...

0 序言 学习CUDA已经有个把月了，感觉自己学习一门新技术的第一个阶段已经接近尾声，对于一些基本的东西，学习的收获应该作一个总结，我是一个喜欢总结的人。 CUDA是异构编程的一个大头，洋洋洒洒的看了写资料，但是，感觉这个技术没有像C++或者Java那样有自己的权威的《编程思想》来指导系统学 ...

5 GPU也不允许偏心 并行的事情多了，我们作为GPU的指令分配者，不能偏心了——给甲做的事情多，而乙没事做，个么甲肯定不爽的来。所以，在GPU中，叫做线程网络的分配。首先还是来看下GPU的线程网络吧，图2： 图2 线程网络 我们将具体点的，在主机函数中如果我们分配 ...

6 规约思想和同步概念 扩大点说，并行计算是有一种基本思想的，这个算法能解决很多很常规的问题，而且很实用，比如说累加和累积等——规约思想。对于基础的、重要的，我想有必要系统的学习。 我觉得有必要重 ...

1.展开循环 　　如果提前知道了循环的次数，可以进行循环展开，这样省去了循环条件的比较次数。但是同时也不能使得kernel代码太大。 　　循环展开代码例子： View Code 2.避免处理非标准化数字 　　OpenCL中非标准化数字，是指数值小于最小 ...

...

矩阵乘法是最常见的操作，现代神经网络的基础便是矩阵乘法。 一个N*M的矩阵，乘以一个M*P的矩阵，得到N*P的矩阵，矩阵乘法即为将每一行与被乘矩阵对应列进行乘加，最后将所有结果进行汇总。 CPU版 ...

CUDA C是一种在GPU上支持多线程并行化的语言，有了CUDA，很多需要多线程运行的程序变得简单起来，今天我们将从CUDA的的向量加法说起。 问题定义 向量加法是十分常见的操作，对于一个长度为n的向量，其运算规则如下： \[{c[i] = a[i] + b[i] for i < ...