1、问题描述 矩阵乘法问题描述如下： 　　给定矩阵A和B，其中A是m*p大小矩阵，B是p*n大小的矩阵。求C = A*B。 求解这个问题最简单的算法是遍历A的行和B的列，求得C的相应元素，时间复杂度O(mnp)，空间复杂度O(1)。 2、最简单的并行方案 要改进上述算法 ...

C=A*B以C来划分，假设线程数为m，矩阵维度为n*n。那么每个线程计算C的元素个数为n*n/m； ...

一、集群和Linux上的集群解决方案 集群计算机是指用一组联网的PC或工作站来搭建成的，提供比单个PC（节点）计算性能高得多的计算机。说其是计算机，其实是针对所提供出来的服务而言的，或者说是逻辑上来说的。集群计算机的主要优势就是成本，相同的计算能力下，其成本只有传统大型机的十分之一，在全球计算 ...

大数据集群计算利器之MPI/OpenMP ---以连通域标记算法并行化为例 1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进 ...

通过上一篇关于并行计算准备部分的介绍，我们知道MPI（Message-Passing-Interface 消息传递接口）实现并行是进程级别的，通过通信在进程之间进行消息传递。MPI并不是一种新的开发语言，它是一个定义了可以被C、C++和Fortran程序调用的函数库。这些函数库里面主要涉及 ...

通过上一篇中，知道了基本的MPI编写并行程序，最后的例子中，让使用0号进程做全局的求和的所有工作，而其他的进程却都不工作，这种方式也许是某种特定情况下的方案，但明显不是最好的方案。举个例子，如果我们让偶数号的进程负责收集求和的工作，情况会怎么样？如下图： 对比之前 ...

技术背景 在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python ...

MPI 和 MPI4PY 的搭建上一篇文章已经介绍，这里面介绍一些基本用法。 mpi4py 的 helloworld mpiexec -n 5 python3 x.py 2. 点对点通信 ...