MPI 模型
如图MPI的各个运算节点是分布式的.每一个节点可以视为是一个“Thread”，但这里的不同之处在于这些节点没有所谓的共享内存，或者说Global Memory。所以，在后面也会看到，一般会有一个节点专门处理数据传输和分配的问题。MPI和CUDA的另一个不同之处在于MPI只有一级结构，即所有的节点都在一个全局命名空间下，不像CUDA那样有Grid/Block/Thread三级层次。MPI同样也是基于SPMD模型，所有的节点执行相同的指令，而每个节点根据自己的ID来确定指令处理的数据，产生相应的输出。
MPI API介绍
以下面这段代码来介绍API: 这段代码的功能是实现向量相加
int main(int argc, char *argv[]) { int size = 1024; int pid = -1; int np = -1; MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &pid); MPI_Comm_size(MPI_COMM_WORLD, &np); if (np < 3) { if (pid == 0) printf("Need 3 or more processes. "); MPI_Abort(MPI_COMM_WORLD, 1); return 1; } if (pid < np - 1) compute_node(size / (np - 1)); else data_server(size); MPI_Finalize(); return 0; }
1. MPI_Init()和MPI_Finalize()用于初始化和结束MPI框架；
2. MPI_COMM_WORLD代表了所有分配到的节点的集群；
3. MPI_Comm_rank()用于获取节点在集群中的标号，相当与CUDA中的threadIdx.x；
4. MPI_Comm_size()用于获取集群节点的数量，相当于blockDim.x；
5. MPI_Abort()用于中止执行。
上面代码中,有一个节点，也就是np-1节点，来负责数据的传输和分配，而其他的节点则负责计算。
数据传输data_server(size)是如何实现的呢?
MPI 通信
void data_server(unsigned int size) { int np; int first = 0; unsigned int num_bytes = size * sizeof(float); float *a = 0; float *b = 0; float *c = 0; MPI_Comm_size(MPI_COMM_WORLD, &np); a = (float *) malloc(num_bytes); b = (float *) malloc(num_bytes); c = (float *) malloc(num_bytes); random_data(a, size); random_data(b, size); float *ptr_a = a; float *ptr_b = b; // send data for (int i = 0; i < np - 1; i++) { MPI_Send(ptr_a, size / (np - 1), MPI_FLOAT, i, DATA_DISTRIBUTE, MPI_COMM_WORLD); ptr_a += size / (np - 1); MPI_Send(ptr_b,size / (np - 1), MPI_FLOAT, i, DATA_DISTRIBUTE, MPI_COMM_WORLD); ptr_b += size / (np - 1); } // wait for nodes to compute MPI_Barrier(MPI_COMM_WORLD); // collect output data MPI_Status status; for (int i = 0; i < np -1; i++) { MPI_Recv(c + i * size /(np - 1), size / (np - 1), MPI_REAL, i, DATA_COLLECT, MPI_COMM_WORLD, &status); } store_output(c); free(a); free(b); free(c); }
int MPI_Send(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm)
buf: 发送buffer的地址值.
count: 发送buffer的元素个数.
datatype: 发送buffer的数据类型.
dest: 个人理解为目标处理单元的索引,比如当前这个就是发送给第i个处理单元.
tag: 信息tag
comm: 传播者,handler
int MPI_Barrier(MPI_Comm comm): 阻塞调用者直到组内所有成员都调用它. 类似于cuda中的__syncthreads();
说完MPI 通信,下面来说MPI 计算部分.
MPI Compute
若节点支持CUDA，则还可以与CUDA结合起来进一步提高运算速度。以上面的计算节点为例：
void compute_node(unsigned int vector_size ) { int np; unsigned int num_bytes = vector_size*sizeof(float); float *h_a, *h_b, *h_output; float* d_A, d_B, d_output; MPI_Status status; MPI_Comm_size(MPI_COMM_WORLD, &np); int server_process = np - 1; /* Allocate memory */ cudaHostAlloc((void **)&h_a, num_bytes, cudaHostAllocDefault); cudaHostAlloc((void **)&h_b, num_bytes, cudaHostAllocDefault); cudaHostAlloc((void **)&h_output, num_bytes, cudaHostAllocDefault); /* Get the input data from server process */ MPI_Recv(h_a, vector_size, MPI_FLOAT, server_process, DATA_DISTRIBUTE, MPI_COMM_WORLD, &status); MPI_Recv(h_b, vector_size, MPI_FLOAT, server_process, DATA_DISTRIBUTE, MPI_COMM_WORLD, &status); /* Transfer data to CUDA device */ cudaMalloc((void **) &d_A, size); cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice); cudaMalloc((void **) &d_B, size); cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice); cudaMalloc((void **) &d_output, size); /* Compute the partial vector addition */ dim3 Db(BLOCK_SIZE); dim3 Dg((vector_size + BLOCK_SIZE – 1)/BLOCK_SIZE); vector_add_kernel<<<Dg, Db>>>(d_output, d_a, d_b, vector_size); MPI_Barrier(d_output); /* Send the output */ MPI_Send(output, vector_size, MPI_FLOAT, server_process, DATA_COLLECT, MPI_COMM_WORLD); /* Release device memory */ cudaFree(d_a); cudaFree(d_b); cudaFree(d_output); }
上面使用了Pinned Memory，可以提高数据传输的效率。这里所做的工作，就是将原来串行的向量.
如果节点不支持cuda,则可以像普通C语言那样写:
for(int i=0; i<vector_size; ++i) {
output[i] = input_a[i] + input_b[i]
}