CUDA block 中的同步,fence 和原子操作

一直纠结在fence 和 原子操作。

记住：原子操作是当多个thread 准备对同一个数据进行写操作，原子操作的目的是保证该数据只被一个thread 读、修改、写。这三个步骤不会受其他thread影响。

fence 是保证thread 对 数据的修改被其他thread发现，发现后，该thread 继续向前走。

__syncthreads， 保证所有thread 同时到达一个点，然后继续前进。