踩坑2天，终于成功。趁热记下来。
还是在阿里云机器尝试。
项目主页：https://github.com/TsinghuaAI/CPM-Generate
1 机器
购买机器，按量计费。
-- ubuntu18，2块显卡P100，CUDA 10.2
-- 勾选自动安装GPU驱动，CUDA 10.2.89，cuDNN 7.6.5，等待。
2 软件环境配置
使用anaconda。当前最新是2020.11发布的，往后倒退一个版本。
Anaconda3-5.3.1-Linux-x86_64.sh 637.0M 2018-11-19 13:38:46
下载，wget https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh
安装，sh Anaconda3-5.3.1-Linux-x86_64.sh
配置都选择默认，等待完成。
source ~/anaconda3/bin/activate
conda create --name cpm1
等待安装
选择python环境，conda activate cpm1
root权限，apt install git , apt install cmake
3 CPM及依赖包的安装
3.1 源代码
cd ~/git/
git clone https://github.com/TsinghuaAI/CPM-Generate.git
3.2 依赖
source ~/anaconda3/bin/activate
conda activate cpm1
pip install -r requirements.txt
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
注意几点：
（1）我的jieba手动安装
pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple --default-timeout=100
（2）我的deepspeed手动安装
pip install deepspeed -i https://pypi.tuna.tsinghua.edu.cn/simple --default-timeout=100
（3）我的sentencepiece没有安装成功，使用源码安装
git clone https://github.com/google/sentencepiece.git
cd sentencepiece
mkdir build
cd build
cmake ..
make -j $(nproc)
sudo make install
sudo ldconfig -v
cd ../python
python setup.py build
python setup.py install
4 下载模型
模型主页：https://cpm.baai.ac.cn/download.html
wget https://baai.org/l/QLtmx
mv QLtmx model-v1.tar.gz
tar -zxvf model-v1.tar.gz
5 运行示例
python generate_samples.py
--model-parallel-size 2
--num-layers 32
--hidden-size 2560
--load ./model-v1/80000/mp_rank_00_model_states.pt
--num-attention-heads 32
--seq-length 1024
--max-position-embeddings 1024
--fp16
--cache-dir cache
--out-seq-length 512
--temperature 0.9
--top_k 0
--top_p 0
--tokenizer-path bpe_3w_new/
--vocab-size 30000
--input-text example.txt
一个结果：
