1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】
2022/10/11 13:03:33
cpm介绍：
硬件要求：
1、服务器选择
2、显卡驱动和cuda、cudnn安装
4、cpm运行环境安装
视频教程：https://www.bilibili.com/video/BV1vg411h7Sd/
基于CPM的中文作文生成模型，引经据典、修辞手法，信手拈来 ，文章内可获取26w+中文作文语料。
CPM（Chinese Pretrained Models）模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B，用户需申请与通过审核，方可下载。 由于原项目需要考虑大模型的训练和使用，需要安装较为复杂的环境依赖，使用上也较为复杂。 本项目采用了109M的CPM模型（若资源允许也可以考虑334M的模型），并且简化了模型的训练和使用。
本项目是基于CPM模型的中文文本生成项目，可用于作文、小说、新闻、古诗等中文生成任务，并且训练和分享了中文作文生成模型，取得了不错的生成效果。 本项目提供了数据预处理、模型训练、文本生成、Http服务等代码模块。 详情可参考CPM模型论文, CPM官网, 项目源码 。
cpm开源地址：https://github.com/yangjianxin1/CPM
硬件要求：
【如果觉得安装麻烦的，也可以让我远程给你装好环境，仅限已购客户】
英伟达的显卡【Nvdia】或者AMD的显卡【AMD必须使用Ubuntu系统】,amd具体安装自行研究。
1、服务器选择
可选win或者ubuntu，ubuntu可自动安装gpu驱动。考虑大部分用户本地电脑使用，我们这里使用Win2019作为演示。
2、显卡驱动和cuda、cudnn安装
cuda作用，让你的程序能够调用gpu进行计算加速。cudnn作用：加速计算，提高1.5倍。
根据驱动版本选择对应版本的cuda和cudnn
[size=0.8125]驱动和cuda对应版本
1、我们这里选择CUDA10.2,所以需要先显卡驱动
驱动下载地址：https://www.nvidia.cn/Download/index.aspx?lang=cn
2、根据显卡，操作系统版本下载对应的驱动版本进行安装
cuda下载地址：https://developer.nvidia.com/cuda-toolkit-archive
3、根据驱动版本下载对应的cuda版本进行安装
cudnn下载地址：https://developer.nvidia.com/rdp/cudnn-download
cudnn解压，整个复制到cuda安装目录即可。
cuda安装目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2
v10.2为cuda版本号。
根据cuda版本下载对应的cudnn版本进行安装
驱动和cuda，cudnn必须按照123步骤进行安装。在cmd窗口输入
- nvcc -V检测cuda是否安装成功
python3.8下载地址：https://wwd.lanzoub.com/iRPKN0c2y3pc
还需要装一个vc库：python运行需要用到vc环境
vc库下载地址：https://www.onlinedown.net/soft/1112617.htm
4、cpm运行环境安装
cpm下载地址https://github.com/yangjianxin1/CPM
cpm开发版购买和下载地址：https://www.52bangqi.com/shop/17395.html
防止环境冲突先安装下虚拟环境：
1、#安装虚拟环境包
pip install virtualenv
2、##为项目创建虚拟环境
cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键，打开shell窗口】。输入命令：virtualenv venv
3、打开虚拟环境：
cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键，打开shell窗口】
venv/Scritp/activate
4、退出虚拟环境
deactivate
虚拟环境安装完成再安装对应的包，这样可以防止和已有python项目冲突。
根据cuda版本选择对应的pytorch版本进行安装。https://pytorch.org/get-started/locally/【cuda11.3和cuda11.6在此选择安装命令即可】
如果cuda102可以直接下载此链接：https://download.pytorch.org/whl/cu102/torch-1.7.1-cp38-cp38-win_amd64.whl
如果是下载whl文件进行安装，同样的，命令行定位whl文件所在目录，运行pip install torch-1.7.1-cp38-cp38-win_amd64.whl进行安装即可
其它版本的pytorch请在此查找根据cuda版本查找安装：https://download.pytorch.org/whl/torch_stable.html
必须先手动安装pytorch，然后再使用批量命令一次性安装所有需要的库。
按住shift键，鼠标右键单击文件夹内空白处，打开shell命令行。
pip install -r req.txt
如果下载速度过慢，切换源到国内进行安装。
- python -m pip install --upgrade pippip config setglobal.index-url https://pypi.tuna.tsinghua.edu.cn/simple
配置模型，可联系我下载或github的cpm页面下载作文目录。配置到model目录下，如视频操作。
在虚拟环境下执行命令python generate_new.py或python generate.py【开发版兼容原版所有命令】
python generate.py –model_path model/zuowen_epoch40 –title 家乡的四季 –context 家乡的四季,最美不过了 –max_len 200
后面我们会教小模型训练，大模型训练，生成参数详解。