·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】

515 5
发表于 2022-10-11 13:03:33 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
cpm介绍:
视频教程:https://www.bilibili.com/video/BV1vg411h7Sd/

基于CPM的中文作文生成模型,引经据典、修辞手法,信手拈来 ,文章内可获取26w+中文作文语料。

CPM(Chinese Pretrained Models)模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型,参数量分别为109M、334M、2.6B,用户需申请与通过审核,方可下载。 由于原项目需要考虑大模型的训练和使用,需要安装较为复杂的环境依赖,使用上也较为复杂。 本项目采用了109M的CPM模型(若资源允许也可以考虑334M的模型),并且简化了模型的训练和使用。

本项目是基于CPM模型的中文文本生成项目,可用于作文、小说、新闻、古诗等中文生成任务,并且训练和分享了中文作文生成模型,取得了不错的生成效果。 本项目提供了数据预处理、模型训练、文本生成、Http服务等代码模块。 详情可参考CPM模型论文, CPM官网, 项目源码 。

cpm开源地址:https://github.com/yangjianxin1/CPM

硬件要求:
如果觉得安装麻烦的,也可以让我远程给你装好环境,仅限已购客户

英伟达的显卡【Nvdia】或者AMD的显卡【AMD必须使用Ubuntu系统】,amd具体安装自行研究。

1、服务器选择
可选win或者ubuntu,ubuntu可自动安装gpu驱动。考虑大部分用户本地电脑使用,我们这里使用Win2019作为演示。

2、显卡驱动和cuda、cudnn安装
cuda作用,让你的程序能够调用gpu进行计算加速。cudnn作用:加速计算,提高1.5倍。

根据驱动版本选择对应版本的cuda和cudnn

1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】 保姆,安装,流程,包含,视频
[size=0.8125]驱动和cuda对应版本


1、我们这里选择CUDA10.2,所以需要先显卡驱动

驱动下载地址:https://www.nvidia.cn/Download/index.aspx?lang=cn

2、根据显卡,操作系统版本下载对应的驱动版本进行安装

cuda下载地址:https://developer.nvidia.com/cuda-toolkit-archive

3、根据驱动版本下载对应的cuda版本进行安装

cudnn下载地址:https://developer.nvidia.com/rdp/cudnn-download

cudnn解压,整个复制到cuda安装目录即可。

cuda安装目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

v10.2为cuda版本号。

根据cuda版本下载对应的cudnn版本进行安装

驱动和cuda,cudnn必须按照123步骤进行安装。在cmd窗口输入

    nvcc -V检测cuda是否安装成功 1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】 保姆,安装,流程,包含,视频
3、Python3.8.2安装
python3.8下载地址:https://wwd.lanzoub.com/iRPKN0c2y3pc

还需要装一个vc库:python运行需要用到vc环境

vc库下载地址:https://www.onlinedown.net/soft/1112617.htm

4、cpm运行环境安装
cpm下载地址https://github.com/yangjianxin1/CPM

cpm开发版购买和下载地址:https://www.52bangqi.com/shop/17395.html

防止环境冲突先安装下虚拟环境:

1、#安装虚拟环境包

pip install virtualenv

2、##为项目创建虚拟环境

cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键,打开shell窗口】。输入命令:virtualenv venv

3、打开虚拟环境:

cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键,打开shell窗口】

venv/Scritp/activate


4、退出虚拟环境

deactivate


虚拟环境安装完成再安装对应的包,这样可以防止和已有python项目冲突。


根据cuda版本选择对应的pytorch版本进行安装。https://pytorch.org/get-started/locally/【cuda11.3和cuda11.6在此选择安装命令即可】

如果cuda102可以直接下载此链接:https://download.pytorch.org/whl/cu102/torch-1.7.1-cp38-cp38-win_amd64.whl

如果是下载whl文件进行安装,同样的,命令行定位whl文件所在目录,运行pip install  torch-1.7.1-cp38-cp38-win_amd64.whl进行安装即可


其它版本的pytorch请在此查找根据cuda版本查找安装:https://download.pytorch.org/whl/torch_stable.html


必须先手动安装pytorch,然后再使用批量命令一次性安装所有需要的库。

按住shift键,鼠标右键单击文件夹内空白处,打开shell命令行。

pip install  -r req.txt


如果下载速度过慢,切换源到国内进行安装。

    python -m pip install --upgrade pippip config setglobal.index-url https://pypi.tuna.tsinghua.edu.cn/simple
5、测试程序运行
配置模型,可联系我下载或github的cpm页面下载作文目录。配置到model目录下,如视频操作。

在虚拟环境下执行命令python generate_new.py或python generate.py【开发版兼容原版所有命令】

python generate.py –model_path model/zuowen_epoch40 –title 家乡的四季 –context 家乡的四季,最美不过了 –max_len 200


后面我们会教小模型训练,大模型训练,生成参数详解。
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论5

IT618发布Lv.8 发表于 2022-10-11 13:03:48 | 查看全部
喷子莫比比,视频不收费。看着喷子就烦人。主要是为我的客户录制的。有很多咨询过我不会用的,想着发出来有兴趣的自己折腾下环境也可以用。毕竟环境最难安装。
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-10-11 13:04:23 | 查看全部
没看懂
我要说一句 收起回复
拾光Lv.8 发表于 2022-10-11 13:04:41 | 查看全部
现在会点皮毛程序员都这么拽的吗,喷的就是你,烂大街的清源,只有你把它当宝,还卖那么贵
我要说一句 收起回复
IT618发布Lv.8 发表于 2022-10-11 13:05:25 | 查看全部
这是清源吗,水狗,这是基于gpt2的,gpt是清源开发的吗?脑子都没有你装你m隔壁。还有你怎么知道老子只玩一套程序,你以为是你这种狗东西随便出点教程就来培训搞钱了?
我要说一句 收起回复
CrystαlLv.8 发表于 2022-10-11 13:05:42 | 查看全部
恰了几年烂钱装起来了?记不得你之前卖别人开发的站群还是泛目录去了。现在不好搞培训恰烂钱出来立牌坊了?
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.226.164.53,GMT+8, 2024-11-5 17:26 , Processed in 0.365739 second(s), 109 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表