·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹👽聊天室
返回列表 发布新帖

有没有大神会用gpu跑llama3 8b的

114 6
发表于 2024-5-8 19:38:48 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
有张3060,但不会用。求大神指点
我要说一句 收起回复

评论6

浅生Lv.8 发表于 2024-5-8 19:39:30 | 查看全部
找了挺多教程,没看懂。
是不是不能在windows平台下用,
windows平台好像只能用cpu跑,这个太慢了。
我要说一句 收起回复
浅生Lv.8 发表于 2024-5-8 19:40:27 | 查看全部
那么多教程,就是下载python装环境,下载模型和demo跑
我要说一句 收起回复
IT618发布Lv.8 发表于 2024-5-8 19:40:54 | 查看全部
直接用ollama简单点。
我要说一句 收起回复
TyCodingLv.8 发表于 2024-5-8 19:41:28 | 查看全部
在用rs2000(8H16G)跑llama3 8B,加了各种prompt后,生成速度5.74tokens/s,速度还不错。

显卡可以试着多加几张,跑个llama3 70B,ollama支持多卡的,总显存有50G这样子就可以非常流畅的运行了。
我要说一句 收起回复
独家记忆Lv.8 发表于 2024-5-8 19:41:33 | 查看全部
ollama,windows下也可以用显卡,直接run就完事了
我要说一句 收起回复
浅生Lv.8 发表于 2024-5-8 19:41:44 | 查看全部
https://ollama.com/
windows上官网下载安装,然后打开cmd运行
  1. ollama run llama3
复制代码

会自动下载几个G的模型,下载完然后就可以用了

GPU我是N卡,什么都没配置,直接就用上GPU了。
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
关闭

站长推荐上一条 /1 下一条

投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.222.147.59,GMT+8, 2025-2-22 13:57 , Processed in 0.281237 second(s), 93 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表