30美元复现DeepSeek模型

镖师 · 发表于 5 小时前

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

斯坦福大学地下室，三个学生干了件大事，用30美元成本复现了估值百亿的DeepSeek核心模型。

学生团队核心秘籍是知识蒸馏，把1750亿参数大模型浓缩成70亿参数精华版，数据来源也巧妙，大部分开源，合成成本才17美元，训练靠谷歌免费显卡，电费13美元。

他们用开源工具搭积木，HuggingFace微调方案、MoE架构组装等，还借助梯度缓存提升训练效率。项目火了，GitHub星标四千，大家都纳闷大公司咋没想到。

测试结果令人意外，MMLU基准测试72.3分，和原版差距极小。推理速度稍慢但用户几乎无感，能效比虽有损耗但成本低可忽略。网友实测，生成小说电费不到半分，大家都在思考企业级AI是否还值得高价购买。

这一事件引发行业地震，DeepSeek估值蒸发17亿美元。投资人慌了，专利律师核查侵权。复现团队收到高薪邀请，印度创业潮兴起，单周注册420家AI公司。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！