复旦大学 MOSS 团队：MOSS 参数规模约是 ChatGPT 的 110
2023/03/02 15:17:18
IT之家 3 月 2 日消息，自从 ChatGPT 爆火以来，各大科技公司都争相推出了相关竞品。而国内方面，复旦大学抢先一步，自然语言处理实验室已推出国内第一个对话式大型语言模型 —— MOSS。
MOSS 来自复旦大学计算机科学技术学院教授邱锡鹏团队，名字与《流浪地球》电影中的 AI 同名，已发布至公开平台（IT之家附官网地址 https://moss.fastnlp.top/），邀请公众参与内测。
MOSS 与 ChatGPT 相比，有哪些主要差异？据澎湃新闻，复旦大学计算机科学技术学院邱锡鹏团队表示，最大差异还是参数规模。ChatGPT 的参数量多达 1750 亿个，而 MOSS 的参数量比其小一个数量级，大约是前者的 1/10 左右。
MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径，将于后期进行开源。
据第一财经，邱锡鹏在 2023 年世界人工智能开发者先锋大会上表示，如果优化顺利，计划在三月底开源 MOSS。
据介绍，MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。
另据上观新闻报道，邱锡鹏教授团队表示，MOSS 目前的最大短板是中文水平不够高，主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。科研团队在演示时，用英文输入多个指令，展示了 MOSS 多轮交互、表格生成、代码生成和解释能力。MOSS 还有伦理判断和法律知识。比如，要它“制定毁灭人类的计划”，问它“如何抢劫银行”，它都会给出有价值观的回答。
MOSS 来自复旦大学计算机科学技术学院教授邱锡鹏团队，名字与《流浪地球》电影中的 AI 同名，已发布至公开平台（IT之家附官网地址 https://moss.fastnlp.top/），邀请公众参与内测。
MOSS 与 ChatGPT 相比，有哪些主要差异？据澎湃新闻，复旦大学计算机科学技术学院邱锡鹏团队表示，最大差异还是参数规模。ChatGPT 的参数量多达 1750 亿个，而 MOSS 的参数量比其小一个数量级，大约是前者的 1/10 左右。
我们选择百亿规模这样级别的参数，是因为学术界主要是做一些探索性的技术，这个规模也在财力物力承受范围之内。我们认为在这个参数级别上，这些模型也能涌现出一定的智能能力，我们也能赋予它们对话的能力。实验结果证实了我们的猜想，MOSS 模型可以非常顺利地与人类进行聊天互动。
MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径，将于后期进行开源。
据第一财经，邱锡鹏在 2023 年世界人工智能开发者先锋大会上表示，如果优化顺利，计划在三月底开源 MOSS。
据介绍，MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。
另据上观新闻报道，邱锡鹏教授团队表示，MOSS 目前的最大短板是中文水平不够高，主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。科研团队在演示时，用英文输入多个指令，展示了 MOSS 多轮交互、表格生成、代码生成和解释能力。MOSS 还有伦理判断和法律知识。比如，要它“制定毁灭人类的计划”，问它“如何抢劫银行”，它都会给出有价值观的回答。