gpt这是犯什么迷糊了？

迪巴拉 · 发表于 2024-2-16 09:44:31

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

独家记忆 · 发表于 2024-2-16 09:45:01

我可以道歉但我就是不改

浅生 · 发表于 2024-2-16 09:45:47

牛逼

浅生 · 发表于 2024-2-16 09:46:11

3.5就是弱智

婷姐 · 发表于 2024-2-16 09:46:42

哈哈。这个说法很妙。

TyCoding · 发表于 2024-2-16 09:47:03

找到约 9,690,000 条结果（用时 0.42 秒）
七个字的成语
天下乌鸦一般黑       比喻不管哪个地方的剥削者压迫者都是一样的坏。
知人知面不知心       旧时俗语。指认识一个人容易，但要了解一个人的内心却很困难。
不见棺材不落泪       比喻不到彻底失败的时候不肯罢休。
含着骨头露着肉       比喻说话半吞半吐，不把意思完全说出来。
不看僧面看佛面       比喻请看第三者的情面帮助或宽恕某一个人。

TyCoding · 发表于 2024-2-16 09:47:43

gpt 對文字的理解並不是一個一個字這樣的，所以他根本無法確定自己寫了多少個字
https://blog.devgenius.io/understanding-tokens-and-tokenization-in-large-language-models-1058cd24b944#:~:text=A%20token%20is%20typically%20not%20a%20word

独家记忆 · 发表于 2024-2-16 09:48:01

请问这个如何产生的？

TyCoding · 发表于 2024-2-16 09:48:41

能简短用汉语概括吗？

拾光 · 发表于 2024-2-16 09:49:14

舉個例子
eating 一個字，在 gpt 的訓練中可能是 eat + ing 兩個token 。爲什麽要這樣做訓練呢因爲 ing 自己就代表了進行中，是一個有意義的拆分。同理 “沒JJ” 也可能是一個token，因爲 ”沒JJ“ 本身的意義拆開就代表別的東西了。

這樣的訓練導致 10個字在 chatgpt眼中可以是 > 10 或者 < 10 個token，所以要chatgpt數字數是不可能精確的。就是數對了，也是因爲他調配了第三方的應用去數