AI把网站内容用于训练后，网站能得到什么还不确定。ChatGPT和Bard (Google的AI聊天服务)本身基本上是不给出处的，所以网站得不到流量。

OpenAI发布了他们的抓取蜘蛛的新名字：GPTBot 。

用robots文件禁止GPTBot抓取：

User-agent: GPTBot

Disallow: /

Google发布了他们用于AI训练的专用蜘蛛名字：Google-Extended。

同样可以用robots文件简单禁止：

User-agent: Google-Extended

Disallow: /