30大网站多数屏蔽 AI 爬虫
← 返回今日版面来源
1 条大多数大型网站阻止AI训练爬虫，对Anthropic比对OpenAI更严厉。11月1日检查30个知名网站的robots.txt，28个回复。其中25个阻止ClaudeBot，17个阻止GPTBot。8个允许GPTBot进入但阻止ClaudeBot，包括《卫报》、《华盛顿邮报》、《华尔街日报》和《综艺》。28个中有2个发
大多数大型网站阻止AI训练爬虫，对Anthropic比对OpenAI更严厉。11月1日检查30个知名网站的robots.txt，28个回复。其中25个阻止ClaudeBot，17个阻止GPTBot。8个允许GPTBot进入但阻止ClaudeBot，包括《卫报》、《华盛顿邮报》、《华尔街日报》和《综艺》。28个中有2个发