返回博客
工具评测

图床照片会被用来训练 AI 吗?8 家平台 robots.txt 与条款实测

发布于22 min read
分享文章

字节跳动的 Bytespider 是国内读者最容易忽略的一个细节:这个专门抓取网页训练模型的爬虫,同时出现在国外几家图床的 robots.txt 封锁名单里。国内讨论 AI 训练数据来源时,大家聊得多的是文心一言、通义千问这些国产大模型用了哪些语料,却很少有人关心自己传到国外图床的照片会不会被反过来抓去训练别的模型。这篇就是冲着这个问题去的。

先说结论:我这次查了 8 家图床/相册服务,只有 Catbox 在 robots.txt 里具名封锁了 GPTBot、ClaudeBot、Google-Extended、CCBot;Flickr 用另一种写法达到类似效果;Imgur 的 robots.txt 完全没挡,但服务条款反过来明文禁止第三方把平台内容拿去做 AI 训练;ImgBB 和 Postimages 的 robots.txt 是空文件,形同没有规则;lpic.cc 目前也没有针对 AI 爬虫写任何专门规则。这些都是这次实际 fetch 到的内容,不是查文档推测出来的,查核时间是 2026 年 9 月。

5 个 AI 爬虫分别代表什么

比较之前先弄清楚这 5 个 UA 各自的用途,不然表格看起来会像天书:

  • GPTBot — OpenAI 用来收集训练数据的爬虫
  • ClaudeBot — Anthropic 用来收集训练数据的爬虫(跟同样是 Anthropic、但用途是实时检索的 Claude-User / Claude-SearchBot 是不同的 UA)
  • Google-Extended — 谷歌专门给 Gemini 等生成式 AI 训练用的退出令牌,跟负责搜索索引的 Googlebot 是分开的
  • CCBot — Common Crawl 的爬虫,很多大模型的训练数据集都是从它抓取的数据加工出来的
  • PerplexityBot — Perplexity 的爬虫

国内读者更熟悉的字节跳动 Bytespider(抖音、今日头条母公司的爬虫)也会在后面 Catbox 那段单独提到,它跟上面 5 个不算同一批 UA,但同样被 Catbox 的封锁名单点名。

这篇怎么查的

我对 8 个域名直接跑 curl 抓 robots.txt 原始文件(不是看第三方工具的解读),再用网页抓取工具读各家的服务条款全文,找"内容授权范围"与"AI / 机器学习训练"相关字句,逐字引用。查不到、或条款里完全没提到的字段,标"未提及",不靠记忆脑补。

完整比较表

数据更新:2026 年 9 月。"未列名"代表这个 UA 没有出现在该站 robots.txt 里,实际处置要看它落进哪一条规则。

服务 GPTBot ClaudeBot Google-Extended CCBot PerplexityBot 服务条款提到 AI 训练?
Catbox 阻挡(具名) 阻挡(具名) 阻挡(具名) 阻挡(具名) 未列名→按 * 规则放行 未提及
Flickr 阻挡(未进允许名单,落入 User-agent: * / Disallow: /) 阻挡(同左;但 Claude-User、Claude-SearchBot 两个非训练用 UA 被具名放行) 阻挡(同左) 阻挡(同左) 放行(具名列入允许名单) 未提及
Imgur 未列名→按 * 规则放行 未列名→放行 未列名→放行 未列名→放行 未列名→放行 有 — 明文禁止第三方为 AI 机器学习用途抓取/使用平台内容
ImgBB 放行(robots.txt 空文件) 放行 放行 放行 放行 未提及
Postimages 放行(robots.txt 空文件) 放行 放行 放行 放行 未提及
谷歌相册 未列名;分享/相册相关路径对 * 全挡 同左 同左 同左 同左 谷歌主服务条款禁止"用本服务内容训练机器学习模型",但没有针对相册另外说明
iCloud 共享相册 未列名;/sharedalbum/、/photos/ 对 * 全挡(Googlebot 例外整站放行) 同左 同左 同左 同左 未提及;苹果智能隐私页另有声明"未经同意的私人内容不会用于训练基础模型"
lpic.cc 放行(Allow: /,只挡 /admin/、/api/) 放行 放行 放行 放行 未提及;授权范围限于"存储、处理(如压缩转码)、传输",不是"任何目的"的概括式授权

robots.txt 只是君子协定,这句话要说在前面

上面这张表全部是"规则写了什么",不是"爬虫实际有没有遵守"。robots.txt 没有任何技术强制力,一个网站把某个 UA 写成 Disallow: /,对方的爬虫要不要理会,全靠对方自律。这次只验证了规则文字本身,没有逐一去验证这 5 家 AI 公司的爬虫是否确实遵守自己声称要遵守的 robots.txt——那需要另一套流量分析方法,不是读规则能回答的问题。这一点对后面 lpic.cc 那段的定位很重要,先在这里讲清楚。

逐家拆解:规则背后的逻辑差异

Catbox:封锁名单最全,但漏了 PerplexityBot,还点名了 Bytespider

Catbox 的 robots.txt 用最直接的写法:先给所有 UA 一组通用规则(只挡 /contact.php、/user/ 等几个功能性路径),接着逐一列名挡掉 ClaudeBot、Claude-User、Claude-SearchBot、GPTBot、Google-Extended、CCBot、Meta-ExternalAgent、FacebookBot、Bytespider、Applebot-Extended——十个训练或聚合型 UA,Disallow: / 整站挡死。

这里面 Bytespider 值得国内读者多看一眼——它是字节跳动的爬虫,主要给旗下产品的推荐算法和模型训练抓数据用。Catbox 把它跟 GPTBot、ClaudeBot 归到同一类"训练型爬虫"挡掉,说明这份名单不是只盯着欧美几家大厂,覆盖面比想象中更全。

但这份名单里没有 PerplexityBot。它没被具名列出,就落回通用规则,等于整站(除了那几个功能性路径)对它是开放的。不清楚这是名单没更新,还是刻意的判断(Perplexity 官方把自己定位成实时检索助理,不是训练爬虫)——这是这次查不到、也不打算瞎猜的部分。能确定的只有:就连查得最细的 Catbox,也有一个具体、可验证的漏网之鱼。

Flickr:用"允许名单"达到跟 Catbox 相反的效果

Flickr 的写法反过来:先列一长串允许的 UA(Googlebot、bingbot、ChatGPT-User、Claude-SearchBot、Claude-User、OAI-SearchBot、PerplexityBot 等),只对这些 UA 开放(扣掉几个路径),最后补一条 User-agent: * / Disallow: /。

换句话说,没被明确邀请进允许名单的 UA,一律整站挡死。GPTBot、ClaudeBot、Google-Extended、CCBot 都不在允许名单里,所以全部落入那条 Disallow: /。这个结果刚好就是"搜索/实时检索型爬虫放行、大规模训练型爬虫挡掉"——跟 Catbox 手动列黑名单殊途同归,只是实现方式完全相反:一个是黑名单,一个是白名单。

Imgur:robots.txt 开门,服务条款上锁

Imgur 的 robots.txt 没有任何一个 AI 相关 UA 被单独处理,通用规则也只挡账号、下载、登出这类功能页,图片与相册页面对所有爬虫都是开放的。但翻它的服务条款,第三方使用限制写得非常直白:

"...create derivative works based on our service...including for any purposes related to AI machine learning/use on AI platforms..."(禁止事项清单的一部分)

以及:

"...any use of our service...for any commercial purpose, including without limitation AI machine learning, use on AI platforms, etc., you must first obtain our express signed written consent..."

这条禁令是写给"第三方"的,不是自我限制——Imgur 母公司 MediaLab.Ai 自己怎么用平台上的内容,条款没有对应的自我约束文字。所以精确的讲法是:Imgur 用技术规则(robots.txt)放行所有人进来,却用法律规则(服务条款)禁止别人把抓到的东西拿去训练 AI。这是一种"先让你爬,但爬完你不能拿去做这件事"的组合,跟 Catbox/Flickr 用技术手段直接挡在门口是完全不同的策略。

ImgBB、Postimages:规则是空的

这两家的 robots.txt 直接用 curl 验过 HTTP 响应,Content-Length: 0——不是抓取失败,是网站真的返回一个空文件。没有任何 Disallow 规则,代表所有爬虫(含 5 个 AI 爬虫)技术上畅行无阻。服务条款也都没提到 AI 训练,但两家都对自己的服务给了非常宽的内容授权(ImgBB 的原文是"for any purpose, commercial, advertising, or otherwise")。这个宽授权是签给平台自己的,不是替 AI 公司背书,但也意味着平台未来要不要把内容授权出去做 AI 训练,条款目前并不阻止它这么做。

谷歌相册、iCloud 共享相册:问题本身可能问错了

这两个服务的 robots.txt 都没有针对任何一个 AI 爬虫写专门规则,但通用规则把 /photo/、/shared、/sharing(谷歌相册)与 /sharedalbum/、/photos/(iCloud)都整段挡掉,对所有没被额外放行的 UA 一视同仁——这 5 个 AI 爬虫没有任何一个拿到例外。

但这里有个结构性差异,跟前面 6 家不一样:Imgur、ImgBB、Postimages、Catbox、Flickr、lpic.cc 的图片页面设计上就是可公开浏览的(其中几家还会进搜索索引;lpic.cc 的查看页则设了 noindex);谷歌相册的相册、iCloud 的共享相册默认是靠一组不可猜测的地址在运作,没有任何公开列表或站内链接导向这些页面。robots.txt 挡不挡,对这种"地址即密钥"的架构影响有限——爬虫得先知道那个地址,才有机会去读 robots.txt 判断能不能爬。这跟前 6 家"页面本来就在公开索引里,靠 robots.txt 拦"是两种完全不同的防护逻辑,放在同一张表比较时有必要讲清楚,不然容易误读成"谷歌/苹果也用了跟 Catbox 一样的策略"。

Cloudflare 刚做的事,跟这些图床有没有关系

2026 年 9 月 15 日,Cloudflare 官方博客发布〈Have it both ways: stay discoverable in search while disallowing AI training〉,正式把爬虫行为分成三类:Search(建搜索索引)、Training(训练或微调模型)、Agent(用户实时指派的代理行为,例如帮你查资料)。文章明确说,这天起所有新接入 Cloudflare 的域名会套用新的默认值:有广告的网站默认"允许搜索、阻挡训练、广告页挡代理";没有广告的网站默认三者全部允许。这是 Cloudflare 2025 年 9 月推出的 Content Signals Policy(把 search / ai-input / ai-train 三个信号写进 robots.txt 扩展语法)的后续落地。

没有查到、也不打算假装查到"这 8 家图床是不是 Cloudflare 客户"——这篇没有验证这件事,不代表它们套用了 Cloudflare 的新默认值。值得记录的巧合是:Flickr 现有的 robots.txt 结构,刚好就是 Cloudflare 这次想推广的逻辑(搜索/代理型爬虫放行、训练型爬虫挡),只是 Flickr 是自己手动维护 UA 清单做到的,跟 Cloudflare 这次的自动化默认值无关。

国内视角:生成式 AI 服务管理暂行办法管不管得到这件事

国内的《生成式人工智能服务管理暂行办法》对境内提供生成式 AI 服务的主体有数据来源合法性的要求,但这份办法约束的是境内的服务提供者,对 Imgur、Catbox 这类境外图床本身没有直接管辖力——你上传到境外图床的照片如果被境外的 AI 公司抓去训练,适用的是对方所在地的法律和平台自己的服务条款,不是国内这份办法。这也是为什么这篇文章要单独查每家的 robots.txt 和条款原文,而不是套一个笼统的"国内有规定所以安全"的假设。

lpic.cc 现在的政策是什么(老实说)

lpic.cc 的 robots.txt 现在长这样(2026-09 查核):

User-Agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://lpic.cc/sitemap-index.xml

没有针对 GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot 任何一个写专门规则,在 robots.txt 这一层等同全部放行。服务条款这边,授权范围写的是"你授权本服务对上传内容进行存储、处理(如压缩转码)与传输",范围比 Imgur、ImgBB、Postimages 那种"任何目的"的概括授权窄很多,但条款里同样没有出现"AI"或"机器学习"字样,既没承诺、也没禁止。

这两件事合起来,诚实的讲法是:lpic.cc 的 robots.txt 与条款目前都没有针对 AI 训练爬虫的阻挡,这点跟 Imgur、ImgBB、Postimages、谷歌相册、iCloud 是同一组,不比它们特别(网站前面的 CDN 另有爬虫管理设置,那一层不在本文查核范围内,这里不替它背书,也不据此宣称任何保护效果)。不会说"上传到 lpic.cc 比较不会被拿去训练 AI",因为没有任何规则支持这句话,而且就算加了 Disallow: GPTBot 这种规则,前面已经说过,那也只是自律协定,没有量测过任何一家会不会真的遵守。要不要现在跟进 Catbox / Flickr 那种明确挡法,是另一个独立的产品决策,跟这篇文章要不要诚实描述现状是两件事。

你该挑哪家:情境对照表

你在意的事 适合看的服务 为什么
想要图床主动、技术层面挡掉已知训练爬虫(含国内的 Bytespider) Catbox robots.txt 具名挡了 4/5 个目标爬虫加上 Bytespider,是本文查到唯一这样做的
想公开分享又想被搜索引擎收录,但不想被训练型爬虫扫 Flickr 白名单式写法刚好达到"可搜索、不可训练"的效果,但这是它既有的运维方式,不是官方对 AI 议题的公开承诺
只是要免费放图,不特别在意 AI 议题 ImgBB / Postimages robots.txt 没有限制,上手最快,但条款把内容授权范围写得很宽,等于默认同意平台可以拿内容做"任何用途"
想要平台自己的授权范围越窄越好(只能存储/处理/传输) lpic.cc 条款文字范围是本文比较里最窄的一个,但没有对应的 AI 爬虫技术阻挡
想要照片本来就不公开曝光、不进索引 谷歌相册共享相册 / iCloud 共享相册 靠不可猜测地址而非 robots.txt 防护,架构逻辑跟其他 6 家不同

FAQ

Q:robots.txt 写 Disallow,AI 公司就一定不会爬吗? 不一定。robots.txt 是自律协定,没有技术强制力。这篇只验证了"规则写了什么",没有另外去量测这 5 家 AI 公司的爬虫是否真的遵守自己声称要遵守的规则。

Q:服务条款完全没提到 AI 训练,代表我的照片比较安全吗? 不代表。没提到通常表示条款制定时这还不是重点,或平台刻意保留弹性。搭配 Imgur、ImgBB、Postimages 那种"任何目的"的宽泛授权来看,条款没写清楚,反而可能是风险而不是保障。

Q:lpic.cc 有专门挡 AI 训练爬虫吗? robots.txt 层没有。2026 年 9 月查核当下,robots.txt 对 5 个目标 UA 全部放行(CDN 层的爬虫管理设置不在本文查核范围),这是诚实的现状陈述,不是承诺未来不会补。

Q:Cloudflare 这次的三分类(Search / Training / Agent),跟这 8 家图床有直接关系吗? 没有直接关系。这是 Cloudflare 平台层级的新机制,套用对象是接入 Cloudflare 的域名,本文没有查证这 8 家是否为 Cloudflare 客户。Flickr 现有规则的效果刚好类似,纯属巧合,不代表它是为了配合 Cloudflare 这次公告而设计。

Q:PerplexityBot 为什么在 Catbox 没被列入封锁名单? 不知道确切原因,本文没有查到 Catbox 运维者的公开说明。可能是名单没更新,也可能是刻意判断——Perplexity 官方把自己定位成实时检索型助理,跟纯粹收集训练数据的爬虫不同。这里只呈现规则本身的落差,不做动机推测。

Q:国内的《生成式人工智能服务管理暂行办法》能管到这些境外图床吗? 管不到平台本身。这份办法约束的是境内提供生成式 AI 服务的主体的数据来源合法性,Imgur、Catbox 这类境外图床及抓取它们的境外 AI 公司不在其管辖范围内,适用的是对方所在地法律和平台自己的服务条款。

数据来源与查核日期

以下全部为 2026-09-25 直接 fetch/curl 获取的原始内容,非转引第三方摘要:

  • Imgur robots.txt:https://imgur.com/robots.txt
  • Imgur 服务条款:https://imgur.com/tos
  • ImgBB robots.txt:https://imgbb.com/robots.txt(HTTP 200,Content-Length: 0)
  • ImgBB 服务条款:https://imgbb.com/tos
  • Postimages robots.txt:https://postimages.org/robots.txt(HTTP 200,Content-Length: 0)
  • Postimages 服务条款:https://postimages.org/terms
  • Catbox robots.txt:https://catbox.moe/robots.txt
  • Catbox 条款/隐私页:https://catbox.moe/legal.php
  • Flickr robots.txt:https://www.flickr.com/robots.txt
  • Flickr 服务条款:https://www.flickr.com/help/terms
  • Flickr 隐私权政策:https://www.flickr.com/help/privacy
  • 谷歌相册 robots.txt:https://photos.google.com/robots.txt
  • 谷歌服务条款:https://policies.google.com/terms
  • 谷歌隐私权政策:https://policies.google.com/privacy
  • iCloud robots.txt:https://www.icloud.com/robots.txt
  • iCloud 服务条款:https://www.apple.com/legal/internet-services/icloud/
  • 苹果智能隐私页:https://www.apple.com/privacy/features/
  • lpic.cc robots.txt:https://lpic.cc/robots.txt
  • lpic.cc 服务条款:站内 /terms 页面对应之 i18n 文案(termsIntellectualDesc)
  • Cloudflare 官方博客(三分类爬虫政策,2026-09-15 发布):https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
  • Cloudflare Content Signals Policy(三分类的前身,2025-09-24 发布):https://blog.cloudflare.com/content-signals-policy/
#ai训练#robots.txt#图床隐私#imgur#catbox#flickr#谷歌相册#bytespider
B

作者

Brian Lee

技术分析师

专注图片格式、压缩技术与 API 整合，用数据说话。