Идут ли ваши фото на обучение ИИ? Проверка robots.txt и условий у 8 сервисов
Многие годами загружают фото на бесплатные фотохостинги, чтобы кинуть ссылку в Telegram-чат или беседу ВКонтакте, и почти никогда не задумываются, не попадёт ли эта картинка потом в обучающий датасет какой-нибудь языковой модели. Я решил не гадать, а напрямую запросить robots.txt и условия обслуживания восьми сервисов и проверить факты.
Сначала вывод, потом данные: из этих 8 сервисов для хранения фото/альбомов только Catbox явно, по имени, блокирует в robots.txt GPTBot, ClaudeBot, Google-Extended и CCBot; Flickr добивается похожего эффекта другим способом; robots.txt у Imgur вообще ничего не блокирует, зато условия обслуживания прямо запрещают третьим лицам использовать контент платформы для обучения ИИ; у ImgBB и Postimages robots.txt — пустой файл, то есть правил там просто нет; у lpic.cc пока тоже нет отдельных правил для ИИ-краулеров. Всё это — реально полученные данные из прямых запросов, а не пересказ документации; проверка проводилась в сентябре 2026 года.
Как проводилась проверка
Я напрямую запускал curl на 8 доменов, чтобы получить исходный файл robots.txt (а не интерпретацию стороннего инструмента), затем читал целиком пользовательские соглашения каждого сервиса, выискивая формулировки про «объём лицензии на контент» и «обучение ИИ / машинное обучение», и цитировал их дословно. Там, где ничего не нашлось или тема вообще не упоминалась в условиях, я так и написал — «не упоминается», не додумывая по памяти.
Сравнивались 5 ИИ-краулеров, каждый со своим назначением:
- GPTBot — краулер OpenAI для сбора обучающих данных
- ClaudeBot — краулер Anthropic для сбора обучающих данных (отличается от
Claude-User/Claude-SearchBot, которые нужны для поиска в реальном времени, а не для обучения) - Google-Extended — отдельный токен отказа от Google специально для обучения генеративных моделей вроде Gemini, отличается от Googlebot, который отвечает за поисковую индексацию
- CCBot — краулер Common Crawl, чей собранный датасет лежит в основе многих обучающих выборок для LLM
- PerplexityBot — краулер Perplexity
Полная сравнительная таблица
Данные актуальны на сентябрь 2026 года. «Не указан» означает, что этого UA нет по имени в robots.txt сайта: фактическое поведение зависит от того, под какое общее правило он попадает.
| Сервис | GPTBot | ClaudeBot | Google-Extended | CCBot | PerplexityBot | Условия упоминают обучение ИИ? |
|---|---|---|---|---|---|---|
| Imgur | Не указан → разрешён общим правилом * |
Не указан → разрешён | Не указан → разрешён | Не указан → разрешён | Не указан → разрешён | Да — прямо запрещает третьим лицам собирать/использовать контент платформы для машинного обучения |
| ImgBB | Разрешён (robots.txt пуст) | Разрешён | Разрешён | Разрешён | Разрешён | Не упоминается |
| Postimages | Разрешён (robots.txt пуст) | Разрешён | Разрешён | Разрешён | Разрешён | Не упоминается |
| Catbox | Заблокирован (по имени) | Заблокирован (по имени) | Заблокирован (по имени) | Заблокирован (по имени) | Не указан → разрешён общим правилом * |
Не упоминается |
| Flickr | Заблокирован (не входит в белый список, попадает под User-agent: * / Disallow: /) |
Заблокирован (по той же причине; но Claude-User и Claude-SearchBot, не относящиеся к обучению, разрешены явно) |
Заблокирован (аналогично) | Заблокирован (аналогично) | Разрешён (явно в белом списке) | Не упоминается |
| Google Фото | Не указан; пути, связанные с шерингом/альбомами, полностью закрыты для * |
Аналогично | Аналогично | Аналогично | Аналогично | Общие условия Google запрещают «обучать модели машинного обучения на контенте сервиса», но отдельного пояснения для Фото нет |
| Общие альбомы iCloud | Не указан; /sharedalbum/, /photos/ полностью закрыты для * (для Googlebot сделано исключение на весь сайт) |
Аналогично | Аналогично | Аналогично | Аналогично | Не упоминается; в разделе о приватности Apple Intelligence отдельно указано, что «приватный контент не используется для обучения базовых моделей без согласия» |
| lpic.cc | Разрешён (Allow: /, закрыты только /admin/ и /api/) |
Разрешён | Разрешён | Разрешён | Разрешён | Не упоминается; объём лицензии ограничен «хранением, обработкой (например, сжатием/конвертацией формата), передачей», а не общей лицензией «для любых целей» |
robots.txt — это лишь джентльменское соглашение, и это нужно сказать прямо
Вся таблица выше показывает, «что написано в правилах», а не «соблюдает ли их краулер на самом деле». У robots.txt нет никакой технической принудительной силы: сайт может написать для конкретного UA Disallow: /, но будет ли краулер это учитывать — целиком зависит от добросовестности того, кто его запускает. В этой проверке я подтвердил только текст правил, но отдельно не проверял, действительно ли эти 5 ИИ-компаний соблюдают собственные декларируемые robots.txt — для этого понадобился бы отдельный анализ реального трафика, а не просто чтение правил. Это важно держать в уме дальше, в разделе про lpic.cc.
Разбор по сервисам: почему логика такая разная
Catbox: самый полный список блокировки, но без PerplexityBot
robots.txt у Catbox устроен максимально прямолинейно: сначала общее правило для всех UA (закрыты только несколько функциональных путей вроде /contact.php, /user/), затем по имени блокируются ClaudeBot, Claude-User, Claude-SearchBot, GPTBot, Google-Extended, CCBot, Meta-ExternalAgent, FacebookBot, Bytespider, Applebot-Extended — десять краулеров, связанных с обучением или агрегацией данных, для них весь сайт закрыт правилом Disallow: /.
Но в этом списке нет PerplexityBot. Раз он не указан по имени, на него действует общее правило, то есть (кроме нескольких функциональных путей) весь сайт для него открыт. Не знаю, чем это объясняется — устаревшим списком или сознательным решением (Perplexity позиционирует себя как ассистент для поиска в реальном времени, а не как краулер для сбора обучающих данных) — этого я выяснить не смог и гадать не буду. Точно можно сказать одно: даже у самого дотошного из проверенных сервисов, Catbox, нашлась конкретная, проверяемая брешь.
Flickr: «белый список» даёт эффект, противоположный подходу Catbox
У Flickr подход зеркальный: сначала идёт длинный список разрешённых UA (Googlebot, bingbot, ChatGPT-User, Claude-SearchBot, Claude-User, OAI-SearchBot, PerplexityBot и другие), доступ открыт только им (за вычетом нескольких путей), а в конце стоит User-agent: * / Disallow: /.
Иными словами, любой UA, явно не приглашённый в белый список, блокируется на весь сайт. GPTBot, ClaudeBot, Google-Extended, CCBot в этом списке отсутствуют, поэтому все они попадают под этот Disallow: /. Результат получается ровно такой же, как у Catbox — «поисковые/реал-таймовые краулеры разрешены, массовые обучающие краулеры заблокированы», — только реализовано противоположным способом: у одного чёрный список, у другого белый.
Imgur: robots.txt открыт, условия обслуживания заперты на замок
В robots.txt Imgur нет отдельной обработки ни для одного ИИ-краулера, а общее правило закрывает только функциональные страницы вроде аккаунта, скачивания, выхода — страницы фото и альбомов открыты для всех краулеров. Но в пользовательском соглашении ограничения для третьих лиц прописаны предельно прямо:
«...create derivative works based on our service...including for any purposes related to AI machine learning/use on AI platforms...» (часть списка запрещённых действий)
и:
«...any use of our service...for any commercial purpose, including without limitation AI machine learning, use on AI platforms, etc., you must first obtain our express signed written consent...»
Этот запрет адресован «третьим лицам», а не самоограничение — в условиях нет аналогичного пункта о том, как сама материнская компания Imgur, MediaLab.Ai, может использовать контент платформы. Так что точнее сформулировать так: Imgur техническим правилом (robots.txt) пускает внутрь всех, но юридическим правилом (пользовательским соглашением) запрещает использовать собранное для обучения ИИ. Это стратегия «сначала пускаю, но потом нельзя это использовать» — совершенно другая, чем прямая техническая блокировка у Catbox и Flickr.
ImgBB, Postimages: правил попросту нет
У обоих сервисов я лично проверил robots.txt через curl — HTTP-ответ возвращает Content-Length: 0, это не ошибка загрузки, сайт действительно отдаёт пустой файл. Никаких правил Disallow, значит, все краулеры (включая 5 ИИ-ботов) технически проходят беспрепятственно. В условиях обслуживания обучение ИИ тоже не упоминается, но обе платформы берут себе очень широкую лицензию на контент (у ImgBB буквально написано «for any purpose, commercial, advertising, or otherwise»). Эта широкая лицензия выдана самой платформе, а не является гарантией для ИИ-компаний, но она же означает, что если платформа в будущем решит передать контент по лицензии для обучения ИИ, действующие условия этому не помешают.
Google Фото, общие альбомы iCloud: возможно, сам вопрос поставлен неверно
Ни у одного из этих двух сервисов нет отдельных правил для ИИ-краулеров, но общие правила полностью закрывают пути вроде /photo/, /shared, /sharing (Google Фото) и /sharedalbum/, /photos/ (iCloud) для любого UA без явного разрешения — ни один из 5 ИИ-краулеров исключения не получает.
Но здесь есть структурное отличие от остальных 6 сервисов: страницы фото у Imgur, ImgBB, Postimages, Catbox, Flickr и lpic.cc по замыслу публично доступны для просмотра (некоторые даже попадают в поисковый индекс; на странице lpic.cc стоит noindex); а альбомы Google Фото и общие альбомы iCloud по умолчанию работают по непредсказуемому URL, без какого-либо публичного списка или внутренней ссылки на сайте, ведущей на эти страницы. Блокирует robots.txt или нет — на эту архитектуру «URL как ключ» это влияет слабо: краулеру сначала нужно узнать этот URL, только тогда он вообще сможет прочитать robots.txt и решить, можно ли туда заходить. Это совершенно другая логика защиты, чем у первых 6 сервисов, где «страница уже публично индексируется, и robots.txt пытается это ограничить» — и это важно проговорить, сравнивая их в одной таблице, иначе легко ошибочно решить, что «Google и Apple тоже используют стратегию Catbox».
При чём тут недавнее решение Cloudflare
15 сентября 2026 года Cloudflare опубликовала в своём блоге пост «Have it both ways: stay discoverable in search while disallowing AI training», официально разделив поведение краулеров на три категории: Search (построение поискового индекса), Training (обучение или дообучение моделей), Agent (поведение агента по запросу пользователя в реальном времени, например поиск информации по вашему поручению). В посте прямо сказано, что с этой даты все новые домены, подключаемые к Cloudflare, получат новые настройки по умолчанию: для сайтов с рекламой по умолчанию «поиск разрешён, обучение заблокировано, на рекламных страницах заблокированы и агенты»; для сайтов без рекламы по умолчанию разрешены все три категории. Это продолжение Content Signals Policy, запущенной Cloudflare в сентябре 2025 года (расширение robots.txt тремя сигналами search / ai-input / ai-train).
Я не проверял и не буду делать вид, что проверял, являются ли эти 8 фотохостингов клиентами Cloudflare — эта статья этого не подтверждает, значит, нельзя утверждать, что они применили новые настройки Cloudflare по умолчанию. Стоит отметить любопытное совпадение: нынешняя структура robots.txt у Flickr в точности соответствует логике, которую сейчас продвигает Cloudflare (поисковые/агентские краулеры разрешены, обучающие заблокированы), но Flickr пришёл к этому вручную поддерживая собственный список UA, и это никак не связано с новым автоматизированным дефолтом Cloudflare.
Какая политика у lpic.cc прямо сейчас (честно)
robots.txt у lpic.cc сегодня выглядит так (проверено в сентябре 2026 года):
User-Agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://lpic.cc/sitemap-index.xml
Отдельных правил для GPTBot, ClaudeBot, Google-Extended, CCBot или PerplexityBot нет — на уровне robots.txt это равнозначно разрешению для всех. В пользовательском соглашении объём лицензии сформулирован так: «вы предоставляете сервису право на хранение, обработку (например, сжатие/конвертацию формата) и передачу загруженного контента» — это заметно уже, чем общая лицензия «для любых целей» у Imgur, ImgBB и Postimages, но в условиях также нет слов «ИИ» или «машинное обучение»: нет ни обещания, ни запрета.
Складывая эти два факта вместе, честный ответ такой: на данный момент ни robots.txt, ни условия lpic.cc никак не блокируют ИИ-краулеры для обучения, и в этом смысле сервис в той же группе, что Imgur, ImgBB, Postimages, Google Фото и iCloud, ничем не выделяясь в лучшую сторону (у CDN перед сайтом есть собственные настройки управления краулерами, но этот уровень не входит в проверку данной статьи — я не ручаюсь за него и не заявляю на этом основании о какой-либо защите). Мы не будем утверждать, что «загрузка на lpic.cc меньше рискует попасть в обучение ИИ», потому что ни одно правило это не подтверждает, и даже если добавить правило вроде Disallow: GPTBot, как уже говорилось выше, это всё равно остаётся лишь джентльменским соглашением, реальное соблюдение которого никогда не измерялось. Внедрять ли сейчас явную блокировку по примеру Catbox или Flickr — отдельное продуктовое решение, не связанное с тем, честно ли эта статья описывает текущее положение дел.
Какой сервис выбрать под вашу задачу
| Что для вас важно | Какой сервис смотреть | Почему |
|---|---|---|
| Чтобы хостинг сам, на техническом уровне, активно блокировал известные обучающие краулеры | Catbox | robots.txt по имени блокирует 4 из 5 целевых краулеров — единственный подтверждённый в этой статье случай |
| Хотите делиться публично и быть в поиске, но не хотите, чтобы вас сканировали обучающие краулеры | Flickr | Подход с белым списком даёт именно эффект «доступен поиску, недоступен обучению», но это существующий способ эксплуатации сервиса, а не официальное публичное заявление по теме ИИ |
| Просто нужно бесплатно разместить фото, тема ИИ не особо волнует | ImgBB / Postimages | В robots.txt нет ограничений, проще всего начать, но условия дают очень широкую лицензию на контент — фактически согласие по умолчанию на «любое использование» |
| Хотите, чтобы объём лицензии самой платформы был максимально узким | lpic.cc | Формулировки условий в этом сравнении самые узкие, но без какой-либо технической блокировки ИИ-краулеров |
| Хотите, чтобы фото изначально не было публично доступным и не индексировалось | Общие альбомы Google Фото / iCloud | Полагаются на непредсказуемый URL вместо robots.txt — принципиально другая архитектура защиты по сравнению с остальными 6 сервисами |
Часто задаваемые вопросы
В: Если в robots.txt написан Disallow, ИИ-компания точно не будет сканировать?
Не обязательно. robots.txt — это джентльменское соглашение, у него нет технической принудительной силы. Эта статья проверила только «что написано в правилах», но отдельно не измеряла, действительно ли эти 5 ИИ-компаний соблюдают собственные декларируемые правила.
В: Если в условиях обслуживания вообще не упоминается обучение ИИ, значит ли это, что мои фото в большей безопасности? Нет. Отсутствие упоминания часто означает лишь то, что эта тема не была приоритетом при составлении условий, либо платформа сознательно оставила себе пространство для манёвра. Если сопоставить это с широкими лицензиями «для любых целей» у Imgur, ImgBB и Postimages, отсутствие чёткой формулировки в условиях скорее риск, чем гарантия.
В: У lpic.cc есть отдельная блокировка ИИ-краулеров для обучения? На уровне robots.txt — нет. По состоянию на проверку в сентябре 2026 года robots.txt разрешает все 5 целевых UA (настройки на уровне CDN в проверку этой статьи не входят) — это честное описание текущего положения дел, а не обещание, что так будет всегда.
В: Связана ли эта классификация Cloudflare на три категории (Search / Training / Agent) напрямую с этими 8 фотохостингами? Не напрямую. Это механизм на уровне платформы Cloudflare, применяемый к подключённым к ней доменам; эта статья не проверяла, являются ли эти 8 сервисов клиентами Cloudflare. Эффект нынешних правил Flickr просто похож — это совпадение, а не решение, спроектированное под это заявление Cloudflare.
В: Почему PerplexityBot не попал в список блокировки Catbox? Точная причина неизвестна, публичных пояснений от команды Catbox в этой статье не найдено. Возможно, список просто не обновили, а возможно — это сознательное решение: Perplexity позиционирует себя как ассистент для поиска в реальном времени, в отличие от краулеров, которые занимаются исключительно сбором обучающих данных. Здесь показана только разница в правилах, без домыслов о мотивах.
В: Есть ли в России отдельное регулирование сбора данных для обучения ИИ? 152-ФЗ регулирует обработку персональных данных в целом, а Роскомнадзор уже не раз реагировал на случаи сбора данных для обучения ИИ без надлежащего основания. Но для конкретного сценария — публично доступное фото на фотохостинге, собранное ИИ-краулером, — отдельного, специализированного российского регулирования пока нет, всё по-прежнему опирается на джентльменские соглашения вроде robots.txt, пока не появится более конкретное правило.
Источники и даты проверки
Все ссылки ниже — оригинальный контент, полученный прямым запросом/curl 25.09.2026, а не пересказ сторонних источников:
- robots.txt Imgur:
https://imgur.com/robots.txt - Условия обслуживания Imgur:
https://imgur.com/tos - robots.txt ImgBB:
https://imgbb.com/robots.txt(HTTP 200, Content-Length: 0) - Условия обслуживания ImgBB:
https://imgbb.com/tos - robots.txt Postimages:
https://postimages.org/robots.txt(HTTP 200, Content-Length: 0) - Условия обслуживания Postimages:
https://postimages.org/terms - robots.txt Catbox:
https://catbox.moe/robots.txt - Страница условий/приватности Catbox:
https://catbox.moe/legal.php - robots.txt Flickr:
https://www.flickr.com/robots.txt - Условия обслуживания Flickr:
https://www.flickr.com/help/terms - Политика конфиденциальности Flickr:
https://www.flickr.com/help/privacy - robots.txt Google Фото:
https://photos.google.com/robots.txt - Условия обслуживания Google:
https://policies.google.com/terms - Политика конфиденциальности Google:
https://policies.google.com/privacy - robots.txt iCloud:
https://www.icloud.com/robots.txt - Условия обслуживания iCloud:
https://www.apple.com/legal/internet-services/icloud/ - Страница о приватности Apple Intelligence:
https://www.apple.com/privacy/features/ - robots.txt lpic.cc:
https://lpic.cc/robots.txt - Условия обслуживания lpic.cc: контент i18n внутренней страницы
/terms(termsIntellectualDesc) - Официальный блог Cloudflare (классификация на три категории, опубликовано 15.09.2026):
https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/ - Content Signals Policy Cloudflare (предшествующая политика, опубликовано 24.09.2025):
https://blog.cloudflare.com/content-signals-policy/