क्या आपकी फोटो होस्टिंग साइट पर डाली फोटो AI ट्रेनिंग में जाती है? 8 सर्विसेज़ की robots.txt और टर्म्स जांच
अगर आपने कभी सोचा है कि व्हाट्सऐप या टेलीग्राम पर भेजने के लिए किसी फ्री फोटो-होस्टिंग साइट पर अपलोड की गई तस्वीर कहीं किसी AI मॉडल की ट्रेनिंग में तो नहीं जा रही, तो यह सवाल उतना अजीब नहीं जितना लगता है। मैंने खुद 8 सर्विसेज़ का robots.txt और सर्विस टर्म्स सीधे fetch करके चेक किया — नतीजा अंदाज़े से कहीं ज़्यादा दिलचस्प निकला।
पहले सीधा नतीजा, फिर डेटा: इन 8 फोटो/एल्बम सर्विसेज़ में से सिर्फ Catbox ने robots.txt में नाम लेकर GPTBot, ClaudeBot, Google-Extended, CCBot को ब्लॉक किया है; Flickr ने अलग तरीके से लगभग वही असर हासिल किया है; Imgur का robots.txt पूरी तरह खुला है, पर उसका सर्विस टर्म्स साफ तौर पर थर्ड पार्टी को प्लेटफॉर्म कंटेंट AI ट्रेनिंग में इस्तेमाल करने से मना करता है; ImgBB और Postimages का robots.txt खाली फ़ाइल है, यानी कोई नियम ही नहीं; lpic.cc के पास भी अभी AI क्रॉलर के लिए कोई अलग नियम नहीं है। यह सब सितंबर 2026 में सीधे fetch करके मिला डेटा है, दस्तावेज़ पढ़कर अंदाज़ा नहीं लगाया गया।
जांच कैसे की गई
मैंने 8 डोमेन पर सीधे curl चलाकर robots.txt का ओरिजिनल फ़ाइल कंटेंट लिया (किसी थर्ड-पार्टी टूल की व्याख्या नहीं), फिर वेब स्क्रैपिंग टूल से हर सर्विस के पूरे टर्म्स ऑफ सर्विस पढ़े और उसमें "कंटेंट लाइसेंस स्कोप" व "AI / मशीन लर्निंग ट्रेनिंग" से जुड़े वाक्य ढूंढे, शब्द-दर-शब्द कोट किए। जो नहीं मिला या जिसका टर्म्स में ज़िक्र ही नहीं था, उसे मैंने "ज़िक्र नहीं" लिखा है, याददाश्त से अंदाज़ा नहीं लगाया।
पांच AI क्रॉलर UA compare किए, हर एक अलग काम के लिए:
- GPTBot — OpenAI का ट्रेनिंग डेटा इकट्ठा करने वाला क्रॉलर
- ClaudeBot — Anthropic का ट्रेनिंग डेटा इकट्ठा करने वाला क्रॉलर (यह
Claude-User/Claude-SearchBotसे अलग है, वे रियल-टाइम सर्च के लिए हैं, ट्रेनिंग के लिए नहीं) - Google-Extended — Gemini जैसे जेनरेटिव AI मॉडल की ट्रेनिंग के लिए Google का ऑप्ट-आउट टोकन, सर्च इंडेक्सिंग वाले Googlebot से अलग
- CCBot — Common Crawl का क्रॉलर, कई LLM का ट्रेनिंग डेटासेट इसी के डेटा से बनता है
- PerplexityBot — Perplexity का क्रॉलर
पूरी तुलना तालिका
डेटा अपडेट: सितंबर 2026। "लिस्ट में नहीं" का मतलब है कि यह UA उस साइट के robots.txt में नाम से मौजूद नहीं, असल में क्या होगा यह इस पर निर्भर है कि वह किस जनरल रूल में गिना जाता है।
| सर्विस | GPTBot | ClaudeBot | Google-Extended | CCBot | PerplexityBot | टर्म्स में AI ट्रेनिंग का ज़िक्र? |
|---|---|---|---|---|---|---|
| Imgur | लिस्ट में नहीं → * रूल से अनुमति |
लिस्ट में नहीं → अनुमति | लिस्ट में नहीं → अनुमति | लिस्ट में नहीं → अनुमति | लिस्ट में नहीं → अनुमति | हां — थर्ड पार्टी को AI/मशीन लर्निंग के लिए प्लेटफॉर्म कंटेंट स्क्रैप/इस्तेमाल करने से साफ मना |
| ImgBB | अनुमति (robots.txt खाली) | अनुमति | अनुमति | अनुमति | अनुमति | ज़िक्र नहीं |
| Postimages | अनुमति (robots.txt खाली) | अनुमति | अनुमति | अनुमति | अनुमति | ज़िक्र नहीं |
| Catbox | ब्लॉक (नाम से) | ब्लॉक (नाम से) | ब्लॉक (नाम से) | ब्लॉक (नाम से) | लिस्ट में नहीं → * रूल से अनुमति |
ज़िक्र नहीं |
| Flickr | ब्लॉक (allow-list में नहीं, इसलिए User-agent: * / Disallow: / में गिना गया) |
ब्लॉक (वही वजह; पर Claude-User, Claude-SearchBot — ट्रेनिंग वाले नहीं — को नाम से अनुमति है) |
ब्लॉक (वही) | ब्लॉक (वही) | अनुमति (allow-list में नाम से शामिल) | ज़िक्र नहीं |
| Google Photos | लिस्ट में नहीं; शेयर/एल्बम से जुड़े पाथ * के लिए पूरी तरह ब्लॉक |
वही | वही | वही | वही | Google का मुख्य टर्म्स "इस सर्विस के कंटेंट से मशीन लर्निंग मॉडल ट्रेन करना" मना करता है, पर Photos के लिए अलग से कुछ नहीं कहा |
| iCloud शेयर्ड एल्बम | लिस्ट में नहीं; /sharedalbum/, /photos/ * के लिए पूरी तरह ब्लॉक (Googlebot को पूरी साइट पर छूट) |
वही | वही | वही | वही | ज़िक्र नहीं; Apple Intelligence प्राइवेसी पेज पर अलग से लिखा है कि "बिना सहमति प्राइवेट कंटेंट फाउंडेशन मॉडल ट्रेन करने में इस्तेमाल नहीं होता" |
| lpic.cc | अनुमति (Allow: /, सिर्फ /admin/, /api/ ब्लॉक) |
अनुमति | अनुमति | अनुमति | अनुमति | ज़िक्र नहीं; लाइसेंस स्कोप सिर्फ "स्टोरेज, प्रोसेसिंग (जैसे कंप्रेशन/फॉर्मेट बदलना), ट्रांसमिशन" तक सीमित, "किसी भी मकसद" वाला ओपन-एंडेड लाइसेंस नहीं |
robots.txt सिर्फ एक "सज्जनता समझौता" है — यह साफ कह देना ज़रूरी है
ऊपर की पूरी टेबल यह बताती है कि "नियम में क्या लिखा है", यह नहीं कि "क्रॉलर असल में उसे मानता है या नहीं"। robots.txt में कोई टेक्निकल फोर्स नहीं होती — कोई साइट किसी UA को Disallow: / लिख दे, तो सामने वाला क्रॉलर उसे माने या न माने, यह पूरी तरह उसकी अपनी नीयत पर है। मैंने इस बार सिर्फ नियम के टेक्स्ट को वेरिफाई किया है, यह अलग से चेक नहीं किया कि इन 5 AI कंपनियों के क्रॉलर वाकई अपने बताए गए robots.txt का पालन करते हैं या नहीं — वह किसी अलग ट्रैफिक एनालिसिस मेथड से पता चलेगा, सिर्फ नियम पढ़कर नहीं। आगे lpic.cc वाले हिस्से में यह बात याद रखना ज़रूरी है।
हर सर्विस का लॉजिक अलग-अलग क्यों
Catbox: सबसे पूरी ब्लॉक-लिस्ट, पर PerplexityBot छूट गया
Catbox का robots.txt सबसे सीधा तरीका इस्तेमाल करता है: पहले सभी UA के लिए एक जनरल रूल (सिर्फ /contact.php, /user/ जैसे कुछ फंक्शनल पाथ ब्लॉक), फिर नाम लेकर ClaudeBot, Claude-User, Claude-SearchBot, GPTBot, Google-Extended, CCBot, Meta-ExternalAgent, FacebookBot, Bytespider, Applebot-Extended — दस ट्रेनिंग या एग्रीगेशन टाइप UA को Disallow: / से पूरी साइट पर रोक दिया गया है।
पर इस लिस्ट में PerplexityBot नहीं है। नाम से न होने की वजह से यह जनरल रूल में गिना जाता है, यानी (उन कुछ फंक्शनल पाथ को छोड़कर) पूरी साइट उसके लिए खुली है। सही वजह पता नहीं — शायद लिस्ट अपडेट नहीं हुई, या फिर जानबूझकर किया गया फैसला (Perplexity खुद को रियल-टाइम रिट्रीवल असिस्टेंट के तौर पर पोज़िशन करता है, ट्रेनिंग क्रॉलर के तौर पर नहीं) — यह मुझे नहीं पता, और मैं अंदाज़ा लगाने की कोशिश भी नहीं करूंगा। बस इतना पक्का है: सबसे बारीकी से देखने वाले Catbox में भी एक साफ, वेरिफाई करने लायक चूक निकल आई।
Flickr: "allow-list" से Catbox जैसा ही उल्टा असर
Flickr का तरीका उल्टा है: पहले अनुमति वाले UA की लंबी लिस्ट दी गई है (Googlebot, bingbot, ChatGPT-User, Claude-SearchBot, Claude-User, OAI-SearchBot, PerplexityBot वगैरह), सिर्फ इन्हीं को (कुछ पाथ छोड़कर) अनुमति है, और आखिर में एक User-agent: * / Disallow: / लगा दिया गया है।
मतलब, जो UA allow-list में साफ तौर पर आमंत्रित नहीं है, उसे पूरी साइट पर रोक दिया जाता है। GPTBot, ClaudeBot, Google-Extended, CCBot — कोई भी allow-list में नहीं, इसलिए सब उसी Disallow: / में गिने जाते हैं। नतीजा बिल्कुल यही है — "सर्च/रियल-टाइम-रिट्रीवल टाइप क्रॉलर को अनुमति, बड़े पैमाने पर ट्रेनिंग डेटा जुटाने वाले क्रॉलर को रोक" — Catbox की मैनुअल ब्लैक-लिस्ट जैसा ही नतीजा, बस लागू करने का तरीका उल्टा: एक ब्लैक-लिस्ट है, दूसरा allow-list।
Imgur: robots.txt खुला दरवाज़ा, सर्विस टर्म्स पर ताला
Imgur के robots.txt में किसी भी AI-संबंधित UA के लिए अलग नियम नहीं, जनरल रूल भी सिर्फ अकाउंट, डाउनलोड, लॉगआउट जैसे फंक्शनल पेज को रोकता है — फोटो और एल्बम पेज सभी क्रॉलर के लिए खुले हैं। पर इसके सर्विस टर्म्स में थर्ड-पार्टी इस्तेमाल पर पाबंदी बहुत साफ लिखी है:
"...create derivative works based on our service...including for any purposes related to AI machine learning/use on AI platforms..." (मना किए गए कामों की लिस्ट का हिस्सा)
और:
"...any use of our service...for any commercial purpose, including without limitation AI machine learning, use on AI platforms, etc., you must first obtain our express signed written consent..."
यह पाबंदी "थर्ड पार्टी" के लिए लिखी गई है, खुद पर लगाई गई पाबंदी नहीं — Imgur की पैरेंट कंपनी MediaLab.Ai खुद प्लेटफॉर्म के कंटेंट का कैसे इस्तेमाल करती है, इसके लिए टर्म्स में कोई सेल्फ-लिमिट नहीं है। तो सटीक तरीके से कहें तो: Imgur टेक्निकल रूल (robots.txt) से सबको अंदर आने देता है, पर लीगल रूल (ToS) से मना करता है कि जो चीज़ स्क्रैप की गई, उसे AI ट्रेनिंग में इस्तेमाल किया जाए। यह "पहले अंदर आने दो, पर बाद में इस्तेमाल की इजाज़त नहीं" वाली स्ट्रैटेजी है, Catbox/Flickr के "टेक्निकल तरीके से गेट पर ही रोक देना" से बिल्कुल अलग तरीका है।
ImgBB, Postimages: नियम है ही नहीं
इन दोनों का robots.txt मैंने सीधे curl से चेक किया, HTTP रिस्पॉन्स में Content-Length: 0 मिला — यह फेल्ड रिक्वेस्ट नहीं, साइट वाकई एक खाली फ़ाइल लौटाती है। कोई Disallow रूल नहीं, यानी सभी क्रॉलर (5 AI क्रॉलर समेत) टेक्निकली बेरोकटोक अंदर जा सकते हैं। सर्विस टर्म्स में भी AI ट्रेनिंग का ज़िक्र नहीं, पर दोनों ने अपने कंटेंट को लेकर बहुत चौड़ा लाइसेंस लिया है (ImgBB का ओरिजिनल टेक्स्ट है "for any purpose, commercial, advertising, or otherwise")। यह चौड़ा लाइसेंस प्लेटफॉर्म को खुद दिया गया है, AI कंपनी को गारंटी नहीं है, पर इसका मतलब यह भी है कि भविष्य में प्लेटफॉर्म अगर कंटेंट को AI ट्रेनिंग के लिए लाइसेंस देना चाहे, तो टर्म्स फिलहाल उसे नहीं रोकते।
Google Photos, iCloud शेयर्ड एल्बम: शायद सवाल ही गलत जगह पूछा गया
इन दोनों सर्विसेज़ के robots.txt में किसी AI क्रॉलर के लिए अलग नियम नहीं, पर जनरल रूल /photo/, /shared, /sharing (Google Photos) और /sharedalbum/, /photos/ (iCloud) को पूरी तरह ब्लॉक करता है, बिना किसी छूट वाले UA के लिए एक जैसा — इन 5 AI क्रॉलर में से किसी को भी अलग छूट नहीं मिली।
पर यहां एक बड़ा फर्क है, बाकी 6 सर्विसेज़ से अलग: Imgur, ImgBB, Postimages, Catbox, Flickr, lpic.cc के फोटो पेज डिज़ाइन से ही पब्लिकली ब्राउज़ करने लायक हैं (कुछ तो सर्च इंडेक्स में भी जाते हैं; lpic.cc की व्यू पेज पर noindex लगा है); जबकि Google Photos के एल्बम, iCloud के शेयर्ड एल्बम डिफ़ॉल्ट रूप से एक ऐसे URL पर चलते हैं जिसे अंदाज़ा लगाना नामुमकिन है, कोई पब्लिक लिस्ट या साइट के अंदर कोई लिंक इन पेजों की तरफ इशारा नहीं करता। robots.txt रोके या न रोके, इस "URL ही की-सिक्योरिटी" वाले ढांचे पर इसका असर सीमित है — क्रॉलर को पहले वह URL पता होना चाहिए, तभी वह robots.txt पढ़कर तय कर पाएगा कि क्रॉल करे या नहीं। यह बाकी 6 सर्विसेज़ की "पेज पहले से पब्लिक इंडेक्स में है, robots.txt से रोका जाता है" वाली सिचुएशन से बिल्कुल अलग सुरक्षा लॉजिक है — इसे एक ही टेबल में compare करते वक्त यह साफ बताना ज़रूरी लगा, वरना ग़लतफ़हमी हो सकती है कि "Google/Apple ने भी Catbox जैसी ही स्ट्रैटेजी अपनाई है"।
Cloudflare ने जो अभी किया, क्या इन फोटो-होस्टिंग सर्विसेज़ से उसका कोई लेना-देना है
15 सितंबर 2026 को Cloudflare ने अपने ब्लॉग पर "Have it both ways: stay discoverable in search while disallowing AI training" पब्लिश किया, जिसमें क्रॉलर एक्टिविटी को औपचारिक रूप से तीन कैटेगरी में बांटा गया: Search (सर्च इंडेक्स बनाना), Training (मॉडल ट्रेन या फाइन-ट्यून करना), Agent (यूज़र के रियल-टाइम रिक्वेस्ट पर काम करने वाला एजेंट, जैसे आपके लिए जानकारी ढूंढना)। इस पोस्ट में साफ लिखा है कि इस तारीख से Cloudflare पर नए जुड़ने वाले हर डोमेन पर नया डिफ़ॉल्ट लागू होगा: विज्ञापन वाली साइट के लिए डिफ़ॉल्ट "सर्च को अनुमति, ट्रेनिंग को रोक, विज्ञापन वाले पेज पर एजेंट भी रोक"; बिना विज्ञापन वाली साइट के लिए तीनों को डिफ़ॉल्ट अनुमति। यह Cloudflare के सितंबर 2025 वाले Content Signals Policy (robots.txt में search / ai-input / ai-train — तीन सिग्नल जोड़ने वाला एक्सटेंशन) का अगला कदम है।
मैंने यह जांच नहीं की, और न ही जांच होने का दिखावा करूंगा, कि "ये 8 फोटो-होस्टिंग सर्विसेज़ Cloudflare के कस्टमर हैं या नहीं" — इस लेख में यह वेरिफाई नहीं किया गया, इसलिए इसका मतलब यह नहीं कि इन्होंने Cloudflare का नया डिफ़ॉल्ट अपनाया है। ध्यान देने लायक इत्तेफाक बस इतना है: Flickr का मौजूदा robots.txt structure ठीक वही लॉजिक है जिसे Cloudflare अब बढ़ावा देना चाहता है (सर्च/एजेंट टाइप क्रॉलर को अनुमति, ट्रेनिंग टाइप को रोक), बस Flickr ने यह खुद मैन्युअली UA लिस्ट मेंटेन करके किया है, Cloudflare के इस नए ऑटोमेटेड डिफ़ॉल्ट से इसका कोई सीधा संबंध नहीं।
lpic.cc की मौजूदा पॉलिसी क्या है (सच्चाई यही है)
lpic.cc का robots.txt अभी ऐसा दिखता है (सितंबर 2026 में चेक किया गया):
User-Agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://lpic.cc/sitemap-index.xml
GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot — किसी के लिए भी अलग नियम नहीं, robots.txt लेयर पर यह सबको अनुमति देने जैसा ही है। सर्विस टर्म्स में लाइसेंस स्कोप लिखा है "आप अपलोड किए गए कंटेंट पर इस सर्विस को स्टोरेज, प्रोसेसिंग (जैसे कंप्रेशन/फॉर्मेट बदलना) और ट्रांसमिशन का अधिकार देते हैं" — यह Imgur, ImgBB, Postimages वाले "किसी भी मकसद" वाले ओपन-एंडेड लाइसेंस से कहीं ज़्यादा संकुचित है, पर टर्म्स में "AI" या "मशीन लर्निंग" शब्द कहीं नहीं आता — न कोई वादा है, न कोई मनाही।
इन दोनों बातों को मिलाकर, ईमानदार जवाब यही है: lpic.cc का robots.txt और टर्म्स फिलहाल AI ट्रेनिंग क्रॉलर को रोकने के लिए कुछ खास नहीं करते, इस मामले में यह Imgur, ImgBB, Postimages, Google Photos, iCloud जैसा ही है, इनसे अलग या बेहतर नहीं (साइट के आगे लगे CDN में अलग से क्रॉलर मैनेजमेंट सेटिंग हो सकती है, वह लेयर इस लेख की जांच के दायरे में नहीं है, न मैं उसकी गारंटी दे रहा हूं, न उसके आधार पर कोई सुरक्षा का दावा कर रहा हूं)। हम यह नहीं कहेंगे कि "lpic.cc पर अपलोड करना AI ट्रेनिंग से ज़्यादा सुरक्षित है", क्योंकि इस दावे को सपोर्ट करने वाला कोई नियम मौजूद नहीं है, और अगर Disallow: GPTBot जैसा नियम जोड़ भी दिया जाए, तो जैसा ऊपर बताया, वह भी बस एक सज्जनता समझौता ही है, यह कभी मापा नहीं गया कि कोई कंपनी उसे वाकई मानेगी या नहीं। Catbox/Flickr जैसा साफ ब्लॉक अभी अपनाना है या नहीं, यह एक अलग प्रोडक्ट डिसिज़न है, और इस लेख में मौजूदा हालत ईमानदारी से बताना — यह दोनों अलग-अलग बातें हैं।
किस स्थिति में कौन-सी सर्विस चुनें
| आपकी प्राथमिकता | कौन-सी सर्विस देखें | क्यों |
|---|---|---|
| फोटो-होस्टिंग खुद, टेक्निकल लेवल पर, जाने-पहचाने ट्रेनिंग क्रॉलर को रोके | Catbox | robots.txt ने नाम से 5 में से 4 टारगेट क्रॉलर रोके हैं, इस लेख में जांचा गया इकलौता ऐसा उदाहरण |
| पब्लिक शेयर भी करना है, सर्च इंजन में भी आना है, पर ट्रेनिंग टाइप क्रॉलर से बचना है | Flickr | allow-list तरीके से ठीक "सर्च होने लायक, ट्रेनिंग के लिए नहीं" वाला असर मिलता है, पर यह इसका मौजूदा ऑपरेशनल तरीका है, AI मुद्दे पर कोई आधिकारिक पब्लिक कमिटमेंट नहीं |
| सिर्फ फ्री में फोटो डालनी है, AI मुद्दे की खास फिक्र नहीं | ImgBB / Postimages | robots.txt में कोई रोक नहीं, शुरू करना सबसे आसान, पर टर्म्स में कंटेंट लाइसेंस बहुत चौड़ा है, यानी लगभग "किसी भी मकसद" के लिए इस्तेमाल की डिफ़ॉल्ट सहमति |
| प्लेटफॉर्म का खुद का लाइसेंस स्कोप जितना संकुचित हो उतना बेहतर | lpic.cc | टर्म्स का शब्द-दायरा इस तुलना में सबसे संकुचित है, पर इसके साथ कोई AI क्रॉलर टेक्निकल ब्लॉक नहीं है |
| फोटो शुरू से ही पब्लिक एक्सपोज़र न पाए, इंडेक्स में न जाए | Google Photos शेयर्ड एल्बम / iCloud शेयर्ड एल्बम | robots.txt की जगह अनगेसेबल URL पर निर्भर, बाकी 6 सर्विसेज़ से आर्किटेक्चर लॉजिक अलग |
अक्सर पूछे जाने वाले सवाल (FAQ)
Q: robots.txt में Disallow लिख दिया तो क्या AI कंपनी पक्का नहीं क्रॉल करेगी?
पक्का नहीं। robots.txt एक सज्जनता समझौता है, इसमें कोई टेक्निकल फोर्स नहीं। इस लेख में सिर्फ "नियम में क्या लिखा है" वेरिफाई किया गया है, यह अलग से नहीं मापा गया कि ये 5 AI कंपनियों के क्रॉलर वाकई अपने बताए गए नियम मानते हैं या नहीं।
Q: सर्विस टर्म्स में AI ट्रेनिंग का ज़िक्र ही नहीं, तो क्या मेरी फोटो ज़्यादा सुरक्षित है? नहीं। ज़िक्र न होने का मतलब अक्सर यह होता है कि टर्म्स बनाते वक्त यह मुद्दा प्राथमिकता में नहीं था, या प्लेटफॉर्म ने जानबूझकर गुंजाइश खुली रखी। Imgur, ImgBB, Postimages जैसे "किसी भी मकसद" वाले चौड़े लाइसेंस को साथ रखकर देखें तो, टर्म्स में साफ न लिखा होना सुरक्षा नहीं बल्कि रिस्क भी हो सकता है।
Q: lpic.cc AI ट्रेनिंग क्रॉलर के लिए कुछ खास रोक रखता है? robots.txt लेयर पर नहीं। सितंबर 2026 की जांच में, robots.txt ने 5 टारगेट UA में से किसी को भी नहीं रोका (CDN लेयर की सेटिंग इस लेख की जांच के दायरे में नहीं) — यह मौजूदा हालत की ईमानदार बात है, भविष्य में नहीं बदलेगा इसका वादा नहीं।
Q: Cloudflare की यह तीन-कैटेगरी वाली पॉलिसी (Search / Training / Agent) इन 8 फोटो-होस्टिंग सर्विसेज़ से सीधे जुड़ी है? सीधे नहीं। यह Cloudflare प्लेटफॉर्म लेवल का नया मैकेनिज़्म है, जो Cloudflare से जुड़े डोमेन पर लागू होता है, इस लेख में यह वेरिफाई नहीं किया गया कि ये 8 सर्विसेज़ Cloudflare की कस्टमर हैं या नहीं। Flickr के मौजूदा नियम का असर बस मिलता-जुलता है, यह महज इत्तेफाक है, Cloudflare के इस ऐलान के हिसाब से डिज़ाइन किया गया नहीं है।
Q: PerplexityBot Catbox की ब्लॉक-लिस्ट में क्यों नहीं है? सही वजह पता नहीं, Catbox चलाने वाली टीम की कोई पब्लिक सफाई इस लेख में नहीं मिली। हो सकता है लिस्ट अपडेट न हुई हो, या फिर जानबूझकर लिया गया फैसला हो — Perplexity खुद को रियल-टाइम रिट्रीवल असिस्टेंट के तौर पर पेश करता है, सिर्फ ट्रेनिंग डेटा जुटाने वाले क्रॉलर से अलग। यहां सिर्फ नियम के फर्क को दिखाया गया है, नीयत का अंदाज़ा नहीं लगाया गया।
Q: भारत में इस तरह के AI डेटा-स्क्रैपिंग को लेकर कोई नियम है? DPDP Act, 2023 पर्सनल डेटा प्रोसेसिंग को कवर करता है, पर फोटो-होस्टिंग साइट पर पब्लिकली पड़ी फोटो को AI कंपनी स्क्रैप करे, इस खास सिचुएशन के लिए भारत में अभी कोई सीधा, अलग कानून नहीं है — यह robots.txt जैसे सज्जनता समझौते पर ही निर्भर बना रहता है, जब तक कोई नया नियम न आए।
डेटा सोर्स और जांच की तारीख
नीचे दिए सभी लिंक 25 सितंबर 2026 को सीधे fetch/curl से लिए गए ओरिजिनल कंटेंट हैं, किसी थर्ड-पार्टी समरी से नहीं लिए गए:
- Imgur robots.txt:
https://imgur.com/robots.txt - Imgur सर्विस टर्म्स:
https://imgur.com/tos - ImgBB robots.txt:
https://imgbb.com/robots.txt（HTTP 200, Content-Length: 0） - ImgBB सर्विस टर्म्स:
https://imgbb.com/tos - Postimages robots.txt:
https://postimages.org/robots.txt（HTTP 200, Content-Length: 0） - Postimages सर्विस टर्म्स:
https://postimages.org/terms - Catbox robots.txt:
https://catbox.moe/robots.txt - Catbox टर्म्स/प्राइवेसी पेज:
https://catbox.moe/legal.php - Flickr robots.txt:
https://www.flickr.com/robots.txt - Flickr सर्विस टर्म्स:
https://www.flickr.com/help/terms - Flickr प्राइवेसी पॉलिसी:
https://www.flickr.com/help/privacy - Google Photos robots.txt:
https://photos.google.com/robots.txt - Google सर्विस टर्म्स:
https://policies.google.com/terms - Google प्राइवेसी पॉलिसी:
https://policies.google.com/privacy - iCloud robots.txt:
https://www.icloud.com/robots.txt - iCloud सर्विस टर्म्स:
https://www.apple.com/legal/internet-services/icloud/ - Apple Intelligence प्राइवेसी पेज:
https://www.apple.com/privacy/features/ - lpic.cc robots.txt:
https://lpic.cc/robots.txt - lpic.cc सर्विस टर्म्स: साइट के अंदर
/termsपेज का संबंधित i18n कंटेंट（termsIntellectualDesc） - Cloudflare ऑफिशियल ब्लॉग (तीन-कैटेगरी क्रॉलर पॉलिसी, 15 सितंबर 2026 पब्लिश):
https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/ - Cloudflare Content Signals Policy (तीन-कैटेगरी से पहले वाली पॉलिसी, 24 सितंबर 2025 पब्लिश):
https://blog.cloudflare.com/content-signals-policy/