Чотири технологічні гіганти — Google, OpenAI, Anthropic та Microsoft — досягли домовленості щодо запровадження загального механізму для захисту веб-контенту від використання в навчанні штучних нейромереж. Про це повідомило видання Search Engine Roundtable, посилаючись на офіційні заяви компаній.
Як працює новий стандарт захисту
Замість того щоб окремо налаштовувати блокування для кожного розробника AI-систем, власники сайтів тепер зможуть скористатися єдиною директивою у файлі robots.txt. Проект розроблений за ініціативою Кевіна Келлі, фахівця зі стандартів в Anthropic, і нині розглядається міжнародною організацією IETF.
Механізм досить простий: досить додати спеціальний параметр `__usage_ai-training` в налаштування, щоб повністю заборонити використання даних для навчання AI-моделей. Водночас власники сайтів можуть встановити селективну заборону — наприклад, закрити доступ до основного контенту, але залишити відкритим розділи з прес-релізами. Паралельно з цим сайти продовжуватимуть індексуватися традиційними пошуковими системами, оскільки нове правило стосується винятково AI-тренування.
Інтеграція з існуючими системами
Новий універсальний сигнал доповнить, а не замінить наявні індивідуальні настройки типу `Google-Extended`. Якщо сайт активує токен захисту від AI-краулерів і не вказує Google-Extended окремо, Google інтерпретуватиме це як заборону для власного сервісу.
Видавці, які дозволять використовувати Google-Extended, матимуть право з’являтися у відповідях Gemini та отримувати трафік звідти. При цьому важливо пам’ятати про обмеження: стандарт захисту від AI-краулерів діє лише на майбутнім дані — те, що нейромережі вже навчилися, залишиться в них назавжди.
Графік впровадження
- Anthropic уже розпочала впровадження підтримки нового стандарту
- OpenAI запустить його протягом найближчих місяців
- Google планує приєднатися на початку 2027 року
- Microsoft запровадить функцію 1 лютого 2027 року
Така координація дозволить вебмайстрам єдиною командою у файлі robots.txt відмовити всім основним розробникам AI-систем від збору їхнього контенту для тренування нейромереж.
