Cloudflare запускає функцію Pay-Per-Crawl: сайти зможуть стягувати плату з ШІ
Cloudflare представила нову функцію Pay-Per-Crawl, яка дозволяє власникам сайтів стягувати плату з краулерів штучного інтелекту за доступ до свого контенту. Це дає третій варіант між повною блокадою або вільним доступом - монетизацію даних, пише Cloudflare.
Суть нової функції полягає у використанні маловживаного HTTP-коду 402 Payment Required. Якщо ШІ-краулер не надсилає платіжного наміру, він отримує відповідь із ціною. Якщо підтверджує намір оплатити, контент відкривається.
Як працює Pay-Per-Crawl?
Підписуйтеся на наші соцмережі
- Видавці встановлюють фіксовану ціну за запит.
- Вони можуть надати повний доступ, вимагати оплату або повністю заблокувати доступ певним краулерам.
- Cloudflare виступає технічним посередником і забезпечує розподіл коштів.
Функція вже доступна в приватній бета-версії. Краулери мають зареєструватися, підтвердити свою автентичність через криптографічні ключі та надсилати запити з платіжними заголовками (crawler-exact-price або crawler-max-price).
Що таке ШІ-краулер?
ШІ-краулер — це автоматизований бот (програма), який створений для збору інформації з вебсайтів, зокрема з метою навчання моделей штучного інтелекту. Його ще називають AI web crawler або бот для індексації контенту.
На відміну від звичайних пошукових краулерів (наприклад, Googlebot), AI-краулери не просто індексують сторінки для пошуку, а витягують текстову інформацію для подальшого аналізу, навчання моделей (наприклад, GPT, Claude, Gemini) або створення генеративного контенту.
За словами Cloudflare, це лише початок, а в майбутньому функція може трансформуватися у масштабовану систему ліцензування даних для ШІ, агентів і застосунків, які використовують інтернет-контент на запит.