Cloudflare запускає функцію Pay-Per-Crawl: сайти зможуть стягувати плату з ШІ

Cloudflare представила нову функцію Pay-Per-Crawl, яка дозволяє власникам сайтів стягувати плату з краулерів штучного інтелекту за доступ до свого контенту. Це дає третій варіант між повною блокадою або вільним доступом - монетизацію даних, пише Cloudflare.

Суть нової функції полягає у використанні маловживаного HTTP-коду 402 Payment Required. Якщо ШІ-краулер не надсилає платіжного наміру, він отримує відповідь із ціною. Якщо підтверджує намір оплатити, контент відкривається.

Як працює Pay-Per-Crawl?

Підписуйтеся на наші соцмережі

Функція вже доступна в приватній бета-версії. Краулери мають зареєструватися, підтвердити свою автентичність через криптографічні ключі та надсилати запити з платіжними заголовками (crawler-exact-price або crawler-max-price).

Що таке ШІ-краулер?

ШІ-краулер — це автоматизований бот (програма), який створений для збору інформації з вебсайтів, зокрема з метою навчання моделей штучного інтелекту. Його ще називають AI web crawler або бот для індексації контенту.

На відміну від звичайних пошукових краулерів (наприклад, Googlebot), AI-краулери не просто індексують сторінки для пошуку, а витягують текстову інформацію для подальшого аналізу, навчання моделей (наприклад, GPT, Claude, Gemini) або створення генеративного контенту.

За словами Cloudflare, це лише початок, а в майбутньому функція може трансформуватися у масштабовану систему ліцензування даних для ШІ, агентів і застосунків, які використовують інтернет-контент на запит.