Cloudflare Представила Нову Функцію Robotcop для Контролю за Політиками Robots.txt

HostZealot

Блог

Cloudflare Представила Нову Функцію Robotcop для Контролю за Політиками Robots.txt

15:21, 11.12.2024

Зміст статті

Опис нової функції Robotcop
Як Robotcop допомагає в управлінні трафіком та порушеннями

Опис нової функції Robotcop

Cloudflare анонсувала нову функцію в своїй панелі управління аудиту під назвою Robotcop. Цей інструмент допомагає перевіряти, як різні AI-сервіси виконують політики, прописані у файлах robots.txt, а також дає змогу автоматично застосовувати ці політики на рівні мережі. З розвитком генеративного штучного інтелекту, який активно сканує інтернет для збору даних для навчання моделей, багато власників сайтів почали оновлювати свої політики robots.txt, обмежуючи доступ не лише для веб-сканерів, але й для ботів AI.

Завдяки новій функції від Cloudflare, власники сайтів можуть отримати звіт про кількість запитів від різних ботів, зокрема тих, що належать до AI-сервісів, таких як ChatGPT, Google Gemini та інші. В панелі аудиту можна фільтрувати запити за категоріями та отримувати інформацію про порушення політик.

Як Robotcop допомагає в управлінні трафіком та порушеннями

Функція Robotcop надає звітність про порушення політик для кожного бота. Користувачі можуть побачити, який трафік порушує встановлені правила, а також отримати спливаючі підказки з деталями порушень. Завдяки розділу «Найпопулярніші шляхи», відображається трафік, який порушує політику сайту. Користувачі також можуть застосувати правила robots.txt через розширене правило брандмауера, автоматично блокуючи порушників.

Ця можливість вже доступна всім користувачам Cloudflare, надаючи додаткові інструменти для ефективного управління доступом до сайту і захисту від небажаних ботів.

15:21, 11.12.2024