Все, кто использовал AI-агентов для сбора контента или данных, знают, что скрапинг веб-страниц — самая грязная и утомительная работа.

В моем обычном рабочем процессе я использую Chrome cookie для сбора данных: когда cookie истекает — всё, данные недоступны; при встрече с Cloudflare или строгой защитой от ботов — сразу 403; контент X — и вовсе отдельная история: сессия часто теряется, лимит API исчерпан — приходится искать другие решения.
Один переход по ссылке — требует подготовки трех-четырех уровней резервных сценариев, и часто даже на последнем уровне ничего не удается поймать.
Все усилия по "привлечению данных" уходят больше, чем по "использованию данных".

Я попробовал XCrawl и добавил его навык в моего OpenClaw бота.
Первый тест — попросил бота "сделать скрапинг содержимого ", — и получил структурированный markdown с коэффициентами, объемами сделок и дедлайнами для десятков предсказательных рынков. Страница с динамическим JS-рендерингом — один запрос, и всё готово.
Второй тест — загрузил свою статью из X. Тысячи слов, и вместе с ней — просмотры, лайки, закладки. Контент X — notoriously сложен для скрапинга, раньше приходилось писать отдельную логику, а сейчас — одна фраза.

По расходам — каждый запрос стоит 1-2 кредита. Встроенный прокси для жилья и JS-рендеринг — не нужно настраивать инфраструктуру самостоятельно. Вывод в markdown можно сразу подавать в LLM или сохранять в базу данных, без дополнительной очистки.

API поддерживает пять режимов — одностраничный скрапинг, полный сайт, карта сайта, поиск и SERP, — практически покрывают все сценарии ежедневного сбора данных. Пользователи OpenClaw могут просто установить навык и начать. Регистрация дает 1000 кредитов, что достаточно для длительной работы.

Честно говоря, инфраструктура для сбора данных давно должна была стать сервисом. Самостоятельная настройка слишком дорогая и требует много поддержки. Вызов по мере необходимости — и время, сэкономленное на этом, можно потратить на действительно важный анализ и принятие решений.