Проблема
Люди ищут уже не только в Google. Они спрашивают ChatGPT и Perplexity или читают ИИ-ответы в выдаче Google, и эти инструменты цитируют одни сайты и игнорируют другие. При этом большинство инструментов аудита по-прежнему проверяют сайт только под Google, а хорошие из них платные.
Мне был нужен один бесплатный отчёт, который охватывает все три направления:
- SEO: могут ли Google и Bing найти, прочитать и ранжировать страницы?
- AEO (быстрые ответы): структурирован ли контент так, чтобы поисковик мог взять из него готовый ответ?
- GEO (ИИ-поиск): могут ли ИИ-инструменты добраться до сайта, понять, кто за ним стоит, и сослаться на него?
Что вы получаете
- План в три этапа: первая неделя — быстрые улучшения, затем 30 дней, затем 90 дней. Первыми идут исправления, которые дают больше всего при наименьших затратах.
- Готовый код для каждого исправления: структурированные данные (JSON-LD), правила robots.txt и черновик llms.txt.
- Отчёт в виде веб-страницы, PDF и чек-листа в Markdown.
Как это работает
- Краулер на Python читает главную страницу, robots.txt, карту сайта и до 25 страниц.
- Проверки на основе правил оценивают каждое направление. Каждая проблема получает приоритет и место в плане.
- Приложение запрашивает главную страницу от имени каждого из 14 основных ИИ-краулеров, чтобы проверить, пускает ли его сервер. Сайт может разрешить бота в robots.txt и всё равно заблокировать его на файрволе.
- Шаблон превращает результаты в отчёт, а headless Chromium печатает PDF.
Тот же пайплайн можно запустить из командной строки. Там пять агентов Claude Code могут углубить анализ: SEO-аудитор, AEO-аналитик, GEO-аналитик, исследователь конкурентов и автор отчёта.
Рассчитан на внешних пользователей
Я писал его так, будто им будут пользоваться незнакомые люди, ведь инструменту, который принимает любой адрес от кого угодно, нужна защита от злоупотреблений:
- Вход по ссылке из письма. Паролей нет, значит, их нечего хранить и нечему утечь.
- У каждого пользователя месячная квота, а число запросов на вход ограничено.
- Краулер не обращается к частным и внутренним адресам и перепроверяет адрес после каждого редиректа. Пользователь не сможет заставить сервер обращаться к его собственной внутренней сети.
- Один и тот же сайт нельзя проверять раз за разом в течение дня — так краулер ведёт себя корректно.
- Контейнер запускается от обычного пользователя, и все Linux capabilities у него отключены. Ключи лежат в
.env, вне git. - Автотесты покрывают парсинг, правила robots, защиту адресов, вход, квоты и изоляцию пользователей друг от друга. GitHub Actions запускает их при каждом пуше — и на SQLite, и на Postgres.
Необязательная ИИ-проверка
Ещё один шаг задаёт языковой модели вопросы, которые задал бы покупатель, и проверяет, называет ли она сайт или ссылается ли на него. Он работает на бесплатном тарифе с ограничением запросов, поэтому по умолчанию выключен и включается одной настройкой.