Задача
С сайтом случаются две разные беды, и ни одна о себе не сообщает.
Поломка. В релиз уехал случайный noindex, правило в robots.txt закрыло краулер, редирект превратился в цепочку или петлю, карта сайта ведёт на удалённые страницы. В браузере всё выглядит нормально. Трафик падает через несколько недель.
Изменение, о котором не предупредили. DNS-запись сегодня другая. На странице появился новый скрипт. У сертификата сменился издатель. Возможно, у кого-то была веская причина — но команда должна узнать об этом в тот же день, а не через квартал.
Мониторинг доступности отвечает на другой вопрос. Он говорит, что сервер ответил. Он не говорит, что сервер ответил страницей, которую поисковики теперь проигнорируют.
Что приходит утром
Одно сообщение. Сайты без замечаний сворачиваются в одну строку, так что длина отчёта — это размер проблемы.
🧾 Талон — 4 сайта · 1 домен
12.11.2026 · 09:00 MSK
login.example.com
❌ Redirects: http://login.example.com отдаёт 200 без перехода на https
⚠️ Pages: вход https://login.example.com/auth открыт для индексации
example.com
⚠️ Redirects: http://example.com — 2 перехода вместо одного
⚠️ SSL: осталось 12 дней (www.example.com)
⚠️ Headers: нет Strict-Transport-Security
✅ Без замечаний (2): shop.example.com, status.example.com
Итог: 2 ✅ · 1 ⚠️ · 1 ❌
Пример отчёта. Четыре статуса, и проблемы только два из них: fail — вредит индексации, пользователям или безопасности прямо сейчас, warn — чинить нужно, но не сегодня, ok, и info для всего, что инструмент не оценивал: только что сохранённая базовая линия или реестр, который не отдаёт данные. Info никогда не считается проблемой, поэтому итоговой строке можно верить.
В чат уходит короткая версия. Каждая цепочка редиректов, каждый diff текста и набор DNS-записей ложатся в JSON-лог рядом с запуском.
Восемь проверок
- Редиректы. Любой вход на сайт — с
wwwи без, http и https — должен одним постоянным переходом вести на основной адрес. Инструмент проходит цепочку вручную и записывает каждый шаг, поэтому «два перехода вместо одного» и «временный 302 вместо постоянного 301» — это разные замечания. - robots.txt. Разбирается по тем же правилам, что использует Google, а не старым парсером из стандартной библиотеки. Ошибка — если ключевая страница закрыта для Googlebot или YandexBot; предупреждение — если ИИ-краулеру только что закрыли доступ; при любом изменении файла показывается diff.
- Карта сайта. Разворачивает индексные sitemap-файлы, проверяет, что URL отвечают напрямую, и предупреждает, если число адресов резко упало.
- Страницы. Код ответа,
noindexв мета-теге или в заголовкеX-Robots-Tag, canonical, title, description, время ответа. - Для личных кабинетов правила обратные. Страница входа клиента не должна индексироваться, не должна открываться по обычному http, а её форма обязана отправлять данные на собственный хост. Форма, которая вдруг начала отправлять их куда-то ещё, — это кража паролей.
- Сертификаты. Покрывает ли хост, 21 день до предупреждения и 7 до ошибки — и издатель сравнивается со вчерашним, потому что трафик, уехавший на другой сервер, виден здесь первым.
- DNS. Все типы записей, спрошенные и у публичных резолверов, и у авторитетного NS, сравниваются с тем, что вы зафиксировали в конфиге, или со вчерашним ответом. Смена адресов и NS — ошибка, текстовые записи — предупреждение, расхождение резолверов с авторитетным ответом — отдельное предупреждение.
- Контент и заголовки. Видимый текст каждой ключевой страницы нормализуется и хэшируется, поэтому изменение приходит с diff, а не просто тревогой; новый внешний скрипт, iframe или стиль — сразу ошибка. В заголовках — HSTS и
Server, выдающий свою версию.
Решения, из-за которых ему верят
Монитор, который кричит зря, выключают, а выключенный монитор хуже, чем никакого. Основная работа была именно здесь.
- Только чтение, и это проверяемо. Запросы GET и HEAD и DNS-запросы. Обёртка над запросами отказывается от любого другого метода, так что в коде нет пути, который что-то отправит на наблюдаемый сайт.
- Неудачная проверка не становится новой нормой. Базовая линия записывается только после успешной проверки. Сетевой сбой не может молча переопределить «нормально» — именно так детекторы изменений обычно слепнут.
- Один повтор, прежде чем что-то назвать мёртвым, и хост, который не ответил, отмечается как недоступный, а не как сломанный сертификат. Это разные проблемы и разные люди.
- Упавшая проверка — одна строка отчёта, с трассировкой в логе. Остальные семь продолжают работать.
- Он не угадывает. Всё, чего инструмент знать не может — какой адрес основной, какие страницы важны, какие внешние скрипты ожидаемы, — остаётся незаполненным местом в конфиге, и до заполнения человеком боевой запуск не состоится.
- Секреты не попадают в конфиг. В нём только имена переменных окружения; токен бота и id чата живут вне репозитория.
- По умолчанию молчит. Ежечасная проверка не отправляет ничего, пока ничего не изменилось и не сломалось.
- 64 теста без живого трафика. Петли редиректов, закрытый краулер, сертификат за пять дней до конца, смена издателя, изменение DNS-записи, новый внешний скрипт, отчёт длиннее лимита Telegram — всё воспроизведено на фикстурах.
Чего он не скажет
Он говорит, что изменилось и когда. Он не может сказать, кто: для этого нужны персональные учётные записи и журналы аудита у регистратора, в DNS и на хостинге. Я написал это в README, а не оставил инструменту возможность изображать больше уверенности, чем у него есть. Сигнал об изменении — это повод пойти и спросить, а не ответ.
Как запустить
Он сделан под реальный парк из 14 сайтов и 7 доменов, а в публичной версии вместо них — пример конфигурации. Ничего про сайты не зашито в код.
git clone https://github.com/elkushi/talon.git && cd talon
python3.12 -m venv .venv
.venv/bin/pip install httpx lxml dnspython protego PyYAML
cp config.example.yaml config.yaml
.venv/bin/python -m talon --mode daily --dry-run
--dry-run печатает отчёт вместо отправки, так что посмотреть, что он скажет, можно ещё до создания бота. В бою это две строки в cron: утренний отчёт и ежечасная проверка изменений — на машине, которая не хостит наблюдаемые сайты, чтобы авария не унесла монитор вместе с ними.