Наблюдаемость и SRE

Alert fatigue

Определение

Alert fatigue (усталость от оповещений) — снижение внимания и доверия к каналу вызова из-за потока частых, дублирующих и не требующих действия сообщений. В таком шуме настоящее оповещение просматривают по диагонали или пропускают.

Также ищут: усталость от алертов · pager fatigue · alert noise

Зачем это знать

Шум не просто раздражает: он замедляет распознавание настоящей аварии и ухудшает реакцию дежурной смены.

Связи из словаря

Карта понятия

Доказательная часть

Что подтверждено

  1. Google SRE отмечает, что слишком частые оповещения заставляют просматривать по диагонали или игнорировать уведомления, включая настоящее оповещение, скрытое шумом.

    Граница применимости: Реакция дежурного инженера; индивидуальная переносимость различается, но системный шум остаётся измеримым.

  2. Состояние канала вызова оценивают не по одному оповещению, а по частоте инцидентов за смену и долгосрочной устойчивости дежурств.

    Граница применимости: Практика операционного разбора Google SRE.

  3. Если за смену повторяются вызовы без полезного действия, это повод пересмотреть правило, порог и маршрут уведомления. Команда сохраняет учёт настоящих последствий: снижение числа вызовов само по себе не доказывает надёжность сервиса.

    Граница применимости: Редакторский разбор качества канала оповещения. Универсальная допустимая частота или персональная норма нагрузки не назначаются.

  4. После подавления шумного правила сообщений стало меньше. Для вывода о восстановлении нужны показатели услуги и проверка сбора; тишина в канале может означать только изменение доставки оповещений.

    Граница применимости: Редакторская граница между измерением услуги и сигналом дежурному. Предполагается, что подавление сообщений не меняет саму услугу.

  5. При передаче смены полезно передать открытое последствие для пользователей, уже выполненные действия, действующие подавления и следующий шаг с ответственным. Список пересланных сообщений без состояния работы не заменяет такую передачу.

    Граница применимости: Редакторский учебный чеклист, выведенный из осмысленной реакции и диагностики. Не выдаётся за дословный регламент смен Google или обязательное правило для всех организаций.

Перед спецификацией

Что проверить

  1. Измеряйте число оповещений и инцидентов за смену.
  2. Удаляйте дубли и оповещения без действия.
  3. Исправляйте повторяющуюся причину или автоматизируйте реакцию.
Открытые основания

Первоисточники

  • Документация3
  • Официальная документация
    Monitoring Distributed Systems Google Site Reliability Engineering · Site Reliability Engineering, Chapter 6 · проверено

    Формулирует symptom-based paging, actionable pages и риск alert fatigue от частых незначимых notifications.

    Утверждения: 01 · 02 · 03 · 04 · 05

  • Официальная документация
    Alerting Best Practices Prometheus Authors · Prometheus best practices, checked 29 August 2026 · проверено

    Рекомендует простые alerts по user-visible symptoms, slack для коротких blips и диагностические links вместо paging на каждую cause.

    Утверждения: 03 · 05

  • Официальная документация
    Implementing SLOs Google Site Reliability Engineering · The Site Reliability Workbook, Chapter 2 · проверено

    Описывает построение SLI/SLO от пользовательской цели, measurement window и error-budget policy.

    Утверждения: 04

Подтвердите действие