Оповещение, требующее действия
Определение
Оповещение, требующее действия, — сигнал о проблеме, на которую дежурный может ответить своевременным шагом, способным изменить исход.
Также ищут: Actionable alert · actionable page · операционный алерт
Зачем это знать
Если дежурный не может ничего изменить, срочный вызов только расходует внимание и приучает игнорировать канал. Несрочные сведения лучше отправить в рабочую задачу или на панель мониторинга.
Карта понятия
Что подтверждено
Google SRE рекомендует срочно вызывать дежурного только тогда, когда требуется осмысленное человеческое действие. Повторяемую механическую реакцию следует автоматизировать.
Граница применимости: Правила вызова дежурного при эксплуатации производственных систем.
В рекомендациях Google SRE быстрый расход бюджета служит основанием для срочного вызова, когда есть конкретное полезное действие и ответственный, способный его выполнить. Одна высокая скорость сгорания этого не обеспечивает. Медленное устойчивое ухудшение можно направить в задачу с ответственным и сроком, если время до ущерба это позволяет.
Граница применимости: Совместное применение рекомендаций Google SRE по срочности и пригодности оповещения к действию; пороги и дежурные задаются для конкретной службы.
Перед включением срочного вызова команда задаёт получателя, срок реакции и первое полезное действие. Ссылка на диагностику и инструкция помогают дежурному начать работу; активное состояние правила само по себе не доказывает доставку и принятие вызова.
Граница применимости: Редакторский порядок проверки оповещения. Организация смен, резервный контакт и подтверждение доставки задаются отдельно для конкретной службы.
Вызов сообщает о пользовательском последствии и требуемой реакции, а графики ресурсов и журнал добавляют контекст диагностики. Три внутренних признака одного последствия не обязательно требуют трёх независимых срочных вызовов.
Граница применимости: Редакторская рекомендация по содержанию и группировке. Независимые последствия нельзя скрывать произвольным объединением сообщений.
Если ухудшение направлено в рабочую задачу, ей всё равно нужны ответственный и срок, сопоставимый с оставшимся временем до исчерпания бюджета. Перевод в несрочный канал не означает возможность отложить проблему бессрочно.
Граница применимости: Редакторское следствие выбора канала реакции. Реальный срок рассчитывается по политике и текущим данным; точный прогноз из одной скорости не обещается.
Что проверить
- Укажите ответственного и ожидаемое действие.
- Сопоставьте срочность со временем до заметного ущерба.
- Автоматизируйте повторяемую механическую реакцию.
Первоисточники
- Alerting on SLOs
Определяет error-budget burn rate и multiwindow multi-burn-rate approach, включая разные page/ticket windows.
- Alerting Rules
Документирует alert expressions, pending/firing states, for/keep_firing_for и передачу notifications в Alertmanager.
Утверждения: 03
- Alerting Best Practices
Рекомендует простые alerts по user-visible symptoms, slack для коротких blips и диагностические links вместо paging на каждую cause.
Утверждения: 04