Оповещение по симптомам
Определение
Оповещение по симптомам — подход, при котором дежурного вызывают из-за влияния на пользователя или его неизбежности, а не из-за каждой возможной причины.
Также ищут: Symptom-based alerting · alert on symptoms · алертинг по симптомам · user-impact alerting
Зачем это знать
Одна проблема может поднять десятки показателей причин. Оповещение по верхнему симптому уменьшает дубли, а телеметрия нижних уровней помогает найти источник.
Карта понятия
Что подтверждено
Google SRE различает симптом — что сломано — и причину — почему; срочное оповещение строят прежде всего вокруг симптома.
Граница применимости: Подход к наблюдению за рабочими системами; неизбежное исчерпание ресурса может оправдывать упреждающее оповещение.
Prometheus рекомендует оповещать о верхнеуровневых задержках и ошибках, заметных пользователю, вместо отдельного вызова на каждый внутренний сбой.
Граница применимости: Системы онлайн-обслуживания; разные критические последствия могут требовать отдельных оповещений.
Что проверить
- Сформулируйте наблюдаемое влияние на пользователя.
- Вызывайте дежурного один раз на самом высоком осмысленном уровне.
- Приложите телеметрию причин к диагностике, но не дублируйте срочное оповещение.
Первоисточники
- Monitoring Distributed Systems
Формулирует symptom-based paging, actionable pages и риск alert fatigue от частых незначимых notifications.
Утверждения: 01
- Alerting Best Practices
Рекомендует простые alerts по user-visible symptoms, slack для коротких blips и диагностические links вместо paging на каждую cause.
Утверждения: 02