SRE для дежурной смены: цели, сигналы и оповещения

SLI задаёт точную количественную меру, SLO — её целевое значение. Укажите одинаковые область и окно до сравнения процентов.

SLA отличает наличие согласованных последствий нарушения. Вид и размер последствий читают в самом соглашении.

Внутренняя цель может быть строже договорной; её изменение не переписывает условия клиента.

99,8% ниже внутренней цели 99,9%, но выше договорного числового порога 99,5%. Это проверка двух чисел, а не всех условий договора.

Проценты сравнимы только при одинаковом измерении. Суточная доля успешных запросов не подтверждает месячную доступность по времени.

Последствия читают в самом соглашении после проверки его применимости и показателя. Нарушение внутреннего SLO само по себе не назначает компенсацию.

Задержка, трафик, ошибки и насыщение — четыре золотых сигнала. Единицы и ресурс ограничения выбирают по услуге.

Быстрая ошибка не равна быстрой полезной работе: задержку успехов и ошибок смотрят отдельно.

Запросы в секунду и биты в секунду измеряют разную работу. Для трафика назовите единицу и уровень.

Насыщение проверяют по пределу ресурса, очередям и ожиданию; низкое среднее по серверу не исключает локального ограничения.

В двух выборках по 100 запросов замена половины успехов по 200 мс ошибками по 10 мс снижает общее среднее до 105 мс. Вместе с ним обязательно смотрят выросшую до 50% долю ошибок.

Скорость 1 расходует полный начальный бюджет за окно только при постоянном расходе и, для доли запросов, постоянной интенсивности. При уже потраченном бюджете срок до исчерпания будет другим.

При SLO 99,9% доля ошибок 1% даёт скорость 10: 1% делят на 0,1%. Это не ошибки в секунду.

30 суток / 10 = 3 суток только в заданной модели постоянной нагрузки и полного начального бюджета; это не точный прогноз при меняющемся трафике.

Быстрое и медленное ухудшение требуют разных окон обнаружения и сроков действий. Один высокий порог способен пропустить длительный умеренный расход.

Порог 1000 или больше и остановка некритичных изменений в примере — явно заданная учебная политика организации. Источники обосновывают согласованные действия, а не эти обязательные числа.

В рекомендованной схеме Google SRE Workbook длинное и короткое окна одного порога соединены через И. Не переносите это свойство на все правила, которые используют несколько окон.

В учебном правиле пара 1 час / 5 минут с порогом выше 14,4 соединена через ИЛИ с парой 6 часов / 30 минут с порогом выше 6.

20 за час и 2 за пять минут не проходят одну пару со строгим выше 14,4: короткое окно не подтверждает продолжающийся высокий расход.

Одна ошибка из десяти запросов при цели 99,9% даёт скорость 100; это результат малой выборки, требующий осмысленной политики реакции.

Ряд задаётся полным сочетанием меток. Кардинальность одного поля не равна общему числу рядов.

Независимые измерения перемножаются: 20 маршрутов × 3 метода × 5 классов ответа дают 300 рядов при публикации всех сочетаний.

300 рядов с интервалом 15 секунд дают 20 отсчётов в секунду и 1 728 000 за сутки без пропусков. Это ещё не объём в байтах.

Классическая гистограмма с десятью конечными границами даёт 11 бакетов, _sum и _count: 13 рядов на сочетание, 3900 для 300 сочетаний.

Prometheus не рекомендует неограниченные значения меток. Высокая кардинальность увеличивает число рядов даже при прежней частоте сбора.

Новый request_id в метках создаёт новое сочетание для каждого запроса. Фиксированный интервал сбора не ограничивает этот поток новых рядов.

Ограниченный шаблон /orders/{id} группирует маршрут; полный уникальный путь дробит его по заказам. Подробности запроса связывают с журналом или трассировкой.

Короткое хранение уменьшает историю, но не ограничивает создание новых сочетаний сейчас. Сначала ограничьте измерения и затем измерьте ресурсный бюджет.

Симптом показывает, что сломано для пользователя, причины помогают понять почему. Высокоуровневые задержки и ошибки служат основой срочного оповещения.

Быстрое сгорание требует срочной реакции, если есть полезное действие и ответственный. Медленное ухудшение можно направить в задачу с ответственным и сроком; один высокий множитель не делает вызов полезным.

Определите получателя, срок реакции и первый шаг. Активное состояние правила не подтверждает, что сообщение доставлено и принято.

В вызов включите последствие, а ресурсные графики и журнал используйте для диагностики; несколько признаков одного последствия не обязательно требуют нескольких вызовов.

Несрочной задаче тоже нужны ответственный и срок, согласованный с оставшимся временем до ущерба.

Частые незначимые вызовы скрывают настоящий инцидент; оценивайте нагрузку за смену и устойчивость канала.

Повторные вызовы без полезного действия дают материал для пересмотра правила. Снижение числа сообщений само по себе не означает улучшения услуги.

После подавления правила тишина доказывает только изменение оповещения. Для восстановления проверяйте показатели услуги и исправность сбора.

Учебная передача смены включает открытое последствие, выполненные действия, подавления и следующий шаг с ответственным.