Ceph после потери узла: ёмкость, копии и запас

Рассмотрим один реплицируемый пул без сжатия. D включает текущие данные, ожидаемый рост и уникальные данные снимков. H учитывает прочие расходы на оставшихся узлах. Другие пулы в примере отсутствуют; при их появлении нужен общий бюджет.

Состав примера — четыре узла, в каждом шесть OSD по 4 ТБ. Всего 24 OSD и 96 ТБ сырой ёмкости. ТБ здесь означает 10¹² байт; это не ТиБ. Загрузочные диски в эти числа не входят.

SIZE и RAW USED показывают разные стороны сырой ёмкости Ceph. Число купленных терабайтов нельзя сразу записать как место для данных приложения.

Для проверки любого одиночного отказа вычтите из общей ёмкости самый ёмкий узел. На оставшемся месте должны поместиться r полных копий D и расходы H. Неравенство rD + H ≤ p(ΣCᵢ − max Cᵢ) проверяет общую сумму, но не гарантирует размещение по каждому OSD.

В нашем примере остаток — 3×24=72 ТБ. Проект разрешает занять до 75% остатка, то есть 54 ТБ. Из них 6 ТБ отведено под H; под три копии данных остаётся 48 ТБ. Значит, D не больше 16 ТБ.

Если сейчас данных 12 ТБ, рост до 16 ТБ уже использует весь рассчитанный бюджет D. При D=18 ТБ три копии и H занимают 60 ТБ, что превышает предел 54 ТБ. Эти значения относятся к восстановленным копиям, а не к мгновенному расходу в момент аварии.

При size=3 и размещении по разным host три узла после потери одного превращаются в два. Восстановить три копии на разных серверах уже некуда, даже если на оставшихся дисках много свободного места. Это не равнозначно немедленной потере всех данных.

В четырёхузловом примере после отказа остаются три подходящих сервера. Это снимает препятствие по числу мест, но ещё не подтверждает распределение по конкретным OSD. Диски вне нужного root или класса не добавляют ёмкость выбранному правилу.

Size описывает целевое число копий, min_size — нижний порог для операций. Сохранение доступа в деградированном состоянии не означает, что трёхкопийная защита уже восстановилась.

MAX AVAIL оценивает место для пула при текущей защите и размещении. Это не обещание сохранить тот же объём после отказа: доступные устройства и их заполнение изменятся.

OSD_BACKFILLFULL относится к конкретным OSD и учитывает также намеченный перенос. Среднее заполнение 60% не опровергает эту тревогу на одном из получателей. Проверьте целевые устройства и их фактические пороги.

Кроме ведомости OSD нужны CPU, RAM, контроллеры, сетевая часть, загрузка и питание узлов. Ресурсы оценивают для рабочей нагрузки одновременно с восстановлением; спокойный расход RAM не является пиковым.

На согласованном стенде сохраните исходную карту, объёмы, заполнение OSD, пороги и показатели приложения. Проверьте заданный отказ, продвижение восстановления, задержки и ошибки. После возврата подтвердите нужное число копий и повторите операции приложения. Это план опыта, не выполненное испытание.