Хранилище Ceph: копии, области отказа и доступ к диску

RBD предоставляет блочное устройство, а его данные распределяются между OSD — службами хранения Ceph. Клиент использует модуль ядра или librbd. Блочный доступ и распределённое хранение совместимы: одно описывает интерфейс, другое — размещение данных.

Пул объединяет объекты логически. Для реплицируемого пула size=3 означает три копии каждого объекта вместе с первичной, а не исходник и три дополнительные копии.

При size=3 и min_size=2 штатная цель — три копии. С двумя копиями порог min_size выполнен, с одной — нет. Даже выполненный порог не подтверждает готовность PG и отсутствие других препятствий для доступа.

PG — группа размещения объектов. Active означает, что её данные в общем случае доступны для чтения и записи; clean — что требуемое число копий восстановлено. Active+degraded может допускать операции, но это ещё не восстановленная избыточность.

Снижение min_size до 1 не создаёт новую копию. Документация предупреждает о риске потери данных и рассматривает такой режим лишь как временную меру для отдельных аварий. В учебной проверке настройки защиты не меняем.

Карта CRUSH задаёт иерархию оборудования. Уровень host разделяет копии по серверам, rack — по стойкам. Три сервера в одной стойке не переживут её полную потерю только благодаря разделению host.

Правило может ограничить размещение частью иерархии root и классом ssd. Если SSD есть лишь на двух подходящих серверах, другие серверы с HDD не дают третьего места для копии в этом правиле.

В учебной схеме три допустимых сервера, size=3 и разделение по host. После отказа одного остаются два. Порог min_size=2 может выполняться, но три копии на разных host здесь не восстановить. Нужен возврат сервера или другой допустимый сервер с достаточным ресурсом.

Exclusive-lock по умолчанию автоматически передаётся между клиентами RBD. Поэтому несколько клиентов могут по очереди писать в один образ. Нельзя принимать этот флаг за доказательство, что второй клиент не откроет диск на запись.

При нештатной потере владельца новый клиент согласует его блокировку на уровне хранения. После обновления карты OSD он получает возможность снять прежнюю блокировку и взять свою. Потеря связи не оправдывает несогласованное возобновление записи.

В плане приёмки разделите три результата: клиент снова выполняет согласованную операцию, порог числа копий соблюдён, все копии восстановлены. Состояние active+clean описывает PG; проверку чтения и записи самим приложением проводят отдельно.