Размещение устройств BlueStore
Определение
Размещение устройств BlueStore — схема сопоставления основных данных, метаданных и внутреннего журнала OSD с накопителями или их частями.
Также ищут: BlueStore device layout · устройства block DB WAL · размещение DB и WAL Ceph
Зачем это знать
Три роли не требуют трёх физических дисков. Один быстрый SSD может обслуживать несколько OSD, но станет общей зависимостью их метаданных. До заказа нужны и ведомость ролей, и физическая карта.
Карта понятия
Связано
Что подтверждено
В BlueStore block — основное устройство данных, block.db хранит метаданные, block.wal — внутренний журнал. Отдельные DB и WAL необязательны; устройство может быть физическим диском, разделом или логическим томом.
Граница применимости: Ceph Squid, BlueStore Devices и ceph-volume lvm prepare: bluestore. Речь о раздельном размещении ролей; их имена не задают число физических дисков и не подтверждают резервирование.
Если для BlueStore задан block.db, но отдельный block.wal не задан, WAL размещается вместе с DB. Отдельный третий накопитель для WAL из самого наличия DB не следует.
Граница применимости: Ceph Squid, BlueStore Devices. Речь о внутреннем журнале BlueStore; иных настроек размещения в условии нет. Это не журнал гостевой СУБД.
BLUEFS_SPILLOVER означает, что метаданные не поместились на выделенном DB-устройстве и часть оказалась на основном, более медленном устройстве. Это не обязательно ошибка, но может ухудшить производительность.
Граница применимости: Ceph Squid, Health checks: BLUEFS_SPILLOVER. Переполнение выделенного места и физическая потеря DB-устройства — разные события; автоматическая замена отказавшего DB здесь не обещается.
Выделять DB или WAL на отдельное устройство для ускорения имеет смысл, когда оно быстрее основного block. Само разделение на три имени устройств ускорения не доказывает.
Граница применимости: Ceph Squid, Devices и Provisioning strategies. Паспортный интерфейс и слово SSD не заменяют сравнение требуемой нагрузки; универсального коэффициента ускорения нет.
В учебной схеме четыре OSD имеют разные HDD для block, но четыре DB-тома лежат на одном незеркалированном SSD. Потеря этого SSD лишает все четыре OSD доступа к их DB-томам; разные имена томов не дают физической независимости.
Граница применимости: Авторский вывод из примера BlueStore с общим SSD и определения области отказа Ceph. Предполагается отсутствие другого пути или копии этого SSD. Это не утверждение о потере всех реплик в кластере и не процедура восстановления OSD.
В учебном проекте под DB-тома доступно 480 ГиБ быстрого устройства. Для четырёх OSD выделено по 100 ГиБ: занято 400 ГиБ, не распределено 80 ГиБ. Отдельный WAL не задан и находится вместе с DB; 80 ГиБ не являются автоматически доступным местом каждого DB-тома.
Граница применимости: ГиБ — 2³⁰ байт; доступные 480 ГиБ заданы после прочих расходов. 100 ГиБ на OSD — условие расчёта, не рекомендация Ceph. Достаточность под метаданные и ресурс SSD проверяются отдельно.
- Рекомендация редакции
До приёмки связать каждый OSD с его block, DB и WAL, затем с физическими накопителями, контроллерами и питанием. Проверять размещение, заполнение и задержки под совместной нагрузкой, а сценарий отказа задавать по общей физической зависимости.
Граница применимости: План проверки из схем устройств BlueStore, областей отказа и BLUEFS_SPILLOVER. Карта и нагрузочный тест не заменяют проверку совместимости точных моделей; реальное оборудование здесь не испытывалось.
Что проверить
- Разделите физические накопители, разделы, логические тома и роли OSD.
- Сохраните соответствие каждого OSD его block, DB и WAL.
- Проверьте, быстрее ли выделенное DB-устройство основного на нужной нагрузке.
- Посчитайте выделенное место каждого DB-тома и нераспределённый остаток отдельно.
- Отметьте OSD, чьи DB зависят от одного SSD, контроллера или питания.
- Проверьте метаданные, задержки и восстановление на согласованном стенде.
Первоисточники
- Ceph Squid — ceph-volume lvm prepare: BlueStore
Проверены варианты одного устройства и сочетаний block/DB/WAL, физические устройства, разделы и логические тома. Команды подготовки не выполнялись и не предлагаются как безопасная инвентаризация.
- Ceph Squid — BlueStore Configuration Reference: devices
Прочитаны Devices, Provisioning strategies и Sizing. Схема с общим SSD рассматривается как пример, не норма числа OSD. Противоречивое утверждение об автоматическом создании томов не использовано.
- Ceph Squid — Health checks: fullness and recovery
Проверены OSD_BACKFILLFULL, OSD_FULL, PG_BACKFILL_FULL и PG_RECOVERY_FULL. Численные пороги конкретного кластера не предполагаются.
- Ceph Squid — Hardware recommendations
Прочитаны CPU, RAM, Additional Considerations и Failure Domains. В этом пакете нет универсального числа ядер, процента памяти или обещания времени восстановления.
Связанные понятия
Курсы по теме
Следующий шаг
Сформулируйте задачу и уточните требования к своей системе.
Подготовить состав проектаОткроется черновик вопроса. Отправьте его, когда будете готовы.