Замена диска без простоя на RAID

MAATRIX

Диск в массиве умер — и сервис при этом продолжает работать. Это и есть смысл RAID: пережить смерть накопителя без простоя и без потери данных, а вышедший диск заменить на живой машине. Но «без простоя» не значит «само собой»: замена и восстановление массива требуют понимания и аккуратности, иначе можно превратить штатную ситуацию в потерю данных. Разберём, как заменить диск на RAID выделенного сервера правильно.

Почему RAID позволяет менять диск на ходу

Избыточные уровни RAID (1, 10, 5, 6) хранят данные с запасом: информация либо продублирована на другой диск, либо восстановима из контрольных сумм. Поэтому смерть одного диска (для RAID 6 — двух) не останавливает массив: он переходит в деградированный режим и продолжает отдавать данные, просто без защиты до восстановления.

Второе условие безостановочной замены — горячая замена (hot-swap): серверные корзины позволяют вынуть и вставить диск на работающей машине, без выключения питания. Сочетание избыточности и hot-swap и даёт то самое «без простоя»: сервис не падает ни в момент отказа диска, ни в момент его физической замены. На выделенном сервере с нормальной дисковой корзиной это штатная процедура.

Важное предупреждение: деградированный массив уязвим

Прежде чем перейти к действиям — ключевая мысль, которую нельзя пропускать. Пока массив работает с вышедшим диском, он не защищён. В RAID 1 или 5 смерть второго диска в этот момент означает полную потерю данных. А самый опасный момент — как раз восстановление (ребилд): оно создаёт интенсивную нагрузку на оставшиеся диски, и если они того же возраста и уже подношены, именно на ребилде второй диск может не выдержать.

Отсюда два вывода. Первый: меняйте вышедший диск как можно быстрее, не откладывайте — время в деградированном режиме надо минимизировать. Второй, и он важнее любых команд: перед заменой убедитесь, что у вас есть свежий рабочий бэкап. RAID — это защита от простоя, а не замена резервным копиям. Менять диск без актуального бэкапа — значит играть в рулетку на ребилде.

Порядок действий при замене

Общая логика одинакова для аппаратного и программного RAID, отличаются лишь команды.

1. Убедитесь, что бэкап актуален и восстановим. Это первый шаг, а не формальность.
2. Точно определите вышедший диск: его серийный номер и физический слот. Ошибиться слотом на деградированном массиве — фатально, вы выдернете живой диск.
3. Для программного RAID выведите отказавший диск из массива логически (mdadm --manage /dev/md0 --fail /dev/sdX --remove /dev/sdX). Для аппаратного контроллер обычно уже пометил диск как failed.
4. Физически извлеките помеченный диск из корзины и вставьте исправный такого же или большего объёма.
5. Добавьте новый диск в массив (mdadm --manage /dev/md0 --add /dev/sdX) или дайте команду замены контроллеру — начнётся ребилд.
6. Дождитесь полного восстановления и убедитесь, что массив снова в состоянии «clean».

Идентификация диска — где чаще всего ошибаются

Отдельно подчеркну шаг с определением диска, потому что именно здесь теряют данные. На сервере несколько одинаковых накопителей, и вынуть не тот — значит убить массив своими руками: у вас уже не хватает одного диска, а вы выдёргиваете второй, живой.

Надёжный способ — сопоставить логическое имя (sdX) с физическим серийным номером через smartctl и с номером слота через утилиту контроллера. Многие корзины и контроллеры умеют зажечь диагностический светодиод на нужном слоте командой — это самый безопасный вариант, когда сервер физически меняет инженер дата-центра. Не полагайтесь на память и на порядок портов: проверяйте по серийнику.

Что происходит во время ребилда

После добавления диска массив начинает восстановление — копирует или пересчитывает данные на новый накопитель. Это может занять от часа до многих часов в зависимости от объёма и уровня RAID: зеркало восстанавливается быстро, RAID 5/6 на больших дисках — долго и с тяжёлой нагрузкой на массив.

Во время ребилда сервис работает, но производительность дисков временно снижена — учитывайте это, если нагрузка чувствительна. Скорость восстановления можно ограничить, чтобы не задушить рабочую нагрузку, или наоборот ускорить в окно низкой активности. Пока идёт ребилд, массив всё ещё уязвим — вот почему бэкап и скорость реакции так важны.

Из этого вытекает практический аргумент в пользу более защищённых уровней на больших массивах. На дисках в единицы терабайт ребилд RAID 5 растягивается на часы тяжёлой нагрузки, и вероятность поймать смерть второго диска именно в этот момент перестаёт быть теоретической — особенно если все диски из одной партии и вырабатывают ресурс синхронно. Поэтому под ценные данные на больших объёмах разумнее RAID 6 (переживает смерть двух дисков) или RAID 10, где восстановление быстрее и легче для массива. Это осознанный размен ёмкости на безопасность восстановления, и на серьёзных данных он почти всегда оправдан.

Полезная привычка — не дожидаться отказа, а действовать по ранним сигналам. Мониторинг SMART показывает деградацию диска задолго до полной смерти: растущие переназначенные секторы, ошибки чтения, износ ресурса. Плановая замена подношенного диска в спокойное окно, пока массив ещё цел и защищён, куда безопаснее аварийной замены на уже деградированном массиве. Хорошая эксплуатация RAID — это упреждение, а не тушение пожара.

Роль провайдера и honest-граница

На арендованном выделенном сервере физическую замену диска обычно выполняет инженер дата-центра по вашей заявке: вы указываете сбойный диск, провайдер меняет его и, если нужно, помогает с ребилдом. Уточните заранее регламент — как быстро реагируют на замену дисков и входит ли это в обслуживание, потому что скорость здесь напрямую влияет на риск.

И честно про уровень задачи: вся эта механика — про физический сервер, где диски ваши. На VPS замену дисков хоста вы не делаете вовсе: за отказоустойчивость хранилища отвечает провайдер, а ваши данные живут на его массиве. Если возиться с RAID и ребилдами не хочется, а задача не требует именно физических дисков под вашим контролем, — это довод в пользу VPS. Выделенный сервер с RAID берут, когда нужна вся производительность и полный контроль над хранением, и тогда умение штатно менять диск — обязательный навык эксплуатации.

Частые вопросы