MDADM пересобрать raid 6 с 3-мя 'отказавшими' дисками

Я столкнулся со следующей проблемой:

Мой Raid 6 (/dev/md6) потерпел неудачу после того, как 3 диска выпали из массива. Один из дисков должен был отсутствовать некоторое время (в SMART 5 из 6 дисков работают без перерыва 1 год, у другого 8 месяцев и 21 день)

Сначала я попытался добавить 3 отсутствующих диска обратно в массив, но sdf1 был "занят". другие два я мог бы добавить.

и он сказал, что sdf1 был занят (или что-то), поэтому я перезагрузился. и попробовал еще раз.

вывод теперь:

root@server:~# mdadm --assemble --run --force --update=resync /dev/md6 /dev/sd[abcdef]1
mdadm: ignoring /dev/sdd1 as it reports /dev/sda1 as failed
mdadm: ignoring /dev/sde1 as it reports /dev/sda1 as failed
mdadm: ignoring /dev/sdc1 as it reports /dev/sda1 as failed
mdadm: Marking array /dev/md6 as 'clean'
mdadm: failed to RUN_ARRAY /dev/md6: Input/output error
mdadm: Not enough devices to start the array.

другие подсказки:

mdadm --examine /dev/sd[a-f]1 | egrep 'Event|/dev/sd'
/dev/sda1:
         Events : 523989
/dev/sdb1:
         Events : 523989
/dev/sdc1:
         Events : 523989
/dev/sdd1:
         Events : 523989
/dev/sde1:
         Events : 523989
/dev/sdf1:
         Events : 0

а также

root@server:~# mdadm --examine /dev/sd[abcdef]1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 839401fb:04c596d0:78eca459:78d3d7fc

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Dec 15 12:46:10 2015
       Checksum : f1607072 - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAA.AA ('A' == active, '.' == missing)
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : a887f904:144d0e39:b306b3a6:29f0a22b

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 19:43:04 2016
       Checksum : dfc3e244 - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.AA ('A' == active, '.' == missing)
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813775360 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 87c811fc:b96d2e28:459ae3a6:917b380e

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : a8c5591f - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 18880035:fc631ea4:ee518ad5:b94d2720

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : 9e3a0a2d - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sde1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 6da68475:bc853f0f:b05e6cd1:43f28656

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : 7c20988f - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sdf1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : bef4edfe:272fcf21:2f23e64d:b811cb04

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 19:43:04 2016
       Checksum : 42cc70aa - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : spare
   Array State : AAA.AA ('A' == active, '.' == missing)

Всего 6 накопителей по 4 ТБ. Любая помощь будет оценена

Источник

1 ответ

Предполагая, что данные на дисках не повреждены (т. Е. Диски были выгружены из массива из-за временных сбоев), вы можете перестроить массив. Поскольку пять из шести дисков имеют одинаковое количество событий, вы, вероятно, не потеряете данные.

Есть два способа сделать это:

  1. Быстрый, рискованный способ: mdadm --assemble --force --run /dev/sd[abcde]1, Если это работает, это даст вам массив, работающий в деградированном режиме (один диск отсутствует), ожидая повторного добавления /dev/sdf и пусть его восстанавливают.

  2. Медленный, безопасный способ: следуйте процедуре восстановления в вики Linux RAID. Полная пошаговая процедура слишком длинна, чтобы воспроизвести ее здесь, но ключ в том, что вы используете dmsetup создать наложение для каждого тома компонента вашего RAID-массива, позволяя вам выполнить попытки пробного восстановления, чтобы увидеть, что работает, без фактической записи на диски. Опять же, вы будете работать с дисками /dev/sda1 через /dev/sde1 собрать массив в ухудшенном режиме.

Источник
Другие вопросы по тегам