Медленное чтение снимков ZFS с ленты
Я скопировал свой снимок zfs на ленту, используя
zfs send tank/vertex@2017-01-20 | pv -cCTrbB 1g | pigz -c | pv -cCTrbB 1g | dd of=/dev/nst0 bs=1M
а затем прочитать его обратно, используя
dd if=/dev/nst0 bs=1M | pv -c | gzip -dc | ztreamdump
и он развивается с максимальной скоростью 39 MiB/s
, что намного медленнее, чем 77 MiB/s
или так, что он написал в.
РЕДАКТИРОВАТЬ: я просто попытался заполнить ленту с dd if=/dev/urandom of=/dev/nst0 bs=1M count=1k
и тогда смог прочитать его обратно на 99 MiB/s
,
1 ответ
У меня были похожие проблемы. 1) Используете ли вы ту же ленту для обоих испытаний?
Я постараюсь дать длинный ответ, так как мне потребовалось время, чтобы найти эту информацию на лентах LTO. Это один из хороших справочных материалов по запросу диска / ленты от IBM, размещенный в Oracle по имени GA32-0450-07.
Мой ответ: Некоторые ленты LTO старые-новые (новые и изготовленные несколько лет назад, но никогда не использовавшиеся), уже использованные и помеченные как новые-повторно сертифицированные или новые-плохие (новые, но не хранящиеся надлежащим образом во время транспортировки / хранения). Кроме того, некоторые поставщики могут не упоминать повторную сертификацию и просто рекламировать ее как новую ленту.
Fujitsu перепробовала 50 переаттестованных лент, 16 из них "имели недопустимо высокий уровень ошибок чтения, записи и ошибок сервоуправления, вероятно, из-за чрезмерного износа и повреждения краев в результате неправильного обращения или неправильной ориентации стримера".
Чтобы проверить, сколько операций чтения и загрузки было на ленте или ошибок чтения-записи, используйте sg_logs -a /dev/st0
и посмотрите на раздел 30h. Он выведет много полезной информации!
Я считаю, что можно переписать чип RFID на ленте, именно в нем вся информация записывается в журнал. Но если вы прожжете свой новый? записать на пленку (записать / прочитать полную ленту) и проверить его обратно и это (sg_logs
) есть ошибки, вы знаете, что ваша лента не в хорошей форме.
Совет для новых лент: создайте один большой случайный файл размером с ленту LTO и проверьте его sha512
, запишите его на ленту, прочитайте его обратно с ленты, проверьте, все ли в порядке контрольная сумма, и посмотрите на скорость чтения / записи. Сравните журналы ошибок на диске / ленте до и после. Не забудьте использовать mbuffer
! Если все хорошо, вы можете запустить свою ленту в производство. Запись используется на новом HD, проверьте blackblaze и их определение записи: "Это требует, чтобы каждый блок на каждом диске читался и проверялся".
Контролировать эти цифры (от sg_logs
) и если на ленте есть большие ошибки, замените ее общее количество записанных данных / размер ленты> 250 или число загрузок, приближающееся к 3000.
Вы все еще можете оставить копию данных на нем, но некоторые старые мои ленты (used-ebay) будут считывать только со скоростью 5-30 МБ / с, потому что на диске слишком много ошибок для исправления (запись по-прежнему на полной скорости). Но, эй, все еще работает, через 20-30 лет придется проверять их, чтобы убедиться, что они все еще читаемы. Ленты LTO имеют кодировку reed solomon, поэтому возможен ремонт некоторого уровня ошибок. Некоторые используемые ленты поступают из широко используемых библиотек резервных копий и могут записываться один раз в неделю или один раз в день в течение нескольких лет, поэтому просто проверьте их, чтобы убедиться, что вы можете доверять им в своих данных. Если вы делаете критически важное резервное копирование, почему бы не получить их напрямую от HP или другого официального поставщика. Если это просто случайные вещи, и вы можете дублировать их несколько раз на разных недорогих лентах, использованные ленты LTO могут стоить того, чтобы сэкономить $$$. Опять же, если вы хотите ежедневное или еженедельное резервное копирование, лучше получите настоящую новую ленту.
Ожидаемая продолжительность жизни LTO от HPe: "Официальный текст гласит:" Носители Ultrium сертифицированы на 1 миллион проходов или 260 полных резервных копий и имеют 30-летний срок хранения в архиве ".
Тем не менее, может показаться, что вы сможете иметь одну ленту, которая прослужит почти полный год ежедневных резервных копий, прежде чем вы увидите ошибки носителя ".