Как действительно хранить ваши данные (избегая повреждения данных без вывода сообщений)
Что-то, что действительно беспокоит меня - это молчаливое повреждение данных. За прошедшие годы я много раз испытывал это на том, что вдруг вы захотите открыть несколько старых фотографий, чтобы просто почесать голову и задаться вопросом, не было ли еще одной фотографии в этой папке. Я храню все свои файлы проекта и изображения в моем Dropbox и дополнительно имею внешний диск RAID 1 (WDMyBookMirror), на который я делаю резервную копию этих файлов. Около года назад я перешел с более ранней версии MyBook Mirror на новую. Старый все еще лежал со старыми данными, и я решил провести сравнение с FileMerge деревьев папок старого диска с текущим состоянием моего нового резервного диска, который используется. Оказывается, около 10 файлов исчезли в этот год или около того с моего нового диска. Случайные фото и видео. Если бы я не провел сравнение, я бы никогда не заметил.
Это подводит меня к вопросу. Как я могу хранить свои данные, чтобы быть уверенным, что я не потеряю файлы, не заметив?
Очевидно, RAID 1 не защитил меня от тихого повреждения данных. В ней также не было файловой системы NTFS, и облачное решение, такое как dropbox, вероятно, просто синхронизировало бы ошибочные изменения файлов в облаке, повреждая / теряя данные и в других местах. Создание регулярных резервных копий резервной копии также не будет информировать меня о потерянных или поврежденных изображениях.
Так что делать? Я прочитал немного о ReFS и ZFS. Это путь?
Я не возражаю платить за избыточность - но как хранить мои данные, чтобы быть уверенным, что повреждение без вывода данных не может произойти?
2 ответа
Файловая система ZFS разработана с учетом высокой устойчивости к повреждению данных без вывода сообщений. Используя сложные методы контрольных сумм, в том числе цепочку блоков и хранение контрольных сумм данных в местоположениях носителей, которые удаляются из самих хранилищ данных, а также возможность хранить несколько копий метаданных ("блоки блоков"), ZFS может не только обнаруживать повреждения без вывода сообщений, но когда пул ZFS имеет достаточную избыточность, ZFS может исправить повреждение. В этом смысле ZFS описывается как "самовосстанавливающаяся" файловая система.
Даже для однодисковых систем хранения ZFS имеет значительные преимущества перед многими традиционными файловыми системами. Вкратце, из документов Oracle ZFS:
Преимущества хранения нескольких копий пользовательских данных ZFS заключаются в следующем:
Улучшает сохранение данных, позволяя восстанавливать после неисправимых ошибок чтения блока, таких как ошибки носителя (обычно известные как "гниение битов") для всех конфигураций ZFS.
Обеспечивает защиту данных, даже когда доступен только один диск.
Позволяет выбирать политики защиты данных для каждой файловой системы вне возможностей пула хранения.
Многие другие аспекты ZFS можно найти в соответствующей документации по этой ссылке.
Тем не менее, ни одна система не может быть идеальной. Но ZFS - это мощный инструмент, чтобы иметь в наличии.
Для стабильности доступны сапфировые оптические диски, хотя и дорогие. За исключением этого, создайте несколько файлов Zip на разных серверах. Поскольку Zip имеет внутренние контрольные суммы, вы сразу узнаете, поврежден ли архив.
Цифровая технология основана на учете частоты ошибок с помощью избыточности, контрольных сумм и других средств. Даже теоретически совершенные носители все равно будут подвержены ошибкам из-за космических лучей, электрических помех и т. Д.