Как хранить и сохранять много данных?

Вы должны подумать, насколько ценны данные, для которых вы создаете резервную копию. Я бы разделил его как минимум на 2 категории:

1. незаменимый
2. Хотел бы сохранить, но не будет разбитым сердцем, если данные будут потеряны.

стратегия

Для категории 1: я бы предложил одну из популярных онлайн-систем хранения (Amazon S3, Dropbox и т. Д.). Здесь вы платите за то, чтобы кто-то помог вам управлять резервным копированием и обеспечил более длительный доступ и более легкий доступ. В противном случае следуйте рекомендациям для категории 2 и убедитесь, что существует правильная избыточность данных, и позаботьтесь. Предполагая, что это меньший процент от общего объема 800 Гб.

Для категории 2: это ваше решение о том, сколько нужно инвестировать в хранение и время для загрузки данных онлайн. По этой причине я бы даже предложил вам использовать большой жесткий диск для резервного копирования всех данных и хранить этот диск отключенным от ПК, и просто учтите, что у него есть срок службы, связанный с ПК, который поддерживает современные технологии, например SATA. Затем вы можете перенести данные на новый диск / новую технологию в будущем. Жесткий диск емкостью 1 или 2 ТБ по разумной цене и удовлетворит ваши требования к данным сейчас и в краткосрочной перспективе.

избыточность

Несколько дисков с одними и теми же данными будут вашей избыточностью, которая снова может быть сохранена "вне сайта", если вы действительно обеспокоены безопасностью данных.

Безопасность

В качестве дополнительной функции, если вы пытаетесь защитить данные от несанкционированного доступа, зашифруйте их локально перед загрузкой в ​​Интернет и / или сохранением на жестком диске. Что-то вроде TrueCrypt будет идеальным

Сначала подумайте о том, как вы можете потерять свои данные, и решите, от чего вы хотите защитить. Некоторые примеры:

• случайно удалить что-то
• жесткий диск умирает
• программная или аппаратная ошибка
• вредоносные программы
• кража
• Пожар
• стихийное бедствие (пожар, наводнение, землетрясение, вулкан, молния и т. д.)
• захват правительства

В моей жизни я потерял много данных, но только по первым двум причинам в этом списке.

Жесткие диски компактны, содержат много данных, постоянно увеличиваются, легко доступны, не требуют специального оборудования для использования, дешевы и дешевы (наводнения в Таиланде не выдерживают).

Я храню все свои данные на одном диске; второй USB-накопитель содержит регулярные автоматические резервные копии; третий идентичный USB-накопитель находится вне офиса (на работе или в сейфовой ячейке - это хорошо). Ежемесячно я несу текущий резервный диск в другое место и возвращаю другой диск.

Все носители разлагаются; единственный способ убедиться, что ваши данные хороши, это использовать их. В рамках этой ежемесячной рутины я выбираю произвольный файл и восстанавливаю его из резервной копии.

У меня была такая же проблема, как вы и долго и упорно искал решения. Многие накопители NAS имеют 2 отсека для жестких дисков. Я хотел больше... но это всегда имело большую цену.

но потом я нашел это! ^{продемонстрированная модель была заменена синусом оригинального поста}

• 4 SATA-2 отсека (без горячей замены), максимум 8 ТБ (моддинг может обеспечить больше места)
• 1 SATA ontop для жесткого диска CDROM/SYSTEM, работающего на DMA33
• ESATA на спине
• 4 USB на ПЕРЕДНЕМ! 2 НАЗАД
• USB INSIDE (там, где дверь - значит, вы загружаете USB-накопитель и не высовываете его)
• МАКС DDR3 8 ГБ!
• Аппаратный встраиваемый SATA RAID 0/1 ^{Но вместо этого следует использовать ZFS}

Спецификация продукта

Я купил свой за 100 фунтов стерлингов (была заключена сделка с HP), но нормальная цена составляет 200 фунтов стерлингов - все еще половина цены многих других NAS. Это полноценный процессор! 1,6 ГГц двухъядерный AMD (специальный тип, который использует низкое энергопотребление)

Я не мог поверить своим чертовым глазным яблокам!

Тогда что? Это то, что

Я перешел на FreeNAS и установил freenas7 - я знаю, что FreeNAS 8 вышел... но, похоже, он сокращает память... но драйвер ZFS на нем работает более стабильно и быстрее... Так что выбор за вами.

Я установил 4x1TB и использовал RAIDZ, аналогичный RAID-5, на ZFS (на сервере HP тоже есть аппаратный рейд (0,1).. но драйвер не работает на freenas7:( - но работает на Windows Essentials!)

поэтому я получил 3 ТБ памяти с 1 резервным жестким диском ( RAID-5)

Я забыл упомянуть, что в нем есть полный слот PCI-E? (низкий профиль) Вот небольшой проблеск в MB и красивый USB-плагин прямо на mobo

Моддинг

• Здесь можно установить до 6 3,5-дюймовых дисков. Используйте тонкий оптический дисковод /3,5-дюймовый адаптер для отсека для DVD, а затем установите другой за световым конусом HP с небольшим усилием.

• Хорошо, а если этого недостаточно... тогда как насчет 19TB?

• И я так себя загорелся, что начал писать свою собственную панель инструментов и, надеюсь, какое-то руководство по настройке сервера Uber Freenas здесь.

-EDIT АВГУСТ 2012

Я нашел этот пост, в котором есть раздел о том, как взломать BIOS и разрешить этому дополнительному порту CD-ROM работать на 1,5 ГБ SATA! - ДА! Я сделал это и работает хорошо.

-EDIT OCT 2017

С тех пор у нас были микросерверы Gen9 и Gen10 - я все еще использую оригинальную конфигурацию со времени этого поста... да... все еще сильная и довольная этим.

Возможно, настало время инвестировать в новый MicroServer и получить 4 накопителя емкостью 3 ТБ с использованием ZFS RaidZ-2 (всего 2 резервных накопителя с использованием 4 накопителей). В настоящее время используется только RaidZ-1, который не полностью оптимизирован для 4 накопителей, но имеет было хорошо для меня более 5 лет:D

Что ж, если вы серьезно относитесь к сохранению ваших данных, я бы посоветовал вам создать два NAS- устройства из недорогих компьютерных комплектующих. Аппаратное обеспечение не должно быть самым передовым, просто способным обращаться к дискам SATA Terrabyte. Вы можете использовать одну из многих версий UNIX/Linux или старую версию Windows в качестве операционной системы. Затем загрузите ваши DVD и файлы на диск в это устройство, а затем скопируйте его на другое устройство. Вам нужно будет синхронизировать две системы друг с другом один раз в день, неделю или месяц, в зависимости от вашего уровня паранойи.

Это лучше, чем ленты или Blu-ray, так как данные легко доступны, и у вас будет две копии. Время от времени вам нужно будет сканировать жесткие диски NAS и решить, нужно ли их заменять, если аппаратное обеспечение выходит из строя.

Об этом уже было сказано пару раз: на самом деле ничего не существует, если оно не в трех экземплярах в двух разных форматах и ​​одна из них должна быть удалена.

Таким образом, вы можете быть уверены, что у вас будет хотя бы одна читаемая копия. Не полагайтесь на аппаратные NAS и т. Д., Если у них есть проприетарное программное обеспечение (большинство из них). Когда происходит сбой оборудования, вы, вероятно, больше не найдете аппаратную часть той же модели...

Я предлагаю вам пойти с простыми USB-дисками, но несколько из них. Возьмите копию с собой на работу и будьте защищены от кражи или пожара дома (не все яйца в одной корзине). Если параноик, возьмите двойные копии с сайта.

Пусть диски раскручиваются и проверяют их каждые три-шесть месяцев. Вы хотите знать, если они перестают работать. Обычно диски плохо предупреждают, прежде чем они испортятся. SMART действительно не очень хорошо работает.

Я бы также предложил использовать md5sum или другую программу, которая может вычислять контрольные суммы для каждого имеющегося у вас файла. Проверяйте эти хэш-суммы время от времени. Если файл был поврежден, контрольные суммы не будут совпадать. Тогда вы знаете и можете действовать соответственно. Без контрольных сумм файлы будут повреждены без вашего ведома. Вы думаете, что файлы в порядке, но это не так.

Если вы действительно параноик, не полагайтесь только на NTFS, FAT32, HFS+ или другой формат файловой системы. Используйте несколько. Кто знает, может быть, у вас больше не будет ПК с Windows, когда вы захотите найти старые файлы в будущем. В этом случае вам также следует подумать о том, чтобы ваши фильмы были в нескольких форматах.

Резервирование, резервирование, резервирование и обнаружение ошибок!

Я много раз повторял одну и ту же идею о том, что делать, и конечные результаты всегда одинаковы.

CD-R никогда не подводили меня с течением времени, хороший компакт-диск, даже плохой, данные в основном там через века. Низкая плотность. Диски DVD-R, хотя и не очень, даже очень хорошо записывают, плотность данных высока, и из-за этого вероятность их сбоя выше. менее качественный оптический носитель - это пластик (как), и все пластмассы становятся более хрупкими, и любой материал, с которым они соединяются, в конечном итоге терпит крах. Даже высококачественные оптические приборы начинают проявлять признаки расслаивания через много времени.,,, Компакт-диск будет тянуть его, но это чертовски мало, а DVD - пикать (вовремя), для меня это не вариант. Подумайте о том, чтобы поместить ваши самые ценные снимки в 2X на компакт-диски очень хорошего качества с очень медленной записью. они будут длиться дольше, чем ваши отпечатки InkJet:-)

Blu-ray-R, сгоревшие blu-ray:-) Мне даже не приходится констатировать, плотность данных намного выше, в некоторых магазинах, купленных Blu-ray "Glass master", произошли сбои за короткое время их существования. просто один отпечаток пальца. Сгорели, многие пользователи обнаружили, что их ожоги Blu-Ray, вообще не в последний раз, не говоря уже о 10 лет.

Лента, у которой есть много ленты, правильно хранится, материал действительно хорош в течение 10-20 лет. Если кто-нибудь захочет показать мне, где я могу получить блок ленты Frilling, для которого были предназначены эти ленты, я мог бы даже получить доступ к их данным, предполагая, что он использовал те же шаблоны чтения, что и 15 лет назад. Изменения ленты, изменение размера ленты и ленточных машин. Носители, которые я на нем хранил, не делали:-) Если бы я продолжал кропотливо перемещать эти данные во все, что было бы полезно, сейчас они так же полезны, как запись в проводном режиме:-)

Облако? Не вариант для меня. в то время как они будут лишними мои избыточные. Это не данные Тира, заставьте их позаботиться:-) Часто вы также соглашаетесь с тем, что у них теперь есть данные, и насколько вы согласны, что у них есть ваши данные, они могут владеть ими. Сегодня мои данные есть, завтра их кто-то выкупит или неработающая ссылка:-) Просто следить за изменениями в ТУ будет сложнее, чем передавать их самому. Добавьте ограничения пропускной способности, количество данных и отсутствие скорости. не произойдет для меня.

Жесткий диск.

1) Ничто не вечно, если я должен продолжать возиться с этим, чтобы поддерживать его, и я не плачу себе на час:-), чтобы иметь дело с этим. Тогда было бы неплохо, если бы он двигался со скоростью 50 МБ / с вместо 3.

2) Рабочий диск Мне самому очень повезло с жесткими дисками, что еще было немного точным из-за большого количества передачи, количества и использования. До тех пор, пока он не раскручивается в течение 4 лет или плохо лечится.

3) При хранении накопителя у меня не было никаких проблем. Правильно храните накопители так же, как на ленте и других носителях. Я могу разбудить его после 10 лет парковки, и он не действует иначе.

Но люди, которые хранят больше дисков, чем я, и могут хранить их неправильно, могут получить жесткую блокировку двигателей. Мотор не будет крутиться от парковки так долго. Влажность и окисление могут быть большими факторами. Скажем, человек, живший в тропическом лесу рядом с соленым океаном, диск не на 100% запечатан. Незначительное осушение, или серьезное уплотнение с кремнеземом и даже для удаления O2, помогло бы. Следует учитывать влажность, дорожные пленки, дым, кухонную смазку и все остальное, что может просочиться в крошечные отверстия.

У меня больше всего удачи, скорости, совместимости и времени с жестким диском, хотя другие вещи не сработали. у него есть свой встроенный ридер:-) . Это просто вопрос наличия (как минимум) 2.

Моя theroy 2 HD: (который не работал для 2dvds)

A) один рабочий, который остается в системе, имеет срок жизни 3-4 года, подвергается мониторингу, подвержен возможному вирусу, "известно", что его наблюдают и используют, мотор не может заблокироваться, но он может расколоться время. Поддерживается, обновляется, я знаю, если начинает выходить из строя. Я могу только надеяться, что это не терпит неудачу, потому что они делают. Я стараюсь не дать им гнить на корню.

Б) Один в коробке, Тот, который большую часть времени вращается, Он не страдает ни от времени раскрутки, ни от износа, но он также не припаркован в течение многих лет. Этот второй жесткий диск можно вынуть из хранилища, немного обновить, развернуть, чтобы он не блокировался, и проверить, как он работает. Будь то какая-нибудь удобная внешняя коробка или очень хорошо хранившаяся повторно в статическом пакете с адсорберами, на более длительные сроки.

Время от времени, будь то 1 неделя или 1 год, рабочий диск и накопитель можно обновлять / синхронизировать.

Это просто оставляет C) хранение его любым другим способом. И только небольшие части моей системы имеют такую ​​ценность.

Это мой план до сих пор, и без какого-либо плана (до) это было то, что сработало, когда другие терпели неудачу. Если бы мои другие данные были SOOO ценными на других носителях, я бы использовал для них больше методов и продолжал бы их менять.

Каким бы ни был метод, единственное, что верно во всех случаях, если вы любите его, это будет труд любви, чтобы сохранить его навсегда. Когда они выйдут с хранилищем Crystal Media, убедитесь, что вы тоже скопировали на них копию:-)

Помимо вопроса о физических носителях данных, существует целый ряд исследований о том, какие цифровые форматы предпочтительны для длительного и длительного хранения. Хорошим местом для начала является страница "Устойчивость цифровых форматов" Библиотеки Конгресса США.

Вы также можете пересмотреть мышление, лежащее в основе технологий Archivematica.

Мне не нужно много добавлять к тому, что уже было сказано. Одно, хотя - я бы не испортил ваши оптические диски, если бы вам не пришлось; Я бы положил их в коробку и положил в шкаф или еще что-нибудь. В конце концов, это уже форма резервного копирования, и если вы делаете копии с нее, то, пока с ними что-то не получится, они станут хорошим резервным копированием. Единственные оптические диски, которые у меня были испорчены, были, когда я использовал для них ярлыки. По какой-то причине этикетки, казалось, облажались.

Лично я предпочитаю несколько жестких дисков для резервного копирования. Они быстрые, простые и надежные (при условии, что у вас более одной копии). Я не люблю ленты для личного пользования. Компании используют ленты, потому что они часто хранят несколько поколений всех своих резервных копий в надежном хранилище, и довольно сложно разместить в нем много жестких дисков. Но для личного использования я обнаружил, что ленты доставляют много хлопот и не всегда надежны.

Я бы посоветовал хранить действительно важные, незаменимые вещи на флэш-накопителях USB и / или оптических устройствах. Я имею в виду такие вещи, как фотографии, а не музыка или видео (если это не заменимо).

Этот вопрос требует мнений, поэтому мое мнение состоит в том, что нужно постоянно использовать лучшие, самые быстрые из доступных носителей, делать несколько резервных копий и продолжать обновлять хранилище по мере необходимости. Каждый носитель, включая каменную табличку, может быть внезапно поврежден или уничтожен.

Серьезно, рассмотрите бумагу для действительно критических вещей. Учтите, что недорогой лазерный принтер может печатать с разрешением 1200 DPI, а недорогие сканеры могут сканировать с разрешением в 2-4 раза выше. Если вы уменьшите разрешение до 600x600 для обеспечения надежности, вы можете положить около 2,8 МБ на лист бумаги (с существенными полями).

Используйте высококачественную бескислотную бумагу и лазерную (по сравнению со струйной) печать, и носитель пригоден для использования в течение 200 лет, если при хранении соблюдать осторожность.

А извлечение данных настолько просто, что можно написать программу сканера с нуля, если оригинал каким-то образом потерян. Пока есть компьютеры и сканеры / цифровые камеры, данные будут доступны.

Я рекомендую поместить все данные на жесткий диск, а затем снова скопировать его с помощью облачного программного обеспечения. Моей личной рекомендацией будет CrashPlan, потому что это то, что я использую дома, это доступно, позволяет создавать резервные копии любого файла, где угодно, и даже позволяет выполнять резервное копирование на локальный носитель. Он периодически проверяет целостность вашей резервной копии и имеет ряд других полезных функций. Вы можете настроить его с помощью локального ключа шифрования, поэтому даже если CrashPlan получил (и выполнил) повестку в суд, никто не сможет прочитать ваши данные. У меня есть почти 3 ТБ резервной копии с ними, и до сих пор любил платить 5 долларов в месяц за эту довольно хорошую услугу. Я никоим образом не выигрываю от "продажи" их здесь, я просто очень довольный клиент. Может быть, вы должны взглянуть на их службу.

На это трудно ответить, потому что это зависит от того, насколько важны ваши данные для вас и сколько вы готовы потратить. Я расскажу вам мои настройки, которые у меня хорошо работают.

Первое, что я хотел бы сделать, это получить NAS. В настоящее время у меня есть NAS-устройство Synology, и программное обеспечение отлично на нем работает. С помощью имеющегося там программного обеспечения вы можете выполнять резервное копирование на другие устройства.

Во-вторых, вы можете хранить данные онлайн в облаке. Вы должны быть осторожны с тем, что вы храните, хотя. Лично я храню только то, что хочу сохранить, но не слишком личное. Проблема с этим тоже, скорость загрузки. У меня ушло около 30 дней, чтобы загрузить около 230 ГБ. Вы всегда можете отправить им жесткий диск для загрузки ваших данных, хотя за определенную плату. В настоящее время я использую Crashplan, который довольно дешев и именно то, что мне нужно.

В-третьих, как указывалось ранее, вы можете получить NAS-устройство Synology и подключить внешнее устройство к некоторым моделям, которые они продают. Это действительно не имеет значения, если вы не заберете этот жесткий диск с сайта, скажем, в сейф. Может быть, сделайте резервную копию данных за месяцы и просто продолжайте отключать жесткие диски где-нибудь за пределами сайта.

Что касается моей текущей настройки, у меня есть NAS-устройство Synology с установленным там краш-планом, и оно автоматически выполняет резервное копирование данных с папками, выбранными для краш-плана. Это идеальная установка для меня, но это может быть дорогостоящим. Сам NAS является RAID 5, обеспечивая избыточность.

Я заплатил около 1200 долларов за NAS и жесткие диски. Но это дешево по сравнению с попыткой восстановить данные. Я считаю, что CD /DVD являются ненадежными и не должны использоваться для долгосрочного резервного копирования. Флешка, вероятно, будет лучше, чем CD или DVD.

Если вы делаете все это, вы должны быть в порядке в случае аппаратного сбоя или какого-либо стихийного бедствия, например пожара.

Что ж, Google использует ленту для резервного копирования данных (как и другие), поэтому я думаю, что это безопасная ставка.

Я храню свои файлы на HD и в облаке. В настоящее время я использую Google Docs, потому что он дешевле, чем Amazon и DropBox.