Подходит ли Amazon Glacier для архивирования цифрового мультимедийного контента?
Справочная информация: команда по производству контента снимает и записывает контент в форматах цифрового медиа. Это может быть смесь необработанных видеороликов, конвертированных видео и изображений.
Этот контент хранится в общей папке (Linux Samba). Это хранилище объемом 21 ТБ, которое используется почти полностью. Я бы предпочел, чтобы команда разработчиков контента реорганизовала и очистила данные. Не обращая внимания на необходимость дисциплины, меня просят просто архивировать. Это имеет смысл - с годами, дисковое пространство будет тонким, независимо от того, сколько дисциплины поддерживается.
Мы провели архивирование с использованием накопителей на магнитной ленте под старшим руководством. Новое руководство прекратило этот процесс. Они рекомендовали архивировать старый контент на Amazon Glacier.
Теперь размер контента в архиве может составлять около 2 ТБ. Там может быть необходимо вытащить старый контент. Как часто?- Это мы не знаем, как сейчас.
Независимо от того, какую пропускную способность может предложить Amazon, провод, который я имею, может работать со скоростью до 40 Мбит / с. Более того, меня просят ограничить скорость одним способом, чтобы другие пользователи в одном и том же подключении к Интернету не влияли на передачу.
Какие соображения я должен принять во внимание, чтобы прийти к пониманию того, соответствует ли Glacier требованиям такой задачи.
Кроме того, есть ли инструмент командной строки BASH, который может отправить 2 архива Tb+ в хранилище Glacier?
2 ответа
Glacier разработан и оценен для данных, которые, как вы ожидаете, вам не понадобятся.
Glacier разработан с расчетом на то, что поиск будет редким и необычным, и данные будут храниться в течение длительных периодов времени.
В настоящий момент у меня там хранится несколько десятков терабайт, и я настоятельно рекомендую это - где это уместно - поэтому мои наблюдения не следует воспринимать как негативные, а лишь подчеркивая то, что вы должны быть уверены, что понимаете продукт и его предназначение приложение.
Родной интерфейс Glacier очень низкого уровня. Он ведет себя как резервная лента или большой тарбол. Вы помещаете "архив" в "хранилище", и это своего рода черный ящик. Вы должны вести записи о том, что вы поместили в каждый архив, потому что Glacier не может вам сказать, так же, как физически не может посмотреть на резервную ленту.
Альтернативный - и я бы сказал - гораздо лучший способ использования Glacier - через S3. Загрузите ваши файлы в корзину S3 и установите политику жизненного цикла корзины, чтобы архивировать файлы в Glacier через несколько дней. В этой модели S3 скрывает сложность необработанного API Glacier, а отдельные файлы и их метаданные остаются видимыми через консоль S3 и API. Стоимость такая же.
Поймите, однако, что с Glacier (через S3 или нет) вы платите за восстановление более чем небольшого количества данных за один раз.
Сократите числа, и вы обнаружите, что бесплатное пособие на восстановление потенциально дорого, пока у вас не будет сохранено много данных.
Скажем, у меня хранится 180 ТБ /180000 ГБ. Я могу восстановить только 50 ГБ в любом 4-часовом окне, если я не хочу платить дополнительные сборы за поиск данных.
180000 × 0.05 ÷ 30 ÷ 6 = 50
180000 ГБ, 5% ежемесячного пособия, 30 дней / нет, 6 периодов по 4 часа в день. Это прекрасно работает для меня, так как мои файлы обычно < 20 ГБ, и очень редко они мне нужны. Когда я это делаю, это обычно для исследований, которые не являются неотложными, чтобы я мог распространить восстановление. При меньшем общем объеме памяти, скажем, 18 ТБ, мое бесплатное пособие на восстановление будет составлять 5 ГБ каждые 4 часа. Итак, как я уже сказал, тщательно продумайте модель восстановления цены.
Возможно, лучше подойдет сравнительно новый класс хранения "Нечастый доступ", предлагаемый S3. $0,0125/ ГБ / мес все еще довольно разумны, и, хотя за загрузку взимается $ 0,01/ ГБ, нет резкого увеличения стоимости, если вам нужно восстановить много данных, и нет 4-часового времени ожидания, как для Glacier восстанавливает.
Я бы начал с этого в первую очередь, чтобы получить оценку того, какова будет ваша цена. Базовая ставка составляет 0,007 долл. США / гб / месяц без учета комиссии за перевод.
Затем посмотрите, как вы получаете свои данные от Glacier. Запросы на работу могут занять несколько часов, а затем данные доступны только в течение определенного времени.
Вот то, что я нашел, когда искал "ледниковый удар данных".
Пример скрипта для загрузки в Glacier/S3
Я использую S3 для резервного копирования моего клиента (более 100). Я посмотрел на ледник, так как он был дешевле, но время для поиска данных мне не удавалось. Если на одном из моих сайтов есть проблема, и мне нужно получить файл с S3, он мне нужен сейчас, а не через 4 часа.