Время поиска данных - Amazon Glacier

Почему это так долго? Потому что так все устроено.

Amazon Glacier специально разработан как недорогая служба хранения с низким доступом для "архивирования данных и долгосрочного резервного копирования". Если вам нужен регулярный немедленный доступ к вашим данным, вам нужно что-то вроде Amazon S3, который является более дорогой услугой хранения с мгновенным доступом.

Также обратите внимание, что он называется "Ледник", и ледники не известны своей быстротой.

Я подозреваю, что они используют ленточные накопители или что-то подобное, но я не могу комментировать конкретные технические аспекты и не могу найти эту информацию на веб-страницах Amazon.

Я нашел это на странице Glacier Wiki:

ZDNet сообщает, что, согласно частной электронной почте, Glacier работает на "недорогих аппаратных компонентах". В 2012 году ZDNet процитировал слова бывшего сотрудника Amazon о том, что Glacier основан на пользовательских жестких дисках с низким числом оборотов в минуту, подключенных к пользовательским логическим платам, где только один процент дисков стойки может вращаться на полной скорости в любой момент времени. (Подобная технология также используется в Facebook.)

Среди пользователей существует определенное мнение, что базовое оборудование, используемое для хранилища Glacier, основано на ленте, поскольку Amazon позиционирует Glacier как прямого конкурента служб резервного копирования на ленту (как локальных, так и облачных). Эта путаница усугубляется тем фактом, что в Glacier имеются задержки при извлечении из архива (за 3–5 часов до того, как архивы станут доступны), сходные с таковыми в ленточных системах, и модель ценообразования, которая препятствует частому извлечению данных.

Регистр утверждал, что Glacier работает на ленточных библиотеках Spectra T-Finity с лентами LTO-6. Другие предполагают, что Amazon использует автономные жесткие диски с магнитной записью, многослойные оптические диски Blu-ray или альтернативную запатентованную технологию хранения.

Amazon Glacier состоит из 2 этапов: поиск и загрузка. Он был создан для длительного хранения, которое не требует частого поиска; такие как облачные резервные копии. Запрос на получение обычно занимает 3 - 5 часов, а затем данные помещаются в промежуточную область, чтобы клиент мог их загрузить. Полученные данные размещаются в течение 24 часов, поэтому важно загрузить данные в течение этого периода. Время загрузки зависит от вашей пропускной способности. Причиной такого длительного времени является то, что Amazon оценивает Glacier ниже, чем другие варианты хранения, которые предназначены для более частого доступа к данным.

Однако в Glacier доступны разные типы поиска данных. При необходимости, они имеют ускоренный поиск, что делает данные доступными гораздо быстрее, всего за 1-5 минут. Этот тип дороже, чем стандартный поиск данных Glacier. У AWS есть часто задаваемые вопросы с дополнительной информацией о различных типах поиска: https://aws.amazon.com/glacier/faqs/.