Перемещение снимков EBS в Glacier
У меня есть сотни больших снимков EBS, которые мне нужно перенести на Glacier.
Каков наилучший способ сделать это?
6 ответов
Хотя Amazon EBS действительно предоставляет возможность создавать моментальные снимки томов на определенный момент времени, которые сохраняются в Amazon S3, эта операция находится вне вашего контроля и полностью выполняется EC2, см. Соответствующий FAQ. Смогу ли я получить доступ к своим снимкам используя обычные API Amazon S3?:
Нет, снимки доступны только через API Amazon EC2.
Следовательно, вы не сможете переместить эти недоступные моментальные снимки из резервного хранилища Amazon S3 в Amazon Glacier, и это будет возможно только в том случае, если AWS предоставит функциональность непосредственно в будущем, например, по аналогии с недавно включенным архивированием. [из] Amazon S3 Data для Amazon Glacier с помощью управления жизненным циклом объектов.
Снимки EBS нельзя перемещать в Glacier, и нет смысла хранить их там. Поскольку моментальные снимки EBS являются инкрементными, каждый моментальный снимок обычно указывает на данные, сохраненные во многих предыдущих снимках. Поскольку извлечение объектов из Glacier занимает очень много времени, даже если бы было возможно переместить моментальные снимки EBS в Glacier, восстановление данных, содержащихся в моментальных снимках из Glacier, было бы практически непригодным сценарием. Архивирование Glacier лучше работает с файлами: скопируйте или сделайте резервную копию необходимых файлов на Glaciers, чтобы вы могли получить их позже.
Amazon только что выпустил (ноябрь 2021 г.) новую функцию, имеющую отношение к этой проблеме: Архив снимков Amazon EBS.
https://aws.amazon.com/blogs/aws/new-amazon-ebs-snapshots-archive/
Архив моментальных снимков EBS предоставляет недорогой уровень хранения для архивирования полных копий моментальных снимков EBS на определенный момент времени, которые вы должны хранить в течение 90 или более дней по соображениям соответствия нормативным требованиям или для будущих выпусков проекта. Теперь вы можете легко архивировать снимки EBS и управлять ими, тем самым устраняя необходимость в пользовательских сценариях и сторонних инструментах для управления этими снимками. Это позволяет вам перемещать редко используемые снимки в архив снимков EBS, чтобы снизить затраты на хранение до 75 % и избежать затрат на лицензирование сторонних инструментов. Кроме того, вы можете получить архивный снимок в течение 24–72 часов, а после восстановления использовать его для восстановления тома EBS.
У Amazon нет функции для этого. Однако, если вы не возражаете против того, чтобы экономить пространство, которое дает вам инкрементная природа снимков, вы можете превратить ваш снимок во временный том EBS, скопировать содержимое и загрузить этот tar на S3, где это может быть автоматически переносится в Glacier с использованием правил жизненного цикла корзины S3.
Я разработал инструмент с открытым исходным кодом, который автоматизирует этот процесс для вас, под названием snap-to-s3
:
https://github.com/thenickdude/snap-to-s3
Вы можете использовать dd
вместо tar
вместо этого, чтобы сохранить каждый байт тома, если хотите.
It seems the only way is to manually generate a file from the volume snapshot and push that to Glacier.
There is a similar question on the AWS forums from a while ago, still unanswered beyond the initial:
Спасибо за ваш отзыв! Currently this functionality is not available via the AWS console. However, we do recognize the value of this type of integration and are evaluating its inclusion in a future release.
Ничто не мешает вам связаться с Amazon и спросить их, перенесут ли ваши снимки в Glacier. Вы рискуете оказаться не в состоянии быстро получить к ним доступ, если вдруг обнаружите, что они вам нужны, но, поскольку вы не можете получить прямой доступ к S3 Bucket, в котором они живут, вы можете отправить запрос на их выполнение. это для тебя.