Как добавить том EBS по идентификатору моментального снимка в Amazon EMR
У нас есть большой объем данных на томе EBS. Я знаком с прикреплением тома к новому EC2 кластер.
Но как это сделать для EMR? Вот диалог Add Storage: обратите внимание, что нет записей для указания EBS Snapshot ID:
0 ответов
Консоль EMR не дает вам возможности сделать то же самое.
У нас также было требование, чтобы мы хотели предоставить 70 ГБ данных через тома EBS.
Решение состоит в том, чтобы подключить том к базовым экземплярам EC2.
За это
Шаг 1: Выберите EMR и перейдите на вкладку Hardware
Шаг 2: Перейдите в группу экземпляров, в нашем случае CORE, потому что мы хотели, чтобы данные были доступны на рабочих узлах.
Шаг 3: Скопируйте идентификатор экземпляра EC2, куда вы хотите смонтировать том.
Шаг 4: Перейдите в консоль EC2 и выберите Тома в левом меню навигации. Выберите том, который хотите смонтировать, а затем в раскрывающемся списке "Действия" выберите "Добавить том". вставьте идентификатор экземпляра EC2 и готово.
Этот том EBS, скорее всего, будет доступен как /dev/sdf в экземпляре EC2, который вы затем монтируете в любом каталоге, используя ssh для этого экземпляра.
Теперь вопрос в том, что
если вы хотите поделиться этими данными во всех участвующих основных узлах, то вам нужно создать отдельный том для каждого узла и затем присоединить его.
Или же вы можете создать EFS (Elastic File System) и затем смонтировать его во всех основных узлах, используя утилиту nfs ( https://docs.aws.amazon.com/efs/latest/ug/wt1-test.html)
Е.И.В.