Описание тега amazon-emr
0
ответов
Как читать большие zip-файлы в pyspark
У меня есть n файлов.zip на s3, которые я хочу обработать и извлечь из них некоторые данные. ZIP-файлы содержат один JSON-файл. В spar мы можем читать файлы.gz, но я не нашел способа прочитать данные в файлах.zip. Может кто-нибудь, пожалуйста, помог…
28 мар '19 в 12:37
0
ответов
Чтение данных с красного смещения Amazon в Spark 2.4
Мы использовали для чтения данных в Spark 2.3, используя блоки данных со следующей инициализацией сегмента кода Spark-Shell: spark-shell --jars RedshiftJDBC42-1.2.10.1009.jar --packages com.databricks:spark-redshift_2.11:3.0.0-preview1,com.databrick…
17 апр '19 в 21:31
0
ответов
Как добавить том EBS по идентификатору моментального снимка в Amazon EMR
У нас есть большой объем данных на томе EBS. Я знаком с прикреплением тома к новому EC2 кластер. Но как это сделать для EMR? Вот диалог Add Storage: обратите внимание, что нет записей для указания EBS Snapshot ID:
25 фев '19 в 21:20
0
ответов
EMR: завершено с ошибками Bootstrap fail
Я просто пытаюсь создать кластер с предустановленным набором hadoop, hive и spark на emr-5.23.0. До сегодняшнего утра все работало нормально, и внезапно он начал работать с ошибкой, описанной ниже, и кластер завершал работу: Завершалось с ошибками. …
16 апр '19 в 21:10
1
ответ
Невозможно подключиться к кластеру Amazon EMR с помощью PuTTY.
Я создал кластер EMR со стандартной конфигурацией. Затем я разрешил входящий трафик SSH через порт 22 для соответствующей группы безопасности. Я добавил следующие правила: Затем я последовал инструкциям: Но я получаю ошибку: Сервер отказался от наше…
11 апр '21 в 07:06