Описание тега hadoop
Hadoop - это программная среда с открытым исходным кодом для распределенного хранения и распределенной обработки очень больших наборов данных на компьютерных кластерах, построенных из стандартного оборудования.
0
ответов
Команда spark-shell выдает ошибку
Я пытаюсь бежать spark-shell в CMD, но я получаю эту ошибку: Нет такого файла или класса на пути к классам: REPL Я установил переменные пути для java_home, Spark_home но не в состоянии запустить искру. Как я могу это исправить?
18 апр '19 в 08:00
0
ответов
Почему HttpServer2 пытается использовать порт 50070 в Hadoop?
Я запускаю Hadoop, используя hadoop namenode -format start-all.sh на сервере namenode (CentOS 7) и затем запустите jps Проверять сервисы доступны или нет, но ресурсов нет. Я проверяю hadoop-hadoop-namenode-namenode1.log, как показано ниже. $ **cat h…
29 мар '19 в 07:25
1
ответ
Удаление Hadoop: я должен удалить пакеты linux-image?
Я удалил Hadoop из моей машины через apt-get remove --purge hadoopВ выводе я вижу следующие пакеты не были удалены: The following packages were automatically installed and are no longer required: avro-libs bigtop-jsvc bigtop-utils libjline-java libl…
11 янв '15 в 15:11
0
ответов
Попытка установить Metron с помощью Vagrant 2.2.4. Получение следующего сообщения об ошибке vagrant up. Перепробовал много VB патчей. Нужна подходящая версия VB для разрешения
Гостевой компьютер вошел в недопустимое состояние во время ожидания загрузки. Допустимые состояния "запускаются, работают". Машина находится в состоянии "гурумедитация". Пожалуйста, убедитесь, что все настроено правильно и попробуйте снова. Если у п…
23 май '19 в 05:21
1
ответ
SSH: подключение к локальному порту хоста 22: соединение отказано в Windows 10
Заранее спасибо за ответы! Я пытался создать многоузловой кластер с помощью hadoop, но мои товарищи не могут подключиться к серверу по ssh. У меня есть hadoop работает, и демоны запущены, но когда я пытаюсь выполнить команду ssh localhost это дает м…
12 дек '18 в 13:56
0
ответов
Использование sqoop для подключения с одного сервера на другой
Мы используем: sqoop.Sqoop: Запуск версии Sqoop: 1.4.6.2.6.5.19-1 в системе Linux в соответствии с Hadoop. и Linux VERSION="7.4 Я пытаюсь подключиться между двумя серверами автоматически (без использования пароля). Автоматическое соединение с исполь…
19 дек '18 в 18:43
0
ответов
Почему выполнение запроса impala заканчивается до того, как журнал покажет 100% завершения?
Я запускаю запрос на изображении ниже: Перед тем, как журнал показал "100% завершено (128 из 128)", выполнение запроса остановилось и показало, что он "вставил 803974 строки". Как вы можете видеть, он остановился, когда журнал показывает "74% заверш…
02 май '19 в 11:23
1
ответ
Проверьте статус Oozie в UNIX
Утилита Hadoop Admin Создана базовая утилита администрирования hadoop, которая проверяет состояние dfs и состояние oozie. Проверка статуса В моей вышеупомянутой утилите я использую следующую команду: bin/oozie admin -oozie http://localhost:11000/ooz…
09 май '13 в 11:10
0
ответов
Не удалось установить разрешения пути: ..\taskTracker\cyg_server в 0700
При выполнении задания в Cygwin в кластере Hadoop разрешение не удалось. $ bin/hadoop jar hadoop-examples-*.jar wordcount inputwords outputwords2 Patch for HADOOP-7682: Instantiating workaround file system 13/09/19 16:37:39 INFO input.FileInputForma…
17 сен '13 в 07:39
1
ответ
ОШИБКА: Невозможно получить мастер-адрес от зоопарка; данные znode == ноль
Я имею two linux машина одна master machine(192.168.8.174) и еще один slave1 machine(192.168.8.173), Я установил и настроил Hadoop 2.6.0 в полностью распределенном режиме успешно. Выход Hadoop также идет отлично. Я установил и настроил HBase 1.0.я и…
21 мар '15 в 02:04
2
ответа
Пользуется ли Hadoop только одним диском?
Если я использую настройки одного узла с Hadoop где он имеет только один диск, я могу легко использовать его для Hadoop и прочее, но будет ли какая-то польза от использования Hadoop в этом случае по другой парадигме (обработка в Python без использов…
23 май '15 в 18:47
2
ответа
Откройте eclipse с пользователем Linux, у которого нет графического окружения (созданного из консоли)
Я создал пользователя из консоли в моем Ubuntu Destkop 14.04 LTS, выполнив это: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Я использовал этого пользователя для всякого рода вещей, потому что я использую его для выполнения каких-то про…
23 май '15 в 18:28
0
ответов
Просмотреть все ТЕКУЩИЕ параметры для установки hadoop?
Я унаследовал установку hadoop и хотел бы запросить все параметры использования и параметры конфигурации. Я просеиваю через conf каталог и это помогает, но это старая установка (1.1.1), и я хочу указать, какие параметры есть, даже если их нет в спис…
09 фев '15 в 14:11
2
ответа
7Zip Невозможно создать символическую ссылку, доступ запрещен для libhdfs.so и libhadoop.so
Я работаю на Windows 10 и пытаюсь установить Hadoop Я скачал это отсюда. При попытке извлечь Hadoop для файлов (libhdfs.so а также libhadoop.so) Я получаю ошибку. Cannot create symbolic link : Access is denied Как это исправить?
13 май '16 в 12:34
0
ответов
Кластер EMR: интерактивный режим Hue 4.3 не работает должным образом
У меня проблема. Я пытаюсь выполнить простой сценарий Pig с использованием Hue, например: X = LOAD 'book01.txt'; DUMP X; но есть некоторые ошибки в выводе, я не знаю, как это исправить (я новичок в aws / hadoop). Есть несколько скриншотов с этой оши…
28 май '19 в 17:21
0
ответов
Несколько конфигурационных групп Kerberos - это Ambari
Я пытаюсь создать другую группу конфигурации для Kerberos Service в Ambari. Мне удалось создать новую группу конфигурации, но я не могу сохранить какие-либо изменения в новой группе конфигурации. Кнопка сохранения просто выделена серым цветом. У мен…
06 дек '18 в 13:53
0
ответов
org.apache.hadoop.hive.ql.exec.StatsTask. org.apache.hadoop.fs.FileStatus.compareTo(Lorg/ Apache/ Hadoop/ фс /FileStatus;) Я
Я использую Hive-Hadoop. Когда я выполняю операцию обновления в Hive, процесс проходит успешно, но когда задание заканчивается, оно завершается с этим сообщением: СБОЙ: Ошибка выполнения, код возврата -101 из org.apache.hadoop.hive.ql.exec.StatsTask…
25 апр '19 в 14:56
1
ответ
Измените LD_LIBRARY_PATH и CLASSPATH на узле кластера перед запуском задания hadoop
Мне нужно установить LD_LIBRARY_PATH и CLASSPATH, прежде чем запускать работу кластера. В LD_LIBRARY_PATH мне нужно добавить местоположение некоторых jar-файлов, которые требуются при выполнении задания, так как эти jar-файлы доступны в моем кластер…
30 ноя '12 в 17:24
0
ответов
Доступные посылки не отображаются в менеджере Cloudera
Я пытаюсь установить Кафку в свой кластер. У меня есть путь в конфигурации посылок, но он не отображается в списке доступных для загрузки и распространения.
28 янв '19 в 15:38
0
ответов
Как автоматически отключить менеджер данных Haddop, namenode, менеджер ресурсов
Я новичок в Haddop и только начал учиться. Я следовал инструкциям по загрузке и настройке core-site, hdfs-site, mapred-site, отформатируйте namenode и затем в конце концов запустите используя start-all.cmd, Но кроме моего менеджера узлов все остальн…
22 апр '19 в 16:25