Как скопировать файлы из Windows в Linux HDFS напрямую
Я пытаюсь скопировать большое количество файлов в Hadoop HIVE. Прямо сейчас я делаю это с помощью двухшаговых скриптов.
Шаг 1: Сценарии Powershell, копирующие файлы из Windows в Linux с помощью инструмента Putty scp.
Шаг 2: Сценарии Bash, копирующие файлы из Linux в HDFS с помощью команды put Hadoop.
Есть ли способ сделать это через один шаг?
1 ответ
Я выяснил одно решение. Я подключил общий ресурс Windows к коробке Linux, чтобы можно было рассматривать общий доступ к папке как локальный путь Linux, а затем скопировал файлы непосредственно с этого пути в папку HDFS.