Параллельно GNU: пересылать все stdin всем процессам
Я пытаюсь обрабатывать ввод разными способами параллельно, записывая получающиеся строки по мере их поступления. Мой текущий подход заключается в следующем:
# process_parallel.sh
read input
parallel --colsep ' ' --linebuffer 'echo $input | {}' \
::: 'python process1.py' ./process2.sh ./process3
Контекст сводится к чему-то вроде этого:
(sleep 1; echo "short input arriving late") | ./process_parallel.sh | ./collate_results.sh
Вышеописанное работает, но имеет один важный недостаток: процессы не запускаются, пока ввод не будет прочитан. Я хочу запустить их немедленно, так как это может занять некоторое время, а затем подключить параллельный канал к каждому из них.
Как мне этого добиться?
2 ответа
В GNU Parallel было проделано немало работы, чтобы не запускать новое задание, если нет данных для запуска. Это связано с тем, что некоторые программы терпят неудачу, если они не получают никакого ввода. Таким образом, вы будете работать против дизайна GNU Parallel.
Для дублирования ввода вы можете использовать tee и процесс замены:
cat namedpipe_or_file | tee >(process1) >(process2) >(process3) >/dev/null
Начнется process1, process2, а также process3 немедленно. Вывод может, однако, быть смешанным, поэтому, если вывод должен использоваться, вы должны перенаправить его в другие файлы:
cat namedpipe_or_file | tee >(process1 > out1) >(process2 > out2) >(process3 > out3) >/dev/null
Имейте два скрипта-обертки: во-первых, измените process_parallel.sh так, чтобы каждый из процессов получил инструкцию прочитать свои входные данные из трех файлов, например, file1, file2, file3.
Теперь напишите второй скрипт-обертку, который параллельно отправляет свой стандартный ввод в три файла, что-то вроде:
#!/bins/bash
#parallelise input
# let's call this file parallelise
parallel -j 3 -- "echo $1 > file1" "echo $1 > file2" "echo $1 file3"
Теперь вы начинаете свои вещи с:
./process_parallel_sh; cat InputFile | parallelise;