Описание тега gnu-parallel
GNU Parallel - это инструмент командной строки, который позволяет запускать несколько команд параллельно
3
ответа
Как я могу установить GNU Parallel вместе с Moreutils?
Доморощенный имеет формулу moreutils и GNU parallel, GNU Parallel конфликтует с Moreutils, поскольку в нем также есть бинарный файл parallel, который просто менее полезен. Однако я все же хотел бы установить обе формулы одновременно. Как я могу это …
03 фев '13 в 10:29
1
ответ
What version should I download for this Linux OS?
I would like to install GNU parallel on a computer cluster. Я вижу, что есть несколько версий GNU-параллели, которые можно скачать (см. Ссылку выше в разделе "Загрузка GNU Parallel"). I suppose the versions of main interest to me are: Arch Linux Alp…
01 сен '16 в 21:33
2
ответа
Параллельно GNU: пересылать все stdin всем процессам
Я пытаюсь обрабатывать ввод разными способами параллельно, записывая получающиеся строки по мере их поступления. Мой текущий подход заключается в следующем: # process_parallel.sh read input parallel --colsep ' ' --linebuffer 'echo $input | {}' \ :::…
15 май '15 в 14:20
2
ответа
Добиться лучшего сжатия для нескольких сжатых файлов
У меня есть несколько каталогов, содержащих тысячи файлов gzip (в целом речь идет о файлах 1M). Некоторые из этих файлов повреждены, и большинство из них действительно небольшие по размеру (пара КБ). Почти все они очень похожи по содержанию, поэтому…
12 янв '18 в 23:47
2
ответа
Как использовать опцию "фильтр" для GNU split с параллельной GNU?
Я пытаюсь разбить несколько огромных файлов GZ на сжатые по N-строке фрагменты. Чтобы продемонстрировать, давайте рассмотрим следующее: seq 100 | gzip > big_file0.gz Я могу разделить это на несколько сжатых файлов по 10 строк следующим образом: z…
23 окт '12 в 00:43
2
ответа
Как использовать GNU параллельно с gunzip
У меня есть каталог, полный .gzЯ хочу расширить каждый архив параллельно с GNU параллельно. Однако я ничего не добился. Я старался parallel 'gunzip {}' ::: `ls *.gz` parallel gunzip `ls *.gz` без результатов, bash говорит мне: /bin/bash: archive1.gz…
07 июн '13 в 23:13
1
ответ
Использование sed с параллельным доступом дает пустой вывод при перенаправлении в файл
Я использую zsh ракушка. Я пытаюсь использовать sed заменить некоторый текст во многих файлах, используя параллель для ускорения процесса. Когда я проверил это на одном файле и позволил выводу команды перейти к stdout Я увидел ожидаемый результат. К…
10 июн '14 в 11:00
1
ответ
GNU-параллельное шифрование файлов с пробелами или специальными символами?
Я пытаюсь зашифровать кучу файлов с помощью кода ниже: find . -name "*.vi" | sort | parallel --gnu -j 4 --workdir "$PWD" ' echo "Encrypting {/.} ..." gpg -r user@myemail.com -o "/tank/test/{/.}.gpg" -e "{}" '; Это прекрасно работает, но только если …
29 май '15 в 08:25
1
ответ
Использование GNU Parallel для поиска большого файла с разбивкой по частям на хост
Я использую Ansible для настройки некоторой конфигурации на нескольких узлах, и как часть этой настройки мне нужно разделить один большой файл на n строк и скопировать каждую часть в удаленный файл, не создавая локальную копию каждого чанка (как ком…
27 июн '16 в 16:15
2
ответа
Распараллеливание удаленного tar и получение вывода по ssh pipe
Я пытался распараллелить скрипт, который я использую, но пока что GNU Parallel очень сложен. У меня есть 2 файла - один содержит хосты для запуска команды, а второй содержит параметры для команды. Ниже приведены примеры данных: $ cat workers.host fo…
21 янв '17 в 15:16
2
ответа
GNU Parallel - глобальные переменные и функции
У меня есть этот скрипт: GLOBAL_VAR="some global value" function test { echo $1 echo ${GLOBAL_VAR} } export -f test parallel --jobs 5 --linebuffer test ::: "${files[@]}" Как я могу иметь $GLOBAL_VAR видно из параллели?
23 июн '17 в 13:59
1
ответ
Параллельно: ограниченное количество многопоточных процессов
Я использую GNU Parallels для параллельного запуска нескольких заданий: parallel python3 main.py arg ::: args*, С однопоточными заданиями я использовал -j 100% чтобы убедиться, что 1 задание сопоставлено с 1 ядром. Теперь у каждой работы есть четыре…
11 июл '17 в 08:21
1
ответ
Параллельная GNU не делит работу равномерно
Насколько я понимаю, опция -X должна равномерно распределять аргументы между заданиями. Тем не менее, я получаю очень искаженный дистрибутив: user@host:/tmp/ptest$ count() { > echo $# > } user@host:/tmp/ptest$ export -f count user@host:/tmp/pt…
02 окт '18 в 06:18
3
ответа
Обнулить большое блочное устройство с распараллеленным дд
У нас есть шестьдесят терабайтное блочное устройство, которое мы хотим обнулить с помощью dd. Можно ли распараллелить эту операцию, чтобы уменьшить количество времени, которое требуется? Я попытался выполнить следующую команду, но это не совсем то, …
27 июл '15 в 21:29
1
ответ
Невозможно установить GNU параллельно в Ubuntu 12.04
Travis CI использует Ubuntu 12.04. Я хочу установить GNU Parallel на нем и раньше, чтобы иметь возможность с sudo apt-get install parallel но сейчас не могу. Что мне нужно сделать? Нужно ли сейчас скомпилировать его с нуля?
06 дек '15 в 12:15
2
ответа
Отладочный вывод
Я попытался ускорить импорт большого набора данных с папкой, полной файлов.sql ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "<" Вскоре после запуска я получаю сообщение об ошибке: ERROR 1146 (42S02) at line 65: Table 'dbname.so…
07 сен '13 в 02:27
2
ответа
Многократное чтение из txt-файла в bash (параллельная обработка)
Вот простой bash-скрипт для HTTP-кода состояния while read url do urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "${url}" --max-time 5 ) echo "$url $urlstatus" >> urlstatus.txt done < $1 Я читаю URL из текстового ф…
18 янв '17 в 12:13
1
ответ
Пакетная загрузка URL-адресов из многопоточной командной строки
У меня есть 100 000 URL-адресов небольших файлов для загрузки. Хотелось бы использовать 10 нитей и конвейерная обработка является обязательным условием. Я объединяю результат в один файл. Текущий подход: cat URLS | xargs -P5 -- curl >> OUTPUT …
16 авг '13 в 12:42
1
ответ
Gnu Parallel зависает как один процесс "спит"
Я параллельно запускаю команду, используя Gnu Parallel, которая имеет два параметра в качестве входных данных: каталог и файл conf: parallel --gnu my_command ::: (ls -d dir*test) ::: properties.conf Я запускаю его на многоядерном процессоре (24 ядра…
09 янв '14 в 20:02
2
ответа
Используя awk с параллельным
У меня около 3000 файлов по 300 МБ каждый, и я хотел бы как можно быстрее найти серию подстрок с моим 16-ядерным сервером. Это то, что я пытался, но не похоже, чтобы распараллеливать поиск файлов. sudo find /mnt2/preprocessed/preprocessed/mo* | sudo…
26 фев '13 в 05:44