Gunzip несколько файлов и объединить параллельно?

Question

Gunzip несколько файлов и объединить параллельно?

Можно ли сжать несколько файлов и объединить их в один большой файл, но делать это параллельно на многоядерной машине? Например, сейчас я делаю:

gunzip -c file1.gz > final
gunzip -c file2.gz >> final
gunzip -c file3.gz >> final
gunzip -c file4.gz >> final

Могу ли я сделать то же самое, чтобы обработка разрозненных файлов различными файлами выполнялась в разных процессорах на многоядерном компьютере, и все они были объединены в один и тот же конечный файл?

2

concatenation parallel-processing gunzip

Источник

719016 02 апр '12 в 08:36

2 ответа

Другие вопросы по тегам concatenation parallel-processing gunzip

Ole Tange 03 окт '12 в 14:24 2012-10-03 14:24 · Answer 1 · 2012-10-03 14:24

Это немного короче сделать это с помощью GNU Parallel:

parallel gunzip -c ::: file*.gz > final

но по существу это также пишет во временные файлы.

Посмотрите интровидео, чтобы узнать больше: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

5

Источник

Ole Tange 03 окт '12 в 14:24

akira 02 апр '12 в 08:44 2012-04-02 08:44 · Answer 2 · 2012-04-02 08:44

Вы должны использовать временные файлы для этого:

gunzip -c file1.gz > final &
one=$!
gunzip -c file2.gz > final2 &
two=$!
gunzip -c file3.gz > final3 &
three=$!
gunzip -c file4.gz > final4 &
four=$!

wait $one && wait $two && wait $three && wait $four
cat final2 >> final
cat final3 >> final
cat final4 >> final

чтобы распаковать части большего файла в один конечный файл, вам необходимо знать распакованный размер частей. только тогда вы можете создать biiiig пустой файл и записать вывод декомпрессии в нужную позицию в большом файле (с помощью dd например). так как вы не знаете распакованный размер (без предварительной распаковки деталей), это не сработает.