Используйте все процессоры при создании архивов в Linux

Question

Используйте все процессоры при создании архивов в Linux

Сегодня я хотел создать резервную копию из папки на сервере с 16 процессорами. Я начал искать опцию, которая может использовать мое оборудование для архивирования папки лучше, чем tar делает это. Возможно, что-то с поддержкой многопоточности. Я провел некоторые исследования и решил, что есть такие инструменты, как pbzip2 и pigz, но они могут только сжимать, а не архивировать. Так у вас, ребята, есть элегантное решение для этого?

3

linux tar archiving multi-threaded

Источник

Navid 19 июл '12 в 05:31

2 ответа

Другие вопросы по тегам linux tar archiving multi-threaded

DevSolar 19 июл '12 в 08:42 2012-07-19 08:42 · Answer 1 · 2012-07-19 08:42

Что сказал Игнасио... но -O для извлечения файлов в стандартный вывод...

Итак, мое предложение:

tar cf - /directory/path | whizbang -compress --cpus=16 > archive.tar.whizbang

Следующим шагом, конечно, будет оскорбление сопровождающих tar включить поддержку Whizbang в их следующем выпуске.;-)

Ignacio Vazquez-Abrams 19 июл '12 в 05:39 2012-07-19 05:39 · Answer 2 · 2012-07-19 05:39

Само архивирование требует интенсивного ввода-вывода и не будет извлекать выгоду из нескольких ядер. Передайте несжатый вывод tar одной из найденных вами программ.

Редактировать:

tar -cO /directory/path | whizbang -compress --ultra-brute --cpus=16

где whizbang заменяется вашим любимым компрессором в зависимости от скорости и размера