scp использует много памяти

У меня проблема с scp при некоторых условиях, связанных с передачей файлов в нескольких ГБ в систему SUSE® LINUX Enterprise Server 9 (ядро 2.6.xx) на SGI Altix350 с 32 ГБ памяти.

Я использовал scp -r -p, чтобы скопировать каталог на другой сервер на том же сервере, по какой-то причине он начинает использовать много памяти, и команда cached in top быстро растет. Samba работает в системе.

Если у вас есть какие-либо комментарии по scp или по-другому, скопируйте каталог с огромным количеством каталогов и файлов. Мне было бы интересно услышать об этом.

Спасибо за вашу помощь, KhalilHL

Источник

3 ответа

Решение

Лично я предпочитаю использовать rsync поскольку это позволяет мне возобновить приятно от прерванных переводов.

Чтобы использовать его локально:

$ rsync -avP /path/to/source /path/to/destination

Чтобы перевести локальный на удаленный:

$ rsync -avP /path/to/source user@remote:/path/to/destination

Для перевода удаленного в локальное:

$ rsync -avP user@remote:/path/to/source /path/to/destination

Переключатели, которые я использовал:

  • -a = Архив - создать точную копию дерева как можно ближе
  • -v = многословно - говорит сам за себя
  • -P = показать прогресс переводов и разрешить возобновление из частичных файлов.
Источник

Тот же сервер??

SCP имеет массу накладных расходов на шифрование, из-за чего возникают проблемы с памятью. Он также туннелируется через SSH, что означает, что если вы SCPing что-то между каталогами на той же машине, он создает SSH-туннель к себе, а затем шифрует трафик, который он должен затем расшифровать.

Почему бы вам просто не использовать CP?

Источник

Я думаю, что вы неверно истолковали вывод "top".

кеш в топ-команде растет очень быстро

Термин "кэшированный" означает "кэш жесткого диска". Вы возитесь с файлами размером в несколько ГБ, поэтому linux будет использовать (почти) каждый бит свободной оперативной памяти для помощи жесткому диску. Как только процессу потребуется больше памяти, ядро ​​Linux автоматически освободит часть кеша и будет использовать его для этого процесса. Это нормальное и ожидаемое поведение.

Источник
Другие вопросы по тегам