Найти дубликаты файлов по размеру и MDF
Я пишу скрипт для поиска файлов дупс и группировки их по размеру, а затем по их контрольной сумме MD5.
вот мой сценарий:
find . -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 > ./dups.txt
Я хочу убедиться, что мой скрипт генерирует мои файлы дупс по их размеру и MD5 правильно.
В любом случае я могу убедиться, что мой результат верен, или вы поможете мне проверить мой сценарий и дайте мне знать, пожалуйста?
2 ответа
Вот аналогичный инструмент для поиска дубликатов в Perl под лицензией GPL:
https://github.com/omps/myperlscripts/blob/master/dup-files.pl
Вы также можете изучить опцию -exec, чтобы найти (1).
Я рекомендую вам использовать fdupes, он предназначен для этой цели.
Описание:
программа для идентификации или удаления дубликатов файлов, находящихся в указанных каталогах