Какие дубликаты файлов и папок существуют для Windows?

Я пробовал буквально десятки дубликатов поиска файлов (у меня все еще есть установочные файлы /ZIP-файлы, около 20 из которых сидят без дела). Я использовал CloneMaster 2.19 какое-то время, потому что он был лучшим, который я смог найти, хотя даже это не было идеальным (я хотел тот, который мог бы также определять дубликаты MP3 по аудиоконтенту, игнорируя теги). У всех них были проблемы, которые меня расстроили настолько, что я решил написать свою собственную и выложил список функций, которые мне требуются от DFF.

И тогда я нашел AllDup. Это первый и единственный, который фактически заставил меня отказаться от проекта (технически мой не полностью заброшен, над ним просто больше не работают, так как мне больше не нужно его писать, потому что AllDup делает все, что я от него хочу). В любом случае, AllDup ищет дубликаты файлов, но в отличие от других, он использует множество приемов и приемов, которые я собирался использовать в своем собственном DFF. Таким образом, он очень быстрый: он может, например, сканировать>250000 форматов от 1B-5GB за ~30 минут (я делал это в своей системе несколько раз).

Еще одна замечательная (и по какой-то причине редкая) особенность AllDup заключается в том, что, как я уже говорил, он может сканировать дубликаты MP3 по их фактически аудиоданным, игнорируя теги, поэтому два MP3, которые имеют одинаковые, но имеют разные теги (очень распространенные при загрузке), будут быть обнаружены как дубликаты. (Он может даже обнаружить, когда я скопировал две одинаковые песни с двух разных компакт-дисков - разумеется, с разными тегами.) Конечно, он может обнаруживать дубликаты, основанные на других факторах, помимо байтового содержимого, таких как имена файлов, даты и т. Д.

Другие замечательные возможности AllDup включают возможность фильтрации (включения или исключения) на основе имени файла и / или имени папки и / или размера файла. Экран результатов также очень универсален с опциями выбора файлов на основе даты, пути, имени, этого, этого, другого... У него также есть разнообразие в том, что делать с обнаруженными дубликатами

Майкл Туммерер также очень восприимчив. Я несколько раз сообщал ему об ошибках и предлагал ему новые функции, на которые он очень быстро обратился (до такой степени, что он сказал мне загрузить и опробовать бета-версию с обновлениями в следующих электронных письмах того же дня).

Ох, и это бесплатно.

НТН

Duplicate Cleaner очень быстр и имеет широкие возможности фильтрации результатов.

Clonespy http://www.clonespy.com/

Я считаю это очень полезным и более полезным, чем doublekiller. Особенно приятной функцией является функция "Пулы", где вы можете сравнить одну группу каталогов с другой группой каталогов, игнорируя при этом дубликаты внутри групп.

Например, мой партнер любит хранить дубликаты файлов изображений при работе с изображениями. Я хочу посмотреть, есть ли у меня какие-либо копии этих файлов в моих каталогах.

Пул 1 - Домашний каталог партнера. Пул 2 - Мой домашний каталог.

Единственные найденные дубликаты - это если файл присутствует как в моих каталогах, так и в каталогах моего партнера. Файлы, только дублированные в каталогах моего партнера, игнорируются.

У меня есть следующий пакетный файл в течение некоторого времени:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

Вы можете запустить его с /r в качестве аргумента для рекурсивного запуска через дерево каталогов.

DoubleKiller - отличный бесплатный (у них также есть профессиональная версия) поиск и удаление дубликатов файлов. Я использую это в течение многих лет и полностью рекомендовал бы это.

http://www.bigbangenterprises.de/en/doublekiller

У Total Commander есть замечательная утилита поиска дубликатов файлов. К сожалению, это не бесплатно.

Как упоминал Ник, есть Duplicate File Finder с открытым исходным кодом и кросс-платформенный. Это доступно на SourceForge здесь

Winmerge http://winmerge.org/

Сравните очень похожие каталоги, возможно, между вашей папкой "Documents" и вашей импровизированной "резервной копией", папкой "Copy of Documents", которую вы создали несколько недель назад "на всякий случай".

Вы можете выяснить, какие файлы все еще идентичны, какие файлы являются самыми новыми (или самыми старыми, если вы столкнулись с проблемой), и какие файлы существуют только в одном месте. Затем вы можете "объединить" каталоги и удалить дубликаты.

Расширенный уход за системой поставляется с Clone Files Finder с программой. Я пользуюсь им, и он отлично работает.

Дуплокатор Кросс-платформенный скрипт Python для поиска дубликатов.

Еще одна утилита:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only

Я всегда использовал старую программу Find Duplicates, но теперь, когда Geocities уничтожен, я думаю, что она больше не существует, так что вот копия файла.

Он отображает файлы в удобных для просмотра группах, выделенных цветом. Он предупреждает вас, если вы отметили все копии файла для удаления, можете пометить их автоматически, можете выборочно пометить все файлы в каталоге (я часто это использовал), можете удалить каталоги, которые становятся пустыми после удаления, и т. Д. осторожны со ссылками, если вы используете его в Wine. Он удалит все копии файла, не зная, что они являются ссылками.

Лучшим решением, которое я тестировал на Windows, был уже упомянутый Alldup. Реквизит для Synetech Inc. для того, чтобы поделиться этим. Блестящий и очень профессиональный бесплатный инструмент.

В этом посте я приведу протестированные решения bash, которые будут работать в Cygwin, Linux и OS X (или в любом другом, использующем bash-like оболочку).

Поиск дубликатов файлов с использованием бесплатных и открытых инструментов

Быстрый поиск дубликатов файлов:

• Совершенно бесплатно
• Может идентифицировать дубликаты независимо от того, где они находятся в структуре каталогов / папок
• Простой в использовании интерфейс Windows
• Может создавать отчеты в форме XML
• Может Переместить дубликаты в корзину или другую корневую папку, сохраняя исходную структуру папок, например, если дубликат файла был в папке в другой папке, этот путь был бы сохранен: файл все еще существовал бы в папке в папке, и эта структура будет перемещена в папку, выбранную пользователем - будь то корзина для утилизации или папка, указанная пользователем
• Быстрый алгоритм двоичного сравнения, а также проверка имени файла и размера.

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm

Я нашел еще один Duplicate File Remover, чтобы быть удивительным. Это довольно новый и очень простой в использовании. Я использовал его для сравнения более 50000 файлов из проекта восстановления жесткого диска, поэтому он может обрабатывать большое количество файлов.