Описание тега deduplication

Вопросы с тегом
Дедупликация - это поиск и удаление дубликатов файлов.
1 ответ

Найти дубликаты хэшей

У меня есть куча файлов (4800 файлов), которые, как я считаю, содержат много дубликатов и троек. Проблема в том, что они также не имеют одинаковые имена. Я уже отсеял легких с такими же именами. Все файлы имеют узкий диапазон размеров, так что это н…
13 июл '17 в 22:33
5 ответов

Бесплатный поиск дубликатов mp3

Некоторое время назад я использовал анализатор дубликатов файлов для mp3, анализируя контент. К сожалению, он не был бесплатным, и у условно-бесплатного программного обеспечения было много ограничений. Существуют ли какие-либо бесплатные /OSS-програ…
08 сен '09 в 04:24
1 ответ

Find duplicates of a particular file

Я скачал библиотеку значков с какого-то веб-сайта и использовал несколько значков в проекте. Теперь мне нужно найти другую иконку из библиотеки, но я не могу найти библиотеку на моем компьютере.Поскольку я скопировал несколько файлов из библиотеки, …
24 апр '12 в 18:33
2 ответа

Сканер дубликатов файлов

У меня есть сеть хранения 15 ТБ, и сейчас у меня осталось около 2,5 ТБ (из-за большого количества дубликатов). Я пробовал много сканеров, но у меня был небольшой успех, в конце концов они все терпят крах из-за огромного количества данных. Есть ли ка…
11 май '12 в 22:47
1 ответ

Несколько критериев уникальных значений и список

У меня есть две проблемы, с которыми я ищу помощь. Первый - создать динамический список уникальных идентификационных номеров для элементов, соответствующих "Лошади" в столбце. J на Sheet 2!, "Мяч" в столбце I на Sheet 2!и которые не содержат слово с…
13 дек '18 в 23:46
4 ответа

Инструмент для объединения нескольких файлов OFX в один?

OFX - это формат XML для истории финансовых транзакций, и многие банки, в том числе и мой, предоставляют возможность загружать данные транзакций в этом формате. К сожалению, они часто вынуждают вас загружать отдельный файл для каждого утверждения. Я…
07 авг '10 в 00:46
2 ответа

Есть ли что-то вроде жестких ссылок, которые разбиваются на отдельные файлы по модификациям?

Скажем файлы orig а также copy огромные, но идентичные файлы. Поэтому, чтобы сэкономить место для хранения, можно либо copy мягкая ссылка на orig или жестко связать оба файла с одними и теми же данными. orig никогда не должен изменяться, пока в буду…
10 фев '12 в 23:51
1 ответ

Проверьте наличие дубликатов файлов в двух коллекциях, игнорируя дубликаты в пределах A

У меня есть четыре аналогичные большие коллекции файлов сайта. Это архивные копии одного и того же дерева каталогов из разных времен в прошлом. Я хочу объединить их в самую последнюю коллекцию archive1. Из-за плохого знания WWW 15 лет назад некоторы…
19 фев '12 в 18:38
2 ответа

Как я могу найти дубликаты двоичных файлов с помощью свободно доступных инструментов?

В рамках упражнения по сокращению дублирования файлов руководство хотело бы получить отчет обо всех дублирующихся двоичных файлах, включая изображения, так как кажется, что они превышают 100 000 и более, и учитывая их размер, это влияет на резервное…
10 авг '13 в 03:14
4 ответа

Есть ли способ извлечь дубликаты строк в Sublime Text?

Мне нужно выполнить 2 операции в Sublime Text: извлечь уникальные строки и извлечь дубликаты строк. Например для ввода a b a Извлечение дубликатов должно привести к: a и Извлечение уникального должно привести к: b Есть ли встроенная операция или пла…
22 окт '16 в 06:51
1 ответ

Безболезненный способ консолидации файлов на нескольких машинах / ОС

Только что купил NAS. Поэтому я решил собрать все наши фотографии, мультимедийные файлы и файлы PDF, дедуплицировать, удалить ненужные файлы и проверить их на вирусы и прикрепить их все к нему. У нас есть 3 ноутбука, один под управлением Windows, др…
22 июл '12 в 04:44
3 ответа

Почему у меня есть идентичные файлы в одном каталоге, в Windows 7?

Я просто перестроил свою систему после того, как новый источник питания включил мой процессор, MBD, видеокарту и привод Blu-Ray. За все это мне пришлось восстанавливать Windows из резервной копии (секторной копии). Кажется, все хорошо, но сегодня я …
20 авг '12 в 14:08
3 ответа

Fuzzy Duplicate File Finder?

Существует ли какое-либо приложение с графическим интерфейсом (для Windows или Linux), которое реализует алгоритмы нечеткого хеширования, такие как ssdeep или sdhash, чтобы найти рядом дублирующиеся файлы (в основном текстовые файлы)?
18 окт '12 в 08:45
1 ответ

ZFS сжатая и дедуплированная файловая система в файле

Я могу создать squashed файловые системы с mksquashfs в этом случае: mksquashfs dir-1 dir-2 ... dir-n filesystem-on-file.squash -comp xz -Xbcj x86 -Xdict-size 1048576 -b 1024k mksquashfs обеспечивает сжатие и дедупликацию данных, но только для чтени…
27 окт '12 в 14:10
0 ответов

Использование функции btrfs cow для быстрого и эффективного размещения больших файлов

[Моя цель состоит в том, чтобы использовать функции коровы btrfs для подстановки файлов размером от 30 до 300 ГБ в несколько файлов по 10 ГБ без создания значительных операций ввода-вывода и использования дополнительного дискового пространства. то е…
09 сен '15 в 16:07
4 ответа

Дубликат имени существует решение

У меня около 70 компьютеров с таким же оборудованием. Я решил автоматизировать включение и выключение. Я взял 1 ПК. Вот что я сделал: Изменена конфигурация BIOS, так что теперь компьютер просыпается, когда я включаю выключатель переменного тока Уста…
09 дек '12 в 10:29
2 ответа

Удаление файлов с одинаковым именем и другим расширением

У меня большая музыкальная коллекция. Он организован в следующей структуре: исполнитель / альбом / trackTitle. Со временем в некоторых каталогах у меня появляются файлы с дубликатами; большинство моих файлов - это mp3-файлы, но некоторые из них такж…
31 июл '15 в 20:01
1 ответ

Объедините строки Excel с дублирующимися ключевыми словами, но уникальными значениями в других столбцах

У меня есть лист Excel с ключевыми словами в столбце B. Для каждой строки будет значение в одной ячейке где-то между столбцом E и столбцом CR. Таким образом, строка 3 будет иметь ключевое слово в столбце B и значение в столбце AQ. Строка 4 может име…
04 фев '19 в 06:14
0 ответов

Удаление ответов в загруженных электронных письмах (то есть непоследовательных повторяющихся предложений из текстового файла)

Привет, эксперты и коллеги! У меня есть десятки текстовых файлов, которые содержат ежемесячные архивы рассылки. Я пытаюсь удалить / удалить цитируемые ответы, чтобы каждое сообщение появлялось только один раз во всех файлах. Большинство пользователе…
10 май '17 в 15:25
1 ответ

Как удалить один из каждого набора повторяющихся значений в Excel?

У меня есть таблица, которая содержит много дубликатов. Вместо удаления всех дубликатов, я хотел бы удалить один из каждого дубликата. Я хочу удалить одну запись из каждого набора дубликатов. До: a a a a a b b b b c c d d d d После: a a a a b b b c …
30 окт '15 в 13:33