Программы для поиска и удаления дубликатов файлов. Поиск и удаление одинаковых файлов

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.

Вспомогательная утилита CCleaner – это достаточно популярное приложение, которое помогает очистить устройство от различных ненужных файлов. Скачивается она совершенно бесплатно на официальном ресурсе. Пользоваться данной программкой очень легко и это сможет сделать даже неопытный пользователь.

Отдельным плюсом хочется выделить то, что начиная с четвертой версии, данная программка может искать файлы-дубликаты. Функция весьма полезная, так как удаление дублирующей информации может помочь очистить системный диск и укорить работу устройства в целом. Поэтому обратите внимание, какая версия программы загружена на ПК, если более старая, то просто обновите ее до актуальной.

Можно ли удалять файлы дубликаты в CCleaner, и как это сделать

• Скачиваем и устанавливаем приложение. Загрузку лучше всего производить с официального ресурса, так как это наиболее надежный способ избежать попадания на ПК вирусов и подозрительного ПО.
• Запускаем программку в работу и переходим в меню «Сервис».
  
• Выбираем строку «Поиск Дублей».
  
• В основном окне можно задать различные критерии для осуществления поиска. Это делается путем установки отметок рядом с пунктами разделов «Совпадение», «Пропуск» и «Включения»/ «Исключения».
  
• Кнопочка «Добавить» поможет выполнить поиск в какой-то определенной директории (папке) на диске. После ее нажатия откроется окошко, где можно осуществить выбор папки с помощью кнопочки «Обзор» . В этом же окне можно указать определенный вид расширений для файлов.
  
• На вкладочке «Исключения» можно указать те папки, которые ни в коем случае не должны быть затронуты при поиске дублей.
  
• После того, как параметры просмотрены и установлены кликаем на кнопочку «Найти».
  
• После автоматического поиска в основном окне можно будет увидеть результаты.
• В отчете можно будет прочесть имена файлов и адреса, по которым они располагаются на устройстве.
• Отчет можно сохранить в текстовом формате в любую удобную папку. Это можно сделать нажатием кнопочки «Сохранить отчет…».
  
• Файлы располагаются попарно (оригинал и дубликат). Выделяем те, что необходимо удалить. Для выделения проставляем отметки напротив имени. Если нет уверенности в том, что файл не несет никакой важной информации и его можно удалять, то лучше его не трогать. В этом случае нужно сохранить отчет и просмотреть сомнительные файлы отдельно.
• Затем, кликаем на кнопочку «Удалить выбранные».
  

После автоматического удаления можно будет убедиться в том, что файлов-дубликатов действительно больше не существует и места на диске стало больше.

У каждого на компьютере есть папка, в которой он хранит различные фотографии или изображения и нередко случается, что на жестком диске появляются дубликаты таких файлов. Сразу возникает вопрос, как же быстро избавиться от них. В статье будет перечислен ряд программ, которые в состоянии выполнить такие действия быстро и качественно.

Является простой и удобной в использовании программой, которая способна выполнять поиск несколькими способами и создавать галереи из выбранных изображений. Среди остальных инструментов ее выделяет наличие окна помощника, благодаря которому использование Duplicate Photo Finder становится еще проще. Среди минусов можно выделить платное распространение и отсутствие русского языка.

Duplicate Photo Cleaner

Duplicate Photo Cleaner тоже несложная в использовании программа, которая кроме того может считывать немалый перечень форматов графических объектов. Она имеет несколько способов поиска дубликатов, а наличие русскоязычного интерфейса выделяет ее среди большинства описанных здесь решений. При этом Дубликат Фото Клинер является платным, а триал-версия имеет сильно ограниченные возможности.

Duplicate File Remover

Еще одним мощным инструментом для поиска копий фотографий является Duplicate File Remover. Помимо поиска изображений, он также в состоянии выполнить сканирование компьютера на предмет наличия иных идентичных файлов. Возможности Дубликат Файл Ремувер значительно расширяют плагины, которые устанавливаются вместе с ним, но активировать их возможно только после приобретения лицензионного ключа. Еще одним недостатком можно считать отсутствие русского языка в настройках, но это не мешает использовать Duplicate File Remover по назначению, так как все действия здесь выполняются на интуитивном уровне.

Duplicate File Detector

Это мощная многозадачная программа, которая в состоянии моментально отыскать одинаковые документы в указанной директории. Duplicate File Detector поддерживает большое количество форматов, которые будут проверяться во время работы. Это единственный инструмент среди рассмотренных нами, который предоставляет возможность хеширования любого файла, для чего здесь имеется встроенный хэш-калькулятор. Благодаря последнему можно получить результат в 16 вариантах хеш-кодов. Воспользовавшись Duplicate File Detector, можно переименовать выбранную группу файлов по одному из предложенных шаблонов. Программа переведена на русский язык, но при этом является платной.

ImageDupeless

ImageDupeless является мощным инструментом для поиска одинаковых изображений на компьютере. По своему функционалу он очень похож на описанный ранее Duplicate Photo Finder. Здесь присутствует тот же помощник, такие же возможности поиска идентичных графических файлов и функция создания галереи из изображений. Но ИмейджДуплесс имеет русскоязычный интерфейс, что выделяет его на фоне упомянутой программы. Главным недостатком можно считать платное распространение и то, что очень много возможностей доступны исключительно после покупки.

DupKiller

DupKiller является одним из лучших способов для поиска не только дубликатов изображений, но и файлов в целом. Он предоставляет возможность розыска практически в любом месте компьютера, имеет очень большой спектр настроек, поддерживает плагины. Кроме того, он распространяется совершенно бесплатно и переведен на русский язык, что дает возможность использовать его без любых ограничений.

AllDup

AllDup является небольшой бесплатной программой, которая предназначена для поиска одинаковых (в том числе графических) объектов на винчестере. Она поддерживает большой перечень форматов, что гарантирует качественный поиск дубликатов. Еще АллДуп будет отличным вариантом для компьютеров, которым одновременно пользуются несколько людей. На фоне остальных его выделяет возможность создания нескольких профилей с определенными настройками. Такая возможность сильно сэкономит время пользователям, которое было бы потрачена на перенастройку программы. Еще в список положительных качеств AllDup можно добавить наличие русского языка и бесплатное распространение разработчиком.

DupeGuru Picture Edition

Воспользовавшись DupeGuru Picture Edition, пользователь получит бесплатный, простой и незамысловатый поисковик дубликатов фотографий на компьютере с русскоязычным интерфейсом. Среди дополнительных возможностей стоит выделить то, что здесь можно выполнить экспорт полученных результатов в браузер или в формат CSV, который считывается .

Dup Detector

Dup Detector, наверное, самая простая утилита в предоставленном списке. Она не имеет русского языка и каких-либо дополнительных возможностей, кроме создания галерей из изображений, но при этом предоставляет на выбор несколько вариантов поиска дубликатов фотографий. К тому же, Дуб Детектор распространяется разработчиком совершенно бесплатно и поддерживает большой перечень графических форматов.

В этой статье были рассмотрены программы, с помощью которых можно быстро и без лишних усилий обнаружить дубликаты фотографий на винчестере и безвозвратно удалить их. Каким именно инструментом воспользоваться, пусть каждый решит сам, но стоит знать, что любой из них на 100% справится с поставленной задачей.

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

• подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
• галерея заняла: 71.4Мб
• время создания: 26 мин. 54 сек.
• время сравнения и вывода результатов: 6 мин. 31 сек.
• результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

Программа для поиска дубликатов файлов чаще всего необходима пользователям, хранящим на диске большое количество музыки, фото и документов.

И, хотя удалять такие лишние копии можно вручную, специализированные приложения способны сэкономить немало времени.

Особенно, если файлы расположены в разных папках или в .

Искать такие дубликаты можно с помощью универсального программного обеспечения или же рассчитанного на конкретный тип данных.

В первом случае повышается скорость поиска, во втором – увеличивается вероятность обнаружить все копии.

Универсальные приложения

Универсальные приложения для поиска копий, в основном, работают по принципу сравнивания размеров файлов.

И, так как вероятность совпадения количества байтов у разных фото практически равна нулю, одинаковые значения считаются признаком дубликата.

Иногда алгоритм предусматривает проверку имён – тоже важный параметр для поиска, тем более что одинаковые данные в большинстве случаев совпадают и по названию.

Преимуществами программ являются возможность найти с их помощью файлы любого типа и сравнительно высокая скорость работы. Недостаток – меньшая точность обнаружения.

Так, например, ни одна из таких утилит не посчитает дубликатом одну и ту же , сохранённую с различным разрешением.

1. DupKiller

А среди её преимуществ можно отметить:

• простоту настройки;
• установку нескольких критериев поиска;
• возможность игнорировать некоторые файлы (с определённым размером или датой создания, а также системные или скрытые).

Важно: При обнаружении файлов с нулевым размером их не обязательно удалять. Иногда это может быть информация, созданная в другой операционной системе (например, Linux).

Рис. 4. Программа для оптимизации системы CCleaner может искать и дубликаты файлов.

5. AllDup

Среди преимуществ ещё одной программы, AllDup , можно отметить поддержку любой современной операционной системы Windows – от XP до 10-й.

При этом поиск ведётся и внутри скрытых папок, и даже в архивах.

Хотя сравнение информации по умолчанию происходит по названиям файлов, поэтому настройки желательно сразу же изменить.

Зато в процессе поиска каждый найдённый дубликат можно просмотреть, не закрывая приложение.

А при обнаружении копии её можно не только удалить, но и переименовать или перенести в другое место.

К дополнительным преимуществам приложения относится и полностью бесплатная работа в течение любого периода времени.

Кроме того, производитель выпускает ещё и портативную версию для того чтобы искать копии на тех компьютерах, на которых запрещена установка постороннего ПО (например, на рабочем ПК).

Рис. 5. Поиск файлов с помощью portable-версии AllDup.

6. DupeGuru

Ещё одним полезным приложением, проводящим поиск дубликатов с любым расширением, является DupeGuru .

Её единственный недостаток – отсутствие новых версий для Windows (при этом обновления для и MacOS появляются регулярно).

Впрочем, даже сравнительно устаревшая утилита для неплохо справляется со своими задачами и при работе в более новых ОС.

С её помощью легко обнаруживаются даже системные файлы, а меню интуитивно понятное и русскоязычное.

Рис. 6. Обнаружение копий с помощью утилиты DupeGuru.

Примечательно, что, кроме обычного универсального варианта, компания-производитель создала утилиту для поиска файлов определённого типа.

Существует отдельная версия для изображений и ещё одна для музыки.

И, при необходимости очистить свой компьютер не только от документов и системных файлов (которые, кстати, требуется удалять очень осторожно – иногда стоит даже оставить «лишнюю» копию, чем нарушить работоспособность системы), стоит скачать и эти приложения.

7. Duplicate Cleaner Free

Утилита для обнаружения копий любого файла Duplicate Cleaner Free отличается следующими особенностями:

• фильтрации данных по расширению;
• русским языком интерфейса;
• возможность бесплатного использования;
• высокой скоростью работы.

К её недостаткам относят небольшие ограничения при поиске изображений (для этого рекомендуется приобрести платную версию) и не совсем точный перевод отдельных элементов меню .

Тем не менее, благодаря своей эффективности и удобству использования, приложение пользуется определённой популярностью.

Рис. 7. Поиск дубликатов с помощью утилиты Duplicate Cleaner Free.

Поиск дубликатов аудио файлов

Если результаты поиска дубликатов не устраивают пользователя, можно рассмотреть вариант, предназначенный для определённых файлов. Например, для , скопившейся на диске.

Такая необходимость часто возникает при загрузке сразу нескольких альбомов и сборников одного и того же исполнителя – нередко в разных папках оказываются одинаковые треки.

Они могут иметь похожие размеры и отличаться, по большому счёту, только названиями. Специально для этого существуют утилиты для поиска похожих мелодий.

8. Music Duplicate Remover

Среди особенностей программы Music Duplicate Remover – сравнительно быстрый поиск и неплохая эффективность.

Фактически, это приложение как бы «прослушивает» композицию и проводит её сравнение с другими аудио файлами.

При этом, естественно, время её работы больше, чем у универсальных утилит.

Однако количество проверяемых программой данных, как правило, в десятки раз меньше, поэтому средняя продолжительность проверки редко превышает пару часов.

Рис. 8. Обнаружение копий музыки и аудио файлов по альбомам.

9. Audio Comparer

При этом анализ фото тоже длится дольше по сравнению с поиском файлов любого расширения, но результат оправдывает себя.

Изображения определяются даже в том случае, когда на диске находятся несколько дубликатов одной картинки, но с разным разрешением и, соответственно, размером.

Кроме того, для повышения эффективности проверяются файлы с любыми графическими расширениями – от до.png.

Рис. 11. Поиск картинок с помощью ещё одной версии DupeGuru.

12. ImageDupeless

При этом она распространяется бесплатно и имеет русский интерфейс. А производитель периодически выпускает к ней обновления, повышая эффективность поиска изображений.

Рис. 12. Стильный интерфейс приложения ImageDupeless.

13. Image Comparer

Преимуществами приложения Image Comparer , кроме простого интерфейса, можно назвать наличие пошагового мастера, позволяющего научиться быстрому и результативному поиску изображений.

Эта особенность отличает утилиту от большинства остальных, для работы с которыми придётся читать файлы справки, не всегда правильно переведённые (а иногда и вообще предоставляемые только на английском).

Фактически, приложение является ещё одной версией Audio Comparer, и тоже распространяется по «условно бесплатной» лицензии – то есть за определённые функции пользователю придётся заплатить.

Рис. 13. Приложение Image Comparer – неплохой способ найти дубликаты картинок.