Если Вы работаете с большими количеством информации в Excel и регулярно добавляете ее, например, данные про учеников школы или сотрудников компании, то в таких таблицах могут появиться повторяющиеся значения, другими словами – дубликаты.

В данной статье мы рассмотрим, как найти, выделить, удалить и посчитать количество повторяющихся значений в Эксель.

Как найти и выделить

Найти и выделить дубликаты в документе можно, используя условное форматирование в Эксель . Выделите весь диапазон данных в нужной таблице. На вкладке «Главная» кликните на кнопочку «Условное форматирование» , выберите из меню «Правила выделения ячеек» – «Повторяющиеся значения» .

В следующем окне выберите из выпадающего списка «повторяющиеся» , и цвет для ячейки и текста, в который нужно закрасить найденные дубликаты. Затем нажмите «ОК» и программа выполнит поиск дубликатов.

В примере Excel выделил розовым всю одинаковую информацию. Как видите, данные сравниваются не построчно, а выделяются одинаковые ячейки в столбцах. Поэтому выделена ячейка «Саша В.» . Таких учеников может быть несколько, но с разными фамилиями.

Как посчитать

Если Вам нужно найти и посчитать количество повторяющихся значений в Excel, создадим для этого сводную таблицу Excel. Добавляем в исходную столбец «Код» и заполняем его «1» : ставим 1, 1 в первых двух ячейка, выделяем их и протягиваем вниз. Когда будут найдены дубликаты для строк, каждый раз значение в столбце «Код» будет увеличиваться на единицу.

Выделяем все вместе с заголовками, переходим на вкладку «Вставка» и нажимаем кнопочку «Сводная таблица» .

Чтобы более подробно узнать, как работать со сводными таблицами в Эксель , прочтите статью перейдя по ссылке.

В следующем окне уже указаны ячейки диапазона, маркером отмечаем «На новый лист» и нажимаем «ОК» .

Справой стороны перетаскиваем первые три заголовка в область «Названия строк» , а поле «Код» перетаскиваем в область «Значения» .

В результате получим сводную таблицу без дубликатов, а в поле «Код» будут стоять числа, соответствующие повторяющимся значениям в исходной таблице – сколько раз в ней повторялась данная строка.

Для удобства, выделим все значения в столбце «Сумма по полю Код» , и отсортируем их в порядке убывания.

Думаю теперь, Вы сможете найти, выделить, удалить и даже посчитать количество дубликатов в Excel для всех строк таблицы или только для выделенных столбцов.

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

В двух предыдущих уроках мы удаляли дубликаты. Прочитать об этом можно и . В этом уроке мы будем осуществлять поиск дубликатов .

Это необходимо для того, чтобы понять какие именно записи дублируются, чтобы в дальнейшем их можно было использовать, например, для понимания причин их возникновения.

Есть задача: в исходной таблице выделить все записи, у которых есть дубликат.

Как и в прошлом примере будем использовать расширенный фильтр. Ставим курсор на любую ячейку таблицы. Далее заходим во вкладку "Данные" и щелкаем по кнопке "Дополнительно".

В открывшемся окне оставляем выбранной опцию "Фильтровать список на месте". В поле "Исходный диапазон" по умолчанию у вас должна быть указана таблица. А также обязательно ставим галочку "Только уникальные записи" для того, чтобы дубликаты были скрыты. В конце нажимаем кнопку "Ок".

Если сейчас внимательно посмотреть на наш пример, то нумерация строк стала синего цвета, что свидетельствует о применении фильтра и наличии дубликатов, а строки 9, 10 и 11 просто были скрыты, так как они являются дубликатами и не уникальны.

Теперь мы можем пометить все уникальные строки. Например, выделить их цветом.

Или присвоить им отдельную метку. Создадим отдельную колонку "Уникальность" и всем этим строкам поставим значение "1".

Для того, чтобы присвоить всем строкам значение 1, достаточно поставить единицу в первой строке, а затем щелкнуть два раза левой клавишей мыши по правому нижнему углу ячейки. Значение этой ячейки размножится во все ячейки столбца.

Теперь осталось убрать фильтр для того, чтобы открыть все строки таблицы. Заходим во вкладку "Данные" и щелкаем по кнопке "Очистить".

Все строки, которые у нас были дублирующими, будут не подписаны.

Теперь давайте таблице добавим "Фильтр". Для этого выделим ее, затем перейдем на вкладку "Данные" и щелкнем по иконке "Фильтр".

Благодаря этому у нас появилась возможность через фильтр выбрать все дубликаты. Щелкаем по иконке фильтра в столбце "Уникальность" и из списка выбираем все пустые строки. Нажимаем "Ок".

Все записи будут отсортированы и вы получите в свое распоряжение все дублирующие записи.

В этом уроке расскажу как удалить страницу из PDF файла. Этим способом можно удалить любую страницу из файла и поможет нам в этом .

В английской версии эта функция называется VLOOKUP - расшифровывается как вертикальный просмотр. Существует также функция ГПР, которая ориентирована на горизонтальный просмотр. В основном функция ВПР используют для того, чтобы подтянуть данные из одной таблицы в другую, также ее можно использовать для сравнения столбцов в двух разных таблицах.

Приветствую Вас, уважаемый читатель! Сегодня я Вам покажу программу, которая ищет одинаковые файлы на компьютере. Программа не только находит копии файлов, но и по желанию пользователя, тут же их удаляет. Очень удобно в этом плане. А копий файлов может столько накопится, что Вы даже не будете подозревать об этом. Просто они могут находится в разных папках и даже на разных дисках. Одними Вы может постоянно пользуетесь, а про их копии возможно и забыли.

Вот к примеру, скачали картинку с интернета использовали её в своих целях и забыли о ней. Через некоторое время Вам понадобилась эта картинка, а искать на компьютере лень. Легче найти её в интернете. Снова скачиваете и получаете уже существующий на компьютере дубликат файла.

Так же может произойти и с музыкальными файлами. Скачали в разные папки и считаете что он у Вас в единственном экземпляре. Многие пользователи ПК совершают одну ошибку. Когда зацепив какой-то файл левой клавишей мышки перетаскиваешь его в другую папку, находящуюся на другом диске, то происходит не перемещение, а копирование. А это значит что файл остался на прежнем месте, а в новую папку на другом диске попала его копия.

Получается что один файл лишний и только занимает свободное пространство в памяти компьютера.

Поиск одинаковых файлов

В этой программе есть гибкие настройки с помощью которых мы можем ускорить поиск.

Допустим ищем только на одном или двух дисках. Отмечаем их галочками и жмём кнопку «Сканировать »

Но при этом программа отыщет все файлы у которых есть копии. А нам это не нужно, потому что мы, к примеру, хотим найти только изображения.

Поиск по типу файла

В таком случае переходим на вкладку «Файлы и папки «. Отмечаем галочками формат файла. Изображения бывают разных форматов, но нам программа предлагает только четыре jpg, jpeg, gif, bmp. Это самые популярные форматы изображений, которые есть у практически у каждого пользователя.

Остальные которых нет в списке нужно прописать вручную. Жмём кнопку «Добавить » В открывшемся окошке прописываем нужный формат картинки. Например от программы Photoshop-(*.PSD)

Окей! Сканируем и получаем кучу копий для удаления. Стоп! А они ведь могут быть системные. Значит едем дальше.

Сканируем только нужные папки

Выберем отдельные папки для сканирования. Программа проверит только их. В нижней части программы есть настройка «Искомые папки » Отмечаем пункт «Только указанные папки » при таких параметрах диск во вкладке «Диски » можно не выбирать. Да, и не забудьте выставить галочку здесь «Включать эти папки, даже если соответствующий диск не выбран«

Сканируем и получаем результат. DupKiller по завершению проверки переключится на вкладку «Список » где будут показаны все найденные дубликаты файлов.

Файлы, в нашем случае, это картинки, отсортированы по группам. Группа состоит из двух или нескольких файлов. Они все одинаковые, так как являются копиями друг друга.

Какие файлы удалять?

Щёлкните по любому из файлов в группе, и в окошке предпросмотра Вы увидите миниатюру изображения. Теперь просто прокручивайте колёсико мышки, что бы передвигаться по списку и сравнивать копии между собой.

Вся информация о файле видна на экране программы. И даже если изображение не отображается в окне предпросмотра мы можем сравнить файлы по имени, размеру и типу. В первом столбце под названием «Путь» показано расположение файла.

Удаление одинаковых файлов

Смотрим на эти данные и выделяем по одному файлу в каждой группе. Теперь отмеченные файлы можно удалить нажав на кнопку «Удалить » или «» Так же для удаления можно применить клавишу на «Delete » на клавиатуре.

Если файлов для удаления слишком много, тогда лучше воспользоваться автоматическим удалением файлов. При этом Вы сами выбираете из какой папки удалять одинаковые файлы. как это работает? Выделяете правой клавишей мышки один файл в группе и нажимаете на кнопку «Автовыбор»

В появившемся окошке в верхнем блоке будут отображены пути к папкам в которых есть схожесть между файлами. В нижнем блоке прописаны те же папки, но не отмечены галочками. Нам нужно выбрать одну из этик папок в которой файлы должны быть удалены. Жмём «Ок»

Здесь ещё одна неприятность. Каждый раз при удалении одной из копий появляется окно подтверждения.
Замучаетесь подтверждать. Отключите это уведомление перейдя в настройки «Удаление » и снимите галочки с пункта «Спрашивать подтверждение перед удалением «

Ну, вот и всё. Я поверхностно Вам показал принцип работы программы DupKiller .

Есть желание покопайтесь в дополнительных настройках «Настройки поиска » и «Другие настройки «

А по мне она и так хорошо справляется со своей задачей.

Пишите в комментариях, как вам эта программа и как Вы чистите дисковое пространство то ненужных копий?

Это полезно знать: