Ищете простой способ найти дубликаты в Google Sheets? Как насчет 7 способов? :) Это все, что вам нужно для многочисленных случаев использования :) Я покажу вам, как использовать инструменты без формул (без кодирования - обещаю!), условное форматирование и несколько простых функций для заядлых любителей формул.

Как бы часто вы ни пользовались Google Таблицами, есть вероятность, что вам придется иметь дело с дублирующимися данными. Такие записи могут появляться в одном столбце или занимать целые строки.

К концу этой статьи вы будете знать. все необходимое для удаления дубликатов, их подсчета, выделения и идентификации с помощью статуса. Я покажу несколько примеров формул и расскажу о различных инструментах. Один из них даже находит и удаляет дубликаты в ваших Google Sheets по расписанию! Условное форматирование также пригодится.

Просто выберите свой яд и поехали :)

Как найти дубликаты в Google Sheets с помощью формул

Традиционно я начну с формул. Их главное преимущество в том, что ваша исходная таблица остается нетронутой. Формулы выявляют дубликаты и возвращают результат в другое место в ваших Google Sheets. И в зависимости от желаемого результата, различные функции делают свое дело.

Как удалить дубликаты в Google Sheets с помощью функции UNIQUE

Функция UNIQUE сканирует ваши данные, удаляет дубликаты и возвращает именно то, о чем говорит ее название - уникальные значения/строки.

Вот небольшой пример таблицы, в которой повторяются разные строки:

Пример 1. Удаление дублирующих строк, сохранение 1-го вхождения

С одной стороны, вам может понадобиться удалить все дублирующиеся строки из этой таблицы Google Sheets и сохранить только первые записи.

Для этого просто введите диапазон для ваших данных внутри UNIQUE:

=UNIQUE(A1:C10)

Эта небольшая формула возвращает все уникальные строки и все 1-е вхождения, игнорируя 2-е, 3-е и т. д.

Пример 2. Удаление всех дубликатов строк, даже 1-го вхождения

С другой стороны, вы можете захотеть получить только "настоящие" уникальные строки. Под "настоящими" я подразумеваю те, которые не повторяются - даже один раз. Что же делать?

Давайте отвлечемся и рассмотрим все аргументы UNIQUE:

• ассортимент - это данные, которые вы хотите обработать.
• [by_column] - указывает, следует ли проверять полное совпадение строк или ячеек в отдельных столбцах. Если это столбцы, введите TRUE. Если это строки, введите FALSE или просто пропустите аргумент.
• [exactly_once] - Этот параметр указывает функции удалить не только дубликаты в Google Sheets, но и их 1-е записи. Или, другими словами, вернуть только записи без дубликатов. Для этого нужно поставить TRUE, иначе FALSE или пропустить аргумент.

Этот последний аргумент - ваш рычаг давления.

Следовательно, чтобы полностью удалить все дубликаты строк из Google Sheets (вместе с их 1-м), пропустите второй аргумент в формуле, но добавьте третий:

=UNIQUE(A1:C10,,TRUE)

Видите, что таблица справа стала намного короче? Это потому, что UNIQUE нашел и удалил дублирующиеся строки, а также их первые вхождения из исходной таблицы Google Sheets. Теперь остались только уникальные строки.

Выявление дубликатов с помощью функции COUNTIF в Google Sheets

Если занимать место еще одним набором данных не входит в ваши планы, вы можете подсчитать дубликаты в Google Sheets (а затем удалить их вручную). Это займет всего один дополнительный столбец, а функция COUNTIF поможет в этом.

Совет. Если вы не знакомы с этой функцией, у нас есть целая статья в блоге об этом, не стесняйтесь, посмотрите.

Пример 1. Получить общее количество вхождений

Давайте определим все дубликаты с их 1-м вхождением в Google Sheets и проверим общее количество каждой ягоды, появляющейся в списке. Я буду использовать следующую формулу в D2, а затем скопирую ее вниз по столбцу:

=COUNTIF($B$2:$B$10,$B2)

Совет. Чтобы эта формула автоматически обрабатывала каждую строку в столбце, оберните все в ArrayFormula и измените $B2 на $B2:$B10 (весь столбец). Таким образом, вам не нужно будет копировать формулу вниз:

Если после этого вы отфильтруете этот набор данных по числам, вы сможете увидеть и даже вручную удалить все лишние дублирующиеся строки из вашей таблицы Google Sheets:

Пример 2. Поиск и перечисление всех дубликатов в Google Sheets

Если общее количество вхождений не является вашей целью, и вы предпочитаете знать, является ли данная конкретная запись в данном конкретном ряду 1-й, 2-й и т.д. записью, вам необходимо внести небольшую поправку в формулу.

Изменить диапазон из всего столбца ($B$2:$B$10) только на одну клетку ($B$2:$B2) .

Примечание. Обратите внимание на использование абсолютных ссылок.

=COUNTIF($B$2:$B2,$B2)

На этот раз удалить все дубликаты из этой таблицы Google Sheets будет еще проще, поскольку вы сможете скрыть все записи, кроме первой:

Пример 3. Подсчет дублирующихся строк в Google Sheets

Хотя приведенные выше формулы подсчитывают дубликаты только в одном столбце Google Sheets, вам может понадобиться формула, которая учитывает все столбцы и таким образом определяет дублирующиеся строки.

В этом случае лучше подойдет COUNTIFS. Просто перечислите каждый столбец вашей таблицы вместе с соответствующим критерием:

=COUNTIFS($A$2:$A$10,$A2,$B$2:$B$10,$B2,$C$2:$C$10,$C2)

Совет. Существует еще один способ вычисления дубликатов - без формул. Он включает в себя таблицу Pivot, и я описываю его далее.

Отметить дубликаты в столбце состояния - функция ЕСЛИ

Иногда просто недостаточно цифр. Иногда лучше найти дубликаты и отметить их в колонке статуса. Опять же: фильтрация данных в Google Sheets по этой колонке впоследствии позволит вам удалить те дубликаты, которые вам больше не нужны.

Пример 1. Поиск дубликатов в 1 столбце Google Sheets

Для этой задачи вам понадобится та же функция COUNTIF, но на этот раз обернутая в функцию IF. Вот так:

=IF(COUNTIF($B$2:$B$10,$B2)>1, "Дубликат", "Уникальный")

Давайте посмотрим, что происходит в этой формуле:

1. Сначала COUNTIF ищет во всем столбце B ягоду из B2. Найдя ее, он суммирует их.
2. Затем IF проверяет эту сумму, и если она больше 1, то пишет Дубликат , иначе, Уникальный .

Конечно, вы можете использовать формулу для возврата собственных статусов или, например, для поиска & выявления только дубликатов в данных Google Sheets:

=IF(COUNTIF($B$2:$B$10,$B2)>1, "Дубликат","")

Совет. Как только вы обнаружили дубликаты, вы можете отфильтровать таблицу по столбцу "Статус". Этот способ позволяет скрыть повторяющиеся или уникальные записи и даже выделить целые строки и полностью удалить дубликаты из Google Таблиц:

Пример 2. Выявление дублирующихся строк

Аналогичным образом можно отметить строки абсолютных дубликатов - строки, в которых все записи во всех столбцах появляются в таблице несколько раз:

1. Начните с того же COUNTIFS, что и раньше - тот, который сканирует каждый столбец для его первого значения и считает только те строки, где все 3 записи во всех 3 столбцах повторяются:

   =COUNTIFS($A$2:$A$10,$A2,$B$2:$B$10,$B2,$C$2:$C$10,$C2)

2. Затем заключите эту формулу в IF. Она проверяет количество повторяющихся строк, и если оно превышает 1, формула называет строку дубликатом:

   =IF(COUNTIFS($A$2:$A$10,$A2,$B$2:$B$10,$B2,$C$2:$C$10,$C2)>1, "Дубликат","")

Теперь есть только 2 дубликата, потому что даже если вишня встречается в таблице 3 раза, только у двух из них все 3 столбца идентичны.

Пример 3. Найти дублирующиеся строки, игнорировать 1-ые записи

Чтобы игнорировать 1-е вхождение и отметить только 2-е и другие, обращайтесь к первым ячейкам таблицы, а не ко всем столбцам:

=IF(COUNTIFS($A$2:$A2,$A2,$B$2:$B2,$B2,$C$2:$C2,$C2)>1, "Дубликат","")

Совет. Если вы используете Microsoft Excel, вам могут быть полезны следующие примеры: Как найти дубликаты в Excel.

Определение и выделение дубликатов в Google Sheets с помощью правил условного форматирования

Существует возможность обрабатывать повторяющиеся данные таким образом, что один взгляд на вашу таблицу даст вам четкое понимание того, является ли эта запись дублирующей.

Я говорю о выделении дубликатов в Google Sheets. Условное форматирование поможет вам в этом.

Совет. Никогда не пробовали условное форматирование? Не беспокойтесь, мы объяснили, как оно работает, в этой статье.

Вот что вам нужно сделать:

1. Откройте настройки условного форматирования: Формат> Условное форматирование .
2. Убедитесь, что Применить к диапазону поле содержит диапазон, в котором вы хотите выделить дубликаты. Для данного примера начнем со столбца B.
3. В Правила формата выбрать Пользовательская формула и введите тот же COUNTIF, который я ввел выше:

   =COUNTIF($B$2:$B$10,$B2)>1

После того как он найдет записи, которые как минимум дважды встречаются в столбце B, они будут окрашены в выбранный вами оттенок:

Другим вариантом может быть выделение дублирующихся строк. Просто настройте диапазон, к которому будет применяться правило:

Совет. После выделения дубликатов в таблицах Google можно отфильтровать данные по цвету:

• С одной стороны, вы можете отфильтровать столбец так, чтобы видимыми оставались только ячейки с белым цветом заливки. Таким образом, вы удалите дубликаты из представления:

  

• С другой стороны, вы можете оставить видимыми только цветные ячейки:

  

а затем выделите эти строки и полностью удалите дубликаты из Google Таблиц:

Совет. Посетите этот учебник, чтобы узнать больше формул для выделения дубликатов в Google Sheets.

Способы поиска и удаления дубликатов в Google Sheets без формул

Формулы и условное форматирование - это хорошо, но есть и другие инструменты, которые помогут вам найти дубликаты. Два из них были разработаны именно для этой проблемы.

Выявление дубликатов с помощью Pivot table для Google Sheets

Pivot table используется в электронных таблицах, чтобы перевернуть данные и сделать ваши таблицы легко читаемыми и понятными. Это своего рода альтернативный способ представления ваших наборов данных.

Самое привлекательное здесь то, что ваши исходные данные не меняются. Pivot table использует их в качестве ссылки и предоставляет результат на отдельной вкладке.

Этот результат, кстати, будет динамически меняться в зависимости от настроек, которые вы можете изменять на ходу.

В случае повторяющихся записей таблица pivot поможет вам подсчитать и удалить дубликаты в Google Sheets.

Пример 1. Как таблица Pivot подсчитывает дубликаты в Google Sheets

1. Перейти к Вставка> Поворотная таблица Укажите диапазон данных и место для поворотной таблицы:

   

2. В редакторе сводной таблицы добавьте столбец с дубликатами ( Имя в моем примере) для Строки и для Значения .

   Если ваш столбец содержит числовые записи, выберите COUNT в качестве суммарной функции для Значения для подсчета дубликатов в Google Sheets. Если у вас есть текст, выберите COUNTA вместо этого:

   

Если вы все сделаете правильно, в поворотной таблице будет представлен каждый элемент из вашего списка и количество его появлений:

Как вы можете видеть, эта таблица показывает, что в моем наборе данных повторяются только ежевика и вишня.

Пример 2. Удаление дубликатов в Google Sheets с помощью Pivot table

Чтобы удалить дубликаты с помощью поворотной таблицы, необходимо добавить остальные столбцы (2 в моем примере) как Строки для вашей поворотной таблицы:

Вы увидите таблицу с дублирующимися строками, но номера подскажут, какие из них повторяются в исходном наборе данных:

Совет. Если вам больше не нужны цифры, просто закройте окно Значения поле в таблице Pivot, нажав на соответствующий значок в ее правом верхнем углу:

Вот как будет выглядеть ваша таблица pivot в конечном итоге:

Нет дубликатов, нет дополнительных вычислений. Есть просто уникальные записи, отсортированные в одной таблице.

Удаление дубликатов - стандартный инструмент очистки данных

В Google Sheets есть свой небольшой, простой и неприхотливый инструмент для удаления дубликатов. Он называется по имени своей операции и находится в разделе Очистка данных> Очистка данных вкладка:

Вы не найдете здесь ничего необычного, все очень просто. Вы просто указываете, есть ли у вашей таблицы строка заголовка, и выбираете все столбцы, которые должны быть проверены на наличие дубликатов:

Как только вы будете готовы, нажмите на большую зеленую кнопку, и инструмент найдет и удалит дублирующиеся строки из вашей таблицы Google Sheets и скажет, сколько уникальных строк осталось:

Увы, на этом возможности данного инструмента заканчиваются. Каждый раз, когда вам понадобится разобраться с дубликатами, вам придется запускать эту утилиту вручную. Кроме того, это все, что она делает: удаляет дубликаты. Нет никакой возможности обрабатывать их по-другому.

К счастью, все эти недостатки решены в дополнении Remove Duplicates для Google Sheets от Ablebits.

Дополнение "Удаление дубликатов" для Google Таблиц

Дополнение Remove Duplicates - это настоящий инструмент для изменения игры. Для начала, оно содержит 5 различных инструментов для выявления дубликатов в Google Sheets. Но сегодня давайте рассмотрим следующее. Поиск дубликатов или уникальных строк .

Только он предлагает 7 различных способов обработки дубликатов, и он не просто ускоряет весь процесс, он знает, как его полностью автоматизировать.

После установки из Google Workspace Marketplace он появится в разделе Расширения :

Как и стандартный инструмент Google Sheets, он также позволяет выбрать диапазон и столбцы для обработки, но более элегантно :)

Все настройки разделены на 4 удобных для пользователя шага, на которых необходимо выбрать:

1. диапазон
2. что искать: подделки или уникальные экземпляры
3. колонны
4. что делать с найденными записями

Вы можете даже подсмотреть специальные картинки, чтобы всегда было понятно, что делать:

В чем смысл, подумаете вы? Ну, в отличие от стандартного инструмента, это дополнение предлагает гораздо больше:

• находить дубликаты а также уникальные, включая или исключая 1-е вхождения
• выделить дубликаты в Google Sheets
• добавить колонку состояния
• копирование/перемещение результаты на новый лист/подшивку или любое конкретное место в вашей электронной таблице
• ясно найдено значения из клеток
• удаление дубликатов строк из вашего листа Google полностью

Просто выберите способ, который вам больше всего подходит, выберите опции и позвольте дополнению делать свою работу.

Совет. Возможно, это видео немного устарело, но оно прекрасно демонстрирует, насколько просто работать с дополнением:

Сделать так, чтобы дополнение автоматически удаляло дубликаты

В качестве глазури на торте, вы сможете сохранить все настройки всех 4 этапов в сценарии и запустить их позже на любом столе одним щелчком мыши.

Или - еще лучше - запланируйте автоматический запуск этих сценариев на определенное время ежедневно:

Ваше присутствие не обязательно, дополнение будет удалять дубликаты автоматически, даже когда файл закрыт или вы находитесь вне сети. Чтобы узнать больше о нем, пожалуйста, посетите это подробное руководство и посмотрите это демонстрационное видео:

Я рекомендую вам установить дополнение из магазина Google Sheets и поработать с ним. Вы увидите, как легко найти, удалить и выделить дубликаты без формул всего за несколько кликов.

Электронная таблица с примерами формул

Поиск и удаление дубликатов в Google Sheets - примеры формул (сделайте копию электронной таблицы)