Инструмент Text

Удалить повторяющиеся строки

Вставьте по одному элементу в строку. Повторяющиеся элементы исчезают в один клик.

Запускается в вашем браузере. Нет загрузки.

Здесь появится ваш очищенный список.

Удалено повторов: 0

Об этом инструменте

Удалить повторяющиеся строки — это просто.

Полезно для списков ключевых слов, URL-адресов, имен, идентификаторов, тегов и скопированных строк электронной таблицы.

Справка

Как пользоваться: Удалить повторяющиеся строки

«Удалить повторяющиеся строки» очищает список, в котором есть повторяющиеся строки. Вы вставляете по одному элементу в строке, выбираете несколько параметров и нажимаете кнопку. Инструмент оставляет первую копию каждой строки, удаляет последующие и сохраняет исходный порядок. Он также сообщает, сколько дубликатов удалил. Хорошо подходит для ключевых слов, URL, имён, тегов и строк, скопированных из электронной таблицы. Он не сортирует список и не ищет строки, которые лишь похожи.

Пошагово

  1. Вставьте список в поле, по одному элементу в строке.
  2. Оставьте отмеченным «Обрезать пробелы», чтобы игнорировать пробелы в начале и конце каждой строки. Отметьте «Игнорировать регистр», если Apple и apple должны считаться одним и тем же.
  3. Оставьте отмеченным «Удалять пустые строки», чтобы убрать пустые строки. Снимите отметку, если хотите оставить одну пустую строку.
  4. Нажмите «Удалить дубликаты». Очищенный список появится во втором поле, а счётчик покажет, сколько дубликатов исчезло.
  5. Нажмите «Копировать результат», чтобы скопировать очищенный список, или «Очистить», чтобы очистить оба поля.

Разобранные примеры

Простой список слов

Вы вводите
Текст
яблоко банан яблоко вишня банан
Обрезать
да
Игнорировать регистр
нет
Удалять пустые
да
Вы получаете
Список
яблоко банан вишня
Дубликатов удалено
2

Второе яблоко и второй банан — повторы, поэтому они удаляются. Пустая строка в конце отбрасывается параметром удаления пустых строк и не учитывается.

Не рассчитано инструментом. Воспринимайте как иллюстрацию.

То же слово, разные заглавные буквы

Вы вводите
Текст
Яблоко яблоко ЯБЛОКО Груша
Обрезать
да
Игнорировать регистр
да
Удалять пустые
да
Вы получаете
Список
Яблоко Груша
Дубликатов удалено
2

При включённом «Игнорировать регистр» три написания считаются одной позицией. Остаётся первая, Apple. При выключенном «Игнорировать регистр» остались бы все четыре строки.

Не рассчитано инструментом. Воспринимайте как иллюстрацию.

Лишние пробелы вокруг строки

Вы вводите
Текст
красный красный красный красный
Обрезать
да
Игнорировать регистр
нет
Удалять пустые
да
Вы получаете
Список
красный
Дубликатов удалено
3

«Обрезать пробелы» убирает пробелы до сравнения строк, поэтому все четыре строки оказываются одним и тем же словом. Если «Обрезать пробелы» выключено, с первым совпадает только последнее точное красный, и результат такой: красный, пробел красный и красный пробел.

Не рассчитано инструментом. Воспринимайте как иллюстрацию.

Строки электронной таблицы с табуляциями

Вы вводите
Текст
id1 Анна id2 Бен id1 Анна
Обрезать
да
Игнорировать регистр
нет
Удалять пустые
да
Вы получаете
Список
id1 Анна id2 Бен
Дубликатов удалено
1

Каждая строка сравнивается целиком, включая табуляцию. Повторяющаяся строка id1 Anna удаляется, а первая копия остаётся на месте.

Не рассчитано инструментом. Воспринимайте как иллюстрацию.

Когда это полезно

  • Очистите список ключевых слов, прежде чем вставлять его в рекламный или SEO-инструмент.
  • Удалите повторяющиеся URL из списка ссылок, собранных за долгое время.
  • Приведите в порядок список имён электронной почты, идентификаторов или тегов, скопированный из столбца таблицы.
  • Объедините два списка, вставив оба, а затем удалив строки, которые встречаются в обоих.
  • Подготовьте чистый список имён для жеребьёвки или переклички.

Ограничения, которые стоит учитывать

  • Дубликатами считаются только строки, совпадающие полностью. Строка, которая лишь близка по написанию, например с опечаткой, остаётся.
  • При выключенном «Обрезать пробелы» строка с пробелом в конце отличается от той же строки без него.
  • Счётчик показывает только удалённые дубликаты. Пустые строки, отброшенные параметром удаления пустых строк, в нём не учитываются.
  • Инструмент сохраняет первую копию и порядок. Он не умеет сортировать список или выбирать, какую копию оставить.

Советы

  • Включите «Обрезать пробелы» и «Игнорировать регистр» для текста, который вводят люди, потому что небольшие различия там обычны.
  • Для данных электронной таблицы копируйте строку целиком, только если должна совпадать вся строка. Чтобы сравнивать по одному столбцу, копируйте только этот столбец.
  • Посмотрите на результат, прежде чем вставлять его обратно куда-либо, потому что инструмент не может отменить удаление в вашем источнике.
  • Храните исходный список в другом месте, пока не проверите очищенный.

Руководства UsefulVerse

Все руководства

Общие вопросы

О сервисе «Удалить повторяющиеся строки».

Сохраняет ли он первую или последнюю копию строки?

Он сохраняет первую копию и удаляет последующие. Оставшиеся строки сохраняют исходный порядок, поэтому список никогда не пересортировывается.

Меняет ли «Игнорировать регистр» текст, который я получаю?

Нет. Он лишь меняет способ сравнения строк. Остающаяся строка показывается в точности так, как вы её ввели, поэтому если Apple стоит первым, вы получите Apple.

Что делает «Обрезать пробелы»?

Он удаляет пробелы и табуляции в начале и конце каждой строки перед проверкой. Очищенные строки в результате тоже обрезаны, поэтому в выводе этих пробелов не будет.

Почему пустая строка остаётся, когда я снимаю флажок пустых строк?

Пустые строки обрабатываются как любые другие. Одна пустая строка сохраняется как первая копия, а остальные считаются дубликатами. Снова отметьте этот параметр, чтобы удалить их все.

Можно ли удалить дубликаты из строк Excel?

Да. Скопируйте строки, вставьте их сюда и нажмите кнопку. Каждая строка сравнивается целиком, включая табуляции. Проверьте результат, прежде чем вставлять его обратно в таблицу.

Находит ли он строки, которые почти одинаковы?

Нет. Он находит только точные совпадения после выбранных вами параметров. Две строки, отличающиеся буквой, тире или диакритическим знаком, считаются разными.

Есть ли ограничение на длину списка?

Код не ограничивает число строк. Очень большая вставка зависит от вашего браузера и устройства, поэтому для огромных списков работайте частями и проверяйте количество.

Загружается ли мой список?

Нет. Строки сравниваются в вашем браузере, и страница не отправляет их на сервер. Нажатие «Очистить» опустошает оба поля.

Чем это отличается от команды сортировки с уникальными значениями?

Команда сортировки с уникальными значениями упорядочивает строки. Этот инструмент оставляет порядок как есть и удаляет только последующие повторы, что лучше, когда порядок важен.

Как удалить повторяющиеся строки из списка?

Вставьте по одному элементу в строку, выберите, следует ли обрезать пробелы или игнорировать регистр букв, затем выберите «Удалить дубликаты».

Изменяет ли удаление дубликатов порядок?

Нет. Первое вхождение каждой строки остается в исходном положении.

Могу ли я использовать этот инструмент на телефоне?

Да. Откройте страницу в современном мобильном браузере. Инструмент предназначен для работы на телефонах и обрабатывает вводимые вами данные на вашем устройстве.