Удалитель дублирующихся строк — Удаление повторяющихся строк онлайн
Удаляйте дублирующиеся строки из вставленного или загруженного текста. Выберите чувствительное или нечувствительное к регистру сравнение, удалите пробелы перед сравнением, сохраните первое или последнее вхождение, отбросьте пустые строки и сохраняйте или сортируйте порядок вывода — с суммой входящих/исходящих строк.
Ввод
Если отключено, "Apple" и "apple" рассматриваются как дубликаты.
Игнорирует начальные/конечные пробелы при проверке дубликатов (исходная строка остается как есть).
Вывод
Статистика
| Метрика | Значение |
|---|---|
| No data yet | |
Другие способы использовать этот инструмент
REST API
curl -X POST https://api.iotools.cloud/v1/tool/duplicate-lines-remover \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"inputText": "apple\nApple\nbanana\nBanana\ngrape\napple",
"caseSensitive": "true",
"trimWhitespace": "",
"removeBlankLines": "",
"keepOccurrence": "first",
"orderMode": "preserve"
}'Подставьте свой собственный ключ из аккаунта. Поля инструмента — это тело запроса, без обёртки.
Спросите у ИИ-агента
Use the IOTools `duplicate-lines-remover` tool (Duplicate Lines Remover) on this input:
YOUR_INPUT_HEREВставьте это любому агенту, подключённому к MCP-серверу IOTools, и добавьте свой ввод.
Виджет для встраивания
<iframe
src="https://iotools.cloud/embed/duplicate-lines-remover/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="Удалитель дублирующихся строк — Удаление повторяющихся строк онлайн — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>Вставьте это на свою страницу — бесплатно, без ключа, нужна лишь обратная ссылка.
| Стоимость вызова API/MCP | От 5 кредитов |
|---|---|
| Нужно больше кредитов? | Посмотреть тарифы |
Также доступно через
Руководства
Что делает этот инструмент
Вставьте список — письма, строки журнала, ключевые слова, строки CSV, URLs — и этот инструмент удаляет все повторяющиеся строки, оставляя только уникальные записи. Это стандартный шаг очистки перед импортом данных в электронную таблицу, дедубликацией списка рассылки, организацией списка ключевых слов для SEO-работы или обрезкой файла журнала до отдельных сообщений.
Как его использовать
- Вставьте текст в поле Текст для удаления дубликатов или загрузите файл
.txtнапрямую. - Отрегулируйте параметры ниже, чтобы соответствовать тому, как вы хотите, чтобы дубликаты были обнаружены и обработаны.
- Поле Текст без дубликатов обновляется автоматически вместе с таблицей статистики, показывающей входящие строки, удаленные пустые строки, удаленные дублирующиеся строки и исходящие строки.
- Скопируйте или загрузите результат.
Объяснение параметров
- Сравнение с учетом регистра — включено по умолчанию, поэтому
Appleиappleсчитаются разными строками. Отключите, чтобы рассматривать различные прописные буквы как дубликаты. - Удалить пробелы перед сравнением — игнорирует начальные/конечные пробелы при проверке совпадения (например
"cat"и"cat "рассматриваются как одна строка), без изменения фактического содержания сохраняемой строки. - Удалить пустые строки — удаляет все пустые или содержащие только пробелы строки из вывода, независимо от обнаружения дубликатов.
- Какое вхождение сохранить — когда строка повторяется, сохраните первое появление или последнее. Сохранение последнего вхождения полезно, когда более новая запись в списке (например, обновленный статус) должна иметь приоритет.
- Порядок вывода — сохранить оставляет строки в исходном порядке; сортировать А → Я сортирует результат дедубликации в алфавитном порядке.
Пример
Входные данные:
apple
Apple
banana
Banana
grape
appleПри сравнении с учетом регистра удаляется только второе apple (5 строк на выходе). При сравнении без учета регистра Apple/Banana/второе apple считаются дубликатами первого вхождения apple/banana, оставляя только apple, banana, grape (3 строки на выходе).
Почему бы не использовать электронную таблицу?
Функция "удалить дубликаты" электронной таблицы нечувствительна к регистру, не позволяет выбрать первое-vs-последнее вхождение и требует импорта/экспорта файла. Этот инструмент работает непосредственно с обычным текстом, поэтому подходит для скриптов, столбцов CSV, вставленных как текст, и быстрой очистки без открытия другого приложения.
Конфиденциальность
Этот инструмент работает полностью в вашем браузере — ваш текст никогда не покидает ваше устройство и не касается сервера, даже при использовании загрузки файла.