删除重复行工具 — 在线删除重复行
从粘贴或上传的文本中删除重复行。选择区分大小写或不区分大小写的匹配、比较前删除空格、保留首次或最后一次出现、删除空白行以及保留或排序输出顺序 — 带有输入/输出行的摘要。
输入
Drop a file or browse
One file · text
或
关闭时，"Apple"和"apple"被视为重复项。
检查重复项时忽略前导/尾部空格（原始行保持不变）。
输出
已删除重复的文本
统计信息
结果
| 指标 | 值 |
|---|---|
| No data yet | |
这对您有帮助吗？
使用此工具的更多方式
REST API
curl -X POST https://api.iotools.cloud/v1/tool/duplicate-lines-remover \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"inputText": "apple\nApple\nbanana\nBanana\ngrape\napple",
"caseSensitive": "true",
"trimWhitespace": "",
"removeBlankLines": "",
"keepOccurrence": "first",
"orderMode": "preserve"
}'替换成您账户中的密钥。工具的字段即为请求体——没有额外包装。
让 AI 代理执行
Use the IOTools `duplicate-lines-remover` tool (Duplicate Lines Remover) on this input:
YOUR_INPUT_HERE将此粘贴给任何已连接 IOTools MCP 服务器的代理,再加上您的输入内容。
嵌入式小组件
<iframe
src="https://iotools.cloud/embed/duplicate-lines-remover/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="删除重复行工具 — 在线删除重复行 — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>把它放到您自己的页面上——免费,无需密钥,只需保留一个反向链接。
| 每次 API/MCP 调用费用 | 5 积分起 |
|---|---|
| 需要更多积分? | 查看定价 |
也可通过
使用指南
此工具的功能
粘贴一个列表 — 电子邮件、日志行、关键字、CSV行、URL — 此工具会删除所有重复的行，仅保留唯一的条目。这是将数据导入电子表格之前的常见清理步骤，可用于删除邮件列表中的重复项、整理SEO工作的关键字列表或将日志文件精简为不同的消息。
如何使用
- 将文本粘贴到要删除重复项的文本框中，或直接上传
.txt文件。 - 调整下方的选项，以匹配您希望检测和处理重复项的方式。
- 已删除重复的文本框会自动更新，并显示一个统计表，其中包含输入行、删除的空白行、删除的重复行和输出行。
- 复制或下载结果。
选项说明
- 区分大小写的比较 — 默认启用，因此
Apple和apple被视为不同的行。关闭此选项可将不同的大小写视为重复项。 - 比较前删除空格 — 检查匹配时忽略前导/尾部空格（例如
"cat"和"cat "被视为相同的行），而不改变保留的实际行内容。 - 删除空白行 — 从输出中删除所有空或仅空格的行，与重复检测无关。
- 保留哪个出现 — 当一行重复时，保留它第一次出现或最后一次出现。当列表中的较晚条目（例如更新的状态）应优先时，保留最后一次出现是有用的。
- 输出顺序 — 保留原始顺序按原始顺序保留行；按A→Z排序将删除重复的结果按字母表顺序排列。
示例
输入：
apple
Apple
banana
Banana
grape
apple使用区分大小写的比较，仅删除第二个apple（5行输出）。使用不区分大小写的比较，Apple/Banana/第二个apple都被视为apple/banana第一次出现的重复，仅保留apple、banana、grape（3行输出）。
为什么不使用电子表格？
电子表格的"删除重复项"功能仅不区分大小写，不允许您选择首次-vs-最后出现，并需要导入/导出文件。此工具直接用于纯文本，因此适用于脚本、作为文本粘贴的CSV列以及快速清理，无需打开其他应用程序。
隐私
此工具完全在您的浏览器中运行 — 您的文本永远不会离开您的设备或接触服务器，即使在使用文件上传时也是如此。
deduplicatetextlinesuniquecleanup