删除重复行
删除列表中的重复行,可保留首次或最后一次出现的行,忽略大小写、去除首尾空格并排序。并显示删除了多少行。
在浏览器中本地处理,你的文本不会被上传。
正在加载工具…
这个工具能做什么
粘贴一个列表,只得到其中不重复的行。它适用于任何按行组织的内容:邮箱地址、URL、关键词、日志条目、SKU、域名列表或导出的 ID。摘要会告诉你一开始有多少行、删除了多少行、还剩多少行。
你可以控制如何比较各行。关闭区分大小写后,“Apple”和“apple”会被视为同一行;去除首尾空格会忽略行首行尾多余的空格;你还可以选择保留每个重复项的第一次或最后一次出现。空行可以原样保留或完全删除,结果还可以按 A 到 Z 或 Z 到 A 排序,并采用自然数字排序(item2 排在 item10 之前)。
默认保持原有顺序,这对有序数据很重要。Windows(CRLF)和 Unix 的换行符都会被识别并保留,处理使用集合查找,因此即使有几十万行,在浏览器中也能很快完成。
使用方法
- 1把你的列表粘贴到输入框(或点击“示例”)。
- 2设置选项:区分大小写、去除空格、空行处理、保留首次或最后一次,以及排序。
- 3查看摘要,了解删除了多少重复行。
- 4复制结果,或将其下载为 .txt 文件。
支持的格式
纯文本,每行一项。换行符(LF、CRLF)会被检测并保留。
隐私
此工具在你的浏览器中运行。你提供的数据在你的设备上处理,不会发送到我们的服务器。
限制
- 各行是作为完整字符串比较的;不支持模糊或部分匹配。
- 不区分大小写的比较使用简单的小写折叠,并不适用于所有语言。
- 排序使用浏览器的区域设置规则,因此带重音字母的顺序在不同浏览器中可能不同。
- 在“保留空行”模式下,空行永远不会被算作重复,即使有很多个。
- 非常大的输入(几十兆字节)可能会很慢,因为所有内容都保存在内存中。
常见问题
会保留原来的顺序吗?
会,除非你选择了排序方式。默认情况下,每一行的第一次出现保持在原来的位置。
如何保留最后一次出现而不是第一次?
在选项中选择“保留最后一个”。每一行的最后一份副本留在原位,较早的副本会被删除。
去除空格有什么作用?
每一行开头和结尾的空格和制表符都会被去掉,输出中也是如此,因此“ apple”和“apple ”会被视为重复。
能处理成千上万行吗?
能。在一般的电脑上,20 万行的列表可以在不到一秒内完成去重。