Remover linhas duplicadas

Sobre o removedor de linhas duplicadas

Retira as linhas repetidas de uma lista, mantendo apenas a primeira aparição de cada uma. É a solução rápida para desduplicar uma lista de e-mails ou endereços, limpar um export mesclado onde as linhas aparecem duas vezes, arrumar uma lista de palavras-chave ou tags, ou reduzir um log às suas linhas únicas. As opções permitem tratar as linhas como duplicadas mesmo quando diferem apenas por maiúsculas ou por espaços iniciais e finais.

Como funciona

Divide seu texto em linhas e percorre-as em ordem, lembrando quais já viu. A primeira vez que uma linha aparece ela é mantida; qualquer linha idêntica posterior é descartada, e uma contagem ao vivo informa quantas duplicatas foram removidas. O que conta como "idêntico" depende dos interruptores:

• Aparar espaços — espaços iniciais/finais são ignorados na comparação (e aparados na saída).
• Ignorar maiúsculas — Apple e apple são tratadas como a mesma linha.
• Remover linhas em branco — linhas vazias são descartadas por completo em vez de mantidas.

Suposições e comportamento

• A primeira ocorrência vence e a ordem original das linhas restantes é preservada — não ordena.
• As comparações aplicam aparo e dobra de maiúsculas apenas se você ativar; por padrão, as linhas precisam corresponder exatamente (incluindo espaçamento e maiúsculas) para contar como duplicatas.
• Com aparar ligado, as linhas mantidas são exibidas aparadas, não apenas comparadas aparadas.

Limitações

• Ele remove duplicatas de linha inteira apenas — não consegue encontrar palavras duplicadas dentro de uma linha, nem quase-duplicatas que diferem por um caractere ou pontuação.
• "Ignorar maiúsculas" usa uma simples conversão para minúsculas, confiável para o inglês mas pode não dobrar cada caractere acentuado ou não latino como uma comparação consciente da localidade faria.
• Ele mantém a primeira de cada duplicata; não há opção de manter a última.
• Listas muito grandes são processadas na memória do seu navegador, então arquivos extremamente grandes dependem da RAM disponível.

Privacidade

A desduplicação roda inteiramente no seu navegador. Sua lista nunca é enviada ou armazenada.