Remoção de Palavras-chave Duplicadas

Cole uma lista linha a linha e mantenha apenas os valores únicos. Adicionalmente, pode remover linhas vazias, alterar maiúsculas/minúsculas e ordenar o resultado. Antes de normalizar URLs, endereços de e-mail, referências e identificadores, verifique quais diferenças são relevantes no seu sistema.

O que é considerado exatamente um duplicado

A ferramenta compara cadeias de caracteres, não o seu significado. Duplicados exatos são valores que coincidem após as transformações selecionadas.

Sem limpeza prévia, estas linhas podem ser consideradas diferentes:

Razões para as diferenças:

• maiúsculas/minúsculas diferentes;
• espaço ou tabulação no início ou no fim;
• dois espaços em vez de um;
• espaço inquebrável (NBSP);
• travessões ou aspas diferentes;
• caractere Unicode invisível;
• formas diferentes da palavra ou ordem das palavras.

As frases comprar um sofá e sofá comprar não são duplicados exatos. A sua possível proximidade semântica requer uma análise separada.

Ordem segura para limpar uma lista comum

Para palavras-chave, etiquetas, cidades ou nomes, esta ordem costuma funcionar:

1. guardar uma cópia do original;
2. remover espaços e tabulações nas extremidades das linhas;
3. eliminar linhas vazias;
4. se necessário, uniformizar maiúsculas/minúsculas;
5. remover duplicados exatos;
6. ordenar apenas se a ordem original já não for necessária.

As transformações devem ser aplicadas antes de remover duplicados. Caso contrário, Example e example permaneceriam como linhas separadas e, após uma alteração posterior de maiúsculas/minúsculas, tornar-se-iam dois valores idênticos.

Duplicados exatos e semânticos

Duplicados exatos

Podem ser removidos automaticamente.

Duplicados após normalização simples

Coincidirão após alteração de maiúsculas/minúsculas e remoção de espaços no fim.

Duplicados semânticos ou canónicos

Uma ferramenta básica não deve removê-los automaticamente. Para palavras-chave, é necessária uma análise dos resultados de pesquisa, da intenção e clustering; para produtos, as regras do catálogo; para pessoas e organizações, identificadores ou verificação manual.

Cuidado especial com listas de URLs

Não se pode converter toda a URL para minúsculas sem exceção. Segundo o padrão, o esquema e o nome do host não diferenciam maiúsculas de minúsculas:

Mas o caminho, os parâmetros e o fragmento podem ser sensíveis a maiúsculas/minúsculas em sistemas específicos:

Estes endereços não podem ser considerados uma única URL sem verificação do site.

Além disso, a ferramenta de remoção exata não determinará automaticamente se estas variantes são equivalentes:

A sua unificação depende de redirecionamentos, URLs canónicas, configuração do servidor e da sua tarefa. Primeiro, remova apenas duplicados exatos e, em seguida, analise a canonização separadamente.

O que considerar para endereços de e-mail

A parte do domínio após @ pode ser convertida para minúsculas. Com a parte local antes de @, a situação é mais complexa: o padrão permite sensibilidade a maiúsculas/minúsculas, embora muitos sistemas de e-mail modernos não a utilizem na prática.

Portanto, a conversão completa de todos os endereços de e-mail para minúsculas é geralmente prática para uma base de dados conhecida, mas não deve ser considerada uma regra universalmente infalível. Para envios em massa, também não basta remover duplicados textuais: é necessário considerar o consentimento dos destinatários, endereços inválidos, cancelamentos de subscrição e contactos suprimidos.

Referências, códigos, hashes e identificadores

Nestes valores, as maiúsculas/minúsculas podem fazer parte do identificador:

Antes de alterar maiúsculas/minúsculas, consulte a documentação do CRM, da loja, da API ou da base de dados. O mesmo se aplica a códigos promocionais, tokens, UUIDs em formatos não padronizados, nomes de ficheiros e chaves de objetos.

Unicode e diferenças invisíveis

Um texto aparentemente idêntico pode ser representado por sequências Unicode diferentes. Por exemplo, uma letra com diacrítico pode ser armazenada como um único caractere ou como uma letra seguida por um sinal combinante separado. Uma comparação comum pode considerá-las cadeias diferentes.

Também ocorrem:

• espaço inquebrável (NBSP);
• espaço inquebrável estreito;
• caracteres de largura zero;
• travessões diferentes: -, –, —;
• letras visualmente semelhantes dos alfabetos latino e cirílico.

O utilitário atual não é obrigado a realizar uma normalização Unicode completa nem a detetar substituições de alfabetos. Se após a limpeza permanecerem duplicados misteriosos, verifique os pontos de código com um analisador especializado.

É necessário ordenar o resultado?

A ordenação facilita a visualização e ajuda a detetar linhas semelhantes lado a lado, mas altera a sequência original. Isto pode ser crítico para:

• listas de prioridades;
• filas de tarefas;
• estruturas de menus;
• sequências de comandos;
• dados onde uma linha está ligada a um número ou a uma linha adjacente.

Se a ordem for importante, remova duplicados mantendo a primeira ocorrência e não ative a ordenação.

Cenários práticos

Palavras-chave

Uniformize maiúsculas/minúsculas, limpe as extremidades das linhas e remova duplicados exatos. Não remova permutações de palavras nem formulações próximas sem antes analisar os resultados de pesquisa e clustering.

Lista de domínios

Os nomes de domínio podem ser convertidos para minúsculas. Verifique se a lista não contém URLs completas com caminhos e parâmetros — para estas, as regras são mais rigorosas.

URLs de múltiplas exportações

Primeiro, remova duplicados exatos. Depois, decida separadamente se deve excluir parâmetros UTM, fragmentos, a barra final, o protocolo ou www. Esta decisão não pode ser tomada de forma igual para todos os sites.

Nomes de produtos

A correspondência exata do nome nem sempre significa um duplicado de produto: podem diferir no tamanho, cor, configuração ou SKU. Inversamente, um mesmo produto pode ter nomes ligeiramente diferentes. Utilize a referência ou outro identificador estável.

Base de e-mails

Remova linhas vazias e duplicadas, mas não considere isto como uma preparação completa para envio. São necessárias a verificação de sintaxe, o estado de subscrição, cancelamentos e as regras do serviço de e-mail específico.

Como verificar o resultado

1. Compare o número de linhas antes e depois do processamento.
2. Revise alguns valores removidos, se a interface permitir manter o original ao lado.
3. Certifique-se de que maiúsculas/minúsculas não eram significativas.
4. Verifique o início e o fim da lista após a ordenação.
5. Para dados importantes, faça um teste de importação com uma pequena parte.

Perguntas frequentes

Porque é que linhas semelhantes permaneceram após a remoção de duplicados?

Podem diferir em espaços, maiúsculas/minúsculas, pontuação, caracteres Unicode ou forma das palavras. A ferramenta remove cadeias correspondentes, não o mesmo significado.

Pode-se converter todas as URLs para minúsculas?

Não. É seguro normalizar a casse do esquema e do domínio, mas o caminho e os parâmetros podem ser sensíveis a maiúsculas/minúsculas.

Qual ocorrência é mantida em caso de repetição?

Normalmente, é mantido um dos valores idênticos. Se para a sua tarefa for importante manter a primeira ou a última ocorrência e a ordem associada, verifique o comportamento numa lista de teste curta.

Porque é que a ordenação quebrou a estrutura dos dados?

A ordenação trabalha com cadeias de forma independente e não conhece os seus grupos semânticos. Não a utilize para registos com várias linhas ou colunas relacionadas coladas como texto simples.

A ferramenta removerá duplicados de páginas com parâmetros UTM?

Não como duplicados canónicos: URLs com parâmetros diferentes são cadeias distintas. Para as unificar, é necessário determinar separadamente quais parâmetros podem ser removidos sem alterar o significado.

Ferramentas relacionadas: Processador de texto; Combinador de palavras-chave; Diffchecker.

Padrão oficial:
RFC 3986 — URI Generic Syntax: https://www.rfc-editor.org/rfc/rfc3986