Cómo eliminar líneas duplicadas de una lista (y las trampas que lo impiden)

Toda lista crece con duplicados. Una lista de correo se pega dos veces. Una columna de una hoja de cálculo acaba con el mismo valor en tres filas. Un copiado y pegado desde un correo arrastra una línea de firma cada vez. Quitarlos parece una tontería, y normalmente lo es, pero cuando no funciona, la causa casi siempre es algo invisible.

Qué hace exactamente la herramienta

La herramienta para eliminar duplicados recorre tu lista de arriba abajo y conserva la primera aparición de cada línea. Todo lo que viene después se va.

Conviene decirlo claro, porque "quitar duplicados" tiene dos posibles significados cuando los duplicados no son idénticos:

Alice, Marketing
Alice, Sales
Alice, Marketing

El resultado es:

Alice, Marketing
Alice, Sales

El primer Alice, Marketing sobrevive y el tercero desaparece, no porque los valores coincidan, sino porque la línea completa coincide con la primera que se vio. Si querías el último, o querías fusionarlos, esta no es la herramienta.

Tres ajustes cambian el comportamiento, y cada uno resuelve una trampa concreta.

Trampa 1: el espacio al final

Este es el motivo más habitual por el que una lista de duplicados evidentes no se deduplica.

Una lista copiada de una hoja de cálculo, de un CSV o de un correo suele llevar caracteres invisibles al final de cada línea. Así que estas dos líneas parecen iguales y no lo son:

apple
apple␠

La primera es apple, la segunda es apple seguido de un espacio. Son cadenas distintas, así que una comparación que hace bien su trabajo se las queda a las dos.

Activa «recortar líneas». Elimina los espacios del principio y del final de cada línea antes de comparar, y las dos se convierten en una.

Te vas a sorprender de la frecuencia con la que esto es todo el problema. Una lista pegada desde una hoja de cálculo es el caso clásico.

Trampa 2: la mayúscula

Apple
apple

Por defecto son dos entradas distintas, y ese valor por defecto es correcto: Apple y apple pueden ser dos productos distintos, dos personas distintas o dos filas en un sistema que las trata como diferentes.

Pero si sabes que son lo mismo, la opción de no distinguir mayúsculas las une, y la copia que sobrevive es la primera: Apple.

Fíjate en la dirección: la línea que sobrevive es la primera, con su capitalización original. Activar la opción no vuelve a poner mayúsculas en la lista.

Trampa 3: el final de línea

Si una lista se escribió en Windows y se pegó en un sitio que espera finales de línea de Unix, algunas líneas pueden terminar en un retorno de carro que las demás no tienen. Visualmente idénticas, técnicamente distintas.

Eso lo resuelve la herramienta por ti: parte los dos tipos de final de línea, así que una lista de Windows y una de Unix se comportan igual. Pero conviene saberlo, porque es el motivo de que una lista pueda fallar en otra herramienta y funcionar perfectamente en esta.

Los tres ajustes, y cuándo recurrir a cada uno

Ordenar cambia el significado, no solo el diseño

Esto es lo que hay que pensar antes de pulsarlo.

Mantener el orden devuelve las líneas que sobreviven en el orden en que aparecían. Es lo que quieres casi siempre: una lista de pasos, una lista de clientes en el orden en que los metiste, una lista de nombres de archivo que corresponde a archivos del disco.

Ordenar las devuelve alfabéticamente. Es lo que quieres para una lista de consulta, una lista de correo que ibas a ordenar de todos modos o un conjunto de etiquetas.

Pero si el orden lleva significado -un procedimiento, una secuencia, una prioridad- ordenarlo lo destruye, y ningún cuidado posterior lo devuelve. Si dudas, mantén el orden.

Lo que no hace

• No encuentra duplicados parecidos. Dos líneas que se diferencian en un carácter son dos líneas distintas. Acme Ltd y Acme Ltd. son dos entradas.
• No quita un duplicado que aparece dos veces dentro de una misma línea. Trabaja línea por línea, así que a, b, a conserva sus dos a.
• No entiende tus datos. No sabe que 123-45-6789 y 123456789 son el mismo número.
• No fusiona. Los duplicados se eliminan, no se combinan.

Una lista corta

• Activa «recortar líneas» primero: es el arreglo más probable y no cuesta nada.
• Gana la primera copia. Si querías la última, esta no es la herramienta.
• Mantén el orden salvo que estés seguro. Ordenar destruye una secuencia.
• Las líneas vacías se eliminan; las que solo tienen espacios se conservan hasta que las recortes.
• Activa la opción de mayúsculas solo cuando estés seguro: Apple y apple suelen ser cosas distintas.
• Los duplicados parecidos no son duplicados. Límpialos a mano.
• Funciona en tu navegador y no guarda ninguna copia de tu lista.