Datos sucios: por qué nadie confía en los números

¿Qué es exactamente un dato sucio?

No es un dato falso. Es un dato que la máquina no puede comparar con otro, y casi siempre viene de que un humano escribió lo mismo de dos maneras. Cinco tipos cubren casi todo lo que encontramos.

Tipo	Cómo se ve	Qué regla lo sostiene
La misma entidad escrita distinto	“Const. del Istmo” y “Constructora del Istmo S.A.”	Normalización más unificación con revisión humana
Identificador sin formato único	Cédulas con guion, sin guion y con espacios	Un formato único y validación al capturar
Fechas y números mezclados	Día y mes invertidos, comas y puntos como decimal	Conversión con reglas explícitas y revisión de los extremos
Vacíos con significados distintos	Celda vacía, “N/A”, un cero que quería decir nada	Un único valor para ausente, documentado
Duplicados parciales	Dos filas de la misma venta con un campo distinto	Clave de negocio y criterio de cuál gana

El cuarto es el más traicionero. Un cero y un vacío se suman distinto: el cero entra en el promedio y el vacío no. Un reporte de margen promedio con ceros que en realidad significan “no se registró” da un número equivocado sin que nada falle.

¿Por qué una limpieza de una sola vez no sirve?

Porque la suciedad no es un estado, es un flujo.

Entra todos los días por donde se capturan los datos: recepción, el formulario del sitio, la hoja que llena un vendedor en el carro. Mientras esa puerta siga abierta, cualquier limpieza es temporal.

Lo hemos visto varias veces y siempre termina igual. Alguien hace un proyecto de limpieza, los datos quedan impecables, los reportes cuadran durante unas semanas, y seis meses después el problema está igual. No fue trabajo mal hecho: fue trabajo aplicado en el sitio equivocado.

Las dos piezas que de verdad sostienen la calidad:

Validación donde el dato entra

Es la más barata y la que nadie quiere pagar, porque no se ve. Un campo que exige el formato de la cédula, una fecha que no acepta el futuro, un producto que se elige de una lista en vez de escribirse.

Cada validación en el punto de entrada evita una regla de limpieza para siempre.

Reglas que corren en cada carga

Las reglas de normalización no se ejecutan a mano: viven en el proceso que mueve los datos y corren cada vez. Para esto sirven herramientas como pandas cuando el proceso está en Python, o las pruebas de datos de dbt cuando la transformación vive en la base. Referencias consultadas el 27 de octubre de 2026.

Y junto a las reglas, las comprobaciones que fallan ruidosamente: que no haya registros sin cliente, que los montos negativos sean los que deben ser, que el total de la carga se parezca al de la carga anterior. Un proceso de datos que nunca se queja es un proceso que no está mirando.

¿Cómo se limpia sin romper nada?

Tres principios que aplicamos siempre, y el primero es el que más discusiones evita.

El dato original no se toca. Se guarda tal como vino y se agrega el valor normalizado al lado. Si la regla estaba mal, se corrige y se vuelve a aplicar. Sin esto, un error de limpieza es irreversible.

Lo dudoso se marca, no se adivina. Si no se puede decidir si dos clientes son el mismo, el par va a una lista para que lo resuelva alguien del negocio.

Adivinar produce un dato limpio y falso, que es el peor de los dos mundos.

Las reglas las decide quien conoce el negocio. Nosotros ponemos la infraestructura y los casos raros; qué cuenta como el mismo cliente lo decide quien le factura.

Nuestra opinión sobre un orden que casi todo el mundo invierte: no conviene montar paneles ni reportes nuevos antes de resolver esto. Un panel sobre datos sucios no es neutral, es activamente dañino: le da autoridad de pantalla a un número que está mal, y la gente toma decisiones con él. Primero los datos comparables, después las vistas bonitas. Lo que sí vale la pena montar después, y cómo distinguirlo de un panel decorativo, está en tengo los datos pero no me dicen nada.

Cuando el problema no es la suciedad sino que todo vive en archivos separados, el trabajo es el de de veinte hojas de cálculo a una sola base de datos. Y la capa que aplica estas reglas en cada carga es la del medio de un pipeline de datos. Lo que hacemos con datos está en datos e inteligencia de negocio.

Lo que conviene recordar

• La desconfianza en los números viene de muchos errores chicos, no de uno grande.
• Un vacío y un cero no son lo mismo, y confundirlos cambia cualquier promedio.
• Una limpieza de una sola vez dura meses. Lo que sostiene la calidad es la validación en el punto de entrada.
• Guarda siempre el dato original al lado del normalizado: así una regla equivocada se puede corregir.
• Marca lo dudoso en vez de adivinar, y deja que el negocio decida las reglas.