Hacer análisis de datos, en realidad lo que más tiempo consume no es obtener los datos, sino limpiarlos.
Con un mismo conjunto de datos, si lo recoges desde distintas fuentes, los formatos son de todo tipo: el formato de fecha no es uniforme, hay valores vacíos, hay duplicados, y las unidades también se mezclan... El tiempo que inviertes en la limpieza suele ser varias veces mayor que el de la obtención.
Con el tiempo aprendí: antes de capturar, define el criterio de forma estricta (campos, unidades, tiempo, reglas de deduplicación). Aunque tardes media hora más en escribir una regla de limpieza, luego cada día puedes ahorrar una o dos horas.
(Imagen: datos limpios después de la limpieza)
Si cada día también te lleva mucho tiempo ordenar los datos, podemos hablar de cómo convertir ese paso en algo automático. No cuesta nada; hablemos primero.
Con un mismo conjunto de datos, si lo recoges desde distintas fuentes, los formatos son de todo tipo: el formato de fecha no es uniforme, hay valores vacíos, hay duplicados, y las unidades también se mezclan... El tiempo que inviertes en la limpieza suele ser varias veces mayor que el de la obtención.
Con el tiempo aprendí: antes de capturar, define el criterio de forma estricta (campos, unidades, tiempo, reglas de deduplicación). Aunque tardes media hora más en escribir una regla de limpieza, luego cada día puedes ahorrar una o dos horas.
(Imagen: datos limpios después de la limpieza)
Si cada día también te lleva mucho tiempo ordenar los datos, podemos hablar de cómo convertir ese paso en algo automático. No cuesta nada; hablemos primero.
