Datenanalysen machen – am zeitintensivsten ist dabei nicht das Beschaffen der Daten, sondern das Bereinigen.
Aus ein und derselben Datengrundlage, die man aus unterschiedlichen Quellen zieht, wird ein buntes Sammelsurium: Datumsformate sind nicht einheitlich, es gibt fehlende Werte, doppelte Einträge, und die Einheiten sind auch noch wild gemischt … Die Zeit, die du fürs Bereinigen aufwendest, ist oft ein Mehrfaches dessen, was fürs Abrufen nötig wäre.
Ich habe später daraus gelernt: Bevor man anfängt zu sammeln, setzt man erst die Definitionen fest (Felder, Einheiten, Zeitrahmen, Regeln zur Duplikatbereinigung). Selbst wenn es erstmal eine halbe Stunde mehr kostet, um eine Bereinigungsregel zu schreiben – kann man danach jeden Tag oft ein bis zwei Stunden sparen.
(Abbildung: saubere Daten nach der Bereinigung)
Wenn du auch jeden Tag viel Zeit fürs Sortieren der Daten brauchst, lass uns darüber sprechen, wie man diesen Schritt automatisiert. Erstmal kostenlos – wir können einfach kurz quatschen.
Aus ein und derselben Datengrundlage, die man aus unterschiedlichen Quellen zieht, wird ein buntes Sammelsurium: Datumsformate sind nicht einheitlich, es gibt fehlende Werte, doppelte Einträge, und die Einheiten sind auch noch wild gemischt … Die Zeit, die du fürs Bereinigen aufwendest, ist oft ein Mehrfaches dessen, was fürs Abrufen nötig wäre.
Ich habe später daraus gelernt: Bevor man anfängt zu sammeln, setzt man erst die Definitionen fest (Felder, Einheiten, Zeitrahmen, Regeln zur Duplikatbereinigung). Selbst wenn es erstmal eine halbe Stunde mehr kostet, um eine Bereinigungsregel zu schreiben – kann man danach jeden Tag oft ein bis zwei Stunden sparen.
(Abbildung: saubere Daten nach der Bereinigung)
Wenn du auch jeden Tag viel Zeit fürs Sortieren der Daten brauchst, lass uns darüber sprechen, wie man diesen Schritt automatisiert. Erstmal kostenlos – wir können einfach kurz quatschen.
