de en en en de eo en de pl en en en en de de en en de de de de de de de de de de de de de de de de de de de de de de de de de de en de de en de de de de de de de de de de fi de de de de en sv de de de it de de de de en de en de de de de de de de de de de de de de de de de nl en de en de de de de de de de de de it de de de de en de en de de de de de de de de de it de de de de en de en de de de de de de de de de de de it de it it de de en en de en de de de de de de de de de it de de de de en de en de de de de de de de de de it de de de de en de en de de de de de de de de de it de de de de en de en de de de de de de de de de de it de de de de en de en de de de de de de de de de sl de it de sl de it de de de de en de en de de de de de de de de de it de en de de de de de en de de de de en de de de de de de de de de de de de de de de pt en de de de en de de de de de de de de hbs_lat de de de en en en de it de ar en en en de eo en de pl de de de
Verfasst von Marco Geuer am 29. Oktober 2017. Veröffentlicht in Blog - Datenqualität & Data Governance
Für eine optimale Bewertung und Messung der Datenqualität sowie der Ableitung gezielter Verbesserungsmaßnahmen, müssen im Vorfeld entsprechende Datenqualitätskriterien definiert werden.
Erfahrunggemäß kommen die nachfolgend aufgeführten 11 Datenqualitätskriterien zur Anwendung. In den seltensten Fällen werden hierbei alle gleichzeitig angewendet. Vielmehr wird eine Auswahl aus den 11 Kriterien entsprechend der Sinnhaftigkeit und dem Zweck getroffen. Besonders bei der erstmaligen Definition von Datenqualitätskriterien empfehle ich die 2 - 3 offensichtlichsten anzuwenden. Erfahrungsgemäß bestehen diese meist aus den ersten 6 der Auflistung. Im Laufe der Zeit können in einem iterativen Prozess und entsprechend gesteigerter Lernkurve weitere Kriterien hinzugenommen werden.
Das nachfolgende Schaubild zeigt beispielhaft, wie die Kriterien in der Praxis zur Anwendung kommen können.
Eine detaillierte Beschreibung jedes einzelnen Datenqualitätskriterums  können Sie hier nachlesen.
Ein Datensatz muss alle notwendigen Attribute enthalten.
Attribute müssen alle notwendigen Daten enthalten.
Geschäftsregeln definieren die Kriterien für 100% Vollständigkeit.
Erreichungsgrad Vollständigkeit = 0 - 100%
Das Attribut "Kundennummer" identifiziert einen Kunden und muss immer gefüllt sein.
Ein vollständiger "Kundenadressdatensatz" besteht aus folgenden Attributen.
Fehlt eines oder mehrere Attribute, ist der Datensatz nicht vollständig.
100.000 Kundendatensätze liegen vor. Davon sind im Attribut "Kundennummer" 2.000 Feldeinträge leer.
Jeder Datensatz muss eindeutig interpretierbar sein.
Datenelement, das gegen sich selbst oder sein Gegenstück in einem anderen Datensatz oder einer Datenbank gemessen wurde.
Erreichungsgrad Eindeutigkeit = 0 - 100%
Zwei Datensätze (z.B. Kundenadressdatensatz) mit unterschiedlicher ID (Kundennummer) unterscheiden sich in allen weiteren Attributen z.B. nur in einem weiteren Merkmal (Geburtsdatum)
Alle weiteren Attribute wie z.B. Name, Vorname, Straße, Hausnummer, PLZ, Ort, sind identisch.
Es besteht berechtigter Zweifel, ob es sich hier tatsächlich um zwei unterschiedliche Kunden handelt. Zusätzlich entsteht der Zweifel, ob eines oder sogar keines der Geburtsdaten richtig ist. Somit sind beide Datensätze nicht mehr eindeutig interpretierbar.
Statt 1.000 Kunden ergibt die Dublettenanalyse 960 Kunden.
Die Daten müssen mit der Realität übereinstimmen
Mapping gegen Daten, deren Korrektheit bestätigt ist oder eine definierte, abgestimmte Plausibilitätsregel.
Erreichungsgrad Korrektheit: 0 - 100%
Das Geburtsdatum natürlicher Personen (Endkunden) ist häufig mit dem Wert 01.01.1900 belegt. Im Jahr 2017 kann man davon ausgehen, das die wenigsten Personen > 105 Jahre sind. Es ist zu prüfen, bei wie vielen Kunden das Geburtsdatum 01.01.1900 vorkommt.
100.000 Kundendatensätze liegen vor. Davon sind im Attribut "GebDat" 5.000 Kunden mit dem Datum 01.01.1900 belegt.
100.000 - 5.000 = 95.000
95.000 / 100.000 x 100 = 95 % Korrektheit
Alle Datensätze müssen jeweils dem aktuellen Zustand der abgebildeten Realität entsprechen.
Geschäftsregeln definieren den Zeitpunkt oder Zeitraum in dessen die reale Aktualität zu 100% repräsentiert wird.
Erreichnungsgrad Aktualität = 0 - 100%
Es wird eine Interessentendatenbank mit 100.000 Interessenten permanent vorgehalten. Da Interessenten im Laufe der Zeit umziehen oder versterben verlieren auch die gespeicherten Daten zunehmend an Aktualität. Durch verschiedene Maßnahmen (z.B. telefonisches Nachfragen, Abgleich Daten Einwohnermeldeamt, usw.) soll überprüft werden, welche Interessentendaten noch aktuell sind.
Von 100.000 Interessentendaten sind 15.000 Daten nicht mehr aktuell.
100.000 - 15.000 = 85.000
85.000 / 100.000 x 100 = 85% Aktualität
Die Daten müssen in der jeweils geforderten Exaktheit vorliegen.
Geschäftsregeln definieren die Kriterien für 100% Genauigkeit.
Erfüllungsgrad Genauigkeit: 0 - 100%
Es ist vereinbart, dass Zahlenwerte immer mit zwei Stellen hinter dem Komma (####,00)angegeben werden müssen. Ein Datum ist immer in dem Format (tt.mm.jjjj) anzugeben.
In Rahmen einer Auswertung wird festgestellt, das Zahlen (z.B. 1.000; 500,1) wie auch Datumswerte (z.B. 12.30.2017; 22/06/2017) von der definierten Regel abweichen.
Es soll geprüft werden, wie häufig eine Regelverletzung vorliegt.
Prüfung: Von 100.000 Datensätze des Attributs "Preis" = 3.000 Regelverletzungen und des Attributs "Bestelldatum" 1.000 Regelverletzungen.
100.000 - 3.000 = 97.000
97.000 / 100.000 x 100 = 97% Genauigkeit "Preis"
100.000 - 1.000 = 99.000
99.000 / 100.000 x 100 = 99% Genauigkeit "Bestelldatum"
Ein Datensatz darf in sich und zu anderen Datensätzen keine Widersprüche aufweisen.
Geschäftsregeln definieren die Kriterien für 100% Konsistenz.
Erfüllungsgrad Konsistenz = 0 - 100%
Mehrere Attribute (Kundennummer, Vorname, Nachname, Straße, Hausnummer, PLZ, Ort) definieren einen Kundendatensatz. Für die korrekte Abwicklung von Geschäftsvorfällen müssen die Kundendatensätze 100% konsistent sein. Für die einzelnen Attribute eines Kundendatensatzes wurden Datenqualitätskriterien (z.B. Vollständigkeit und Eindeutigkeit) definiert und gemessen.
Bei 100.000 Datensätzen wurden 21.000 Datensätzen identifiziert, bei denen mind. 1 Attribut von den Attributen, die einen Datensatz definieren, die Datenqualitätskriterien verletzt.
100.000 - 21.000 = 79.000
79.000 / 100.000 x 100 = 79% Konsistenz "Kundendatensätze"
Innerhalb der Datensätze dürfen keine Dubletten vorkommen.
Datenelement, das gegen sich selbst oder sein Gegenstück in einem anderen Datensatz oder einer Datenbank verglichen wurde.
Erfüllungsgrad Redundanzfreiheit = 0 - 100%
Aus verschiedenen Datenquellen wurden redundant vorgehaltene Kundendaten zusammengeführt. Bei Auswertungen wurde festgestellt, dass die Vereinheitlichung nicht vollständig funktioniert hat. Jede Kundennummer darf nur einmal vorkommen.
Die Dublettenprüfung ergibt, dass von 100.000 Kundennummern 8.000 doppelt vorliegen.
100.000 - 8.000 = 92.000
92.000 / 100.000 x 100 = 92% Redundanzfreiheit
Der Informationsgehalt von Datensätzen muss den jeweiligen Informationsbedarf erfüllen.
Geschäftsregeln definieren die Kriterien für 100% Relevanz.
Erfüllungsgrad Relevanz = 0 - 100%
Für die Erstellung von Quartalsberichten sind nur die Rechnungen relevant, deren Rechnungsdatum innerhalb des Quartals liegen. Beim Vergleich von unterschiedlichen Reports des selben Quartals fällt auf, das Kennzahlen immer wieder differieren. Zurückzuführen ist dies auf den Umstand, dass immer wieder Rechnung einfließen, welche für das jeweils definierte Quartal nicht relevant sind.
Für Q1 sind 100.000 Rechnungen einbezogen worden. Eine Prüfung ergibt, das 3.500 Rechnungen nicht berücksichtigt werden dürfen.
100.000 - 3.500 = 96.500
96.500 / 100.000 x 100 = 96,5% Relevanz
Die Informationen eines Datensatzes müssen einheitlich strukturiert sein. Das heißt, eine Menge von Daten wird fortlaufend einheitlich präsentiert.
Geschäftsregeln definieren die Kriterien für 100% Einheitlichkeit.
Erfüllungsgrad Einheitlichkeit = 0 - 100%
Kundenadressen sind entsprechend der Rechtschreibregeln zu erfassen.
Es wird z.B. festgestellt, dass Ortsnamen in verschiedenen Schreibweisen erfasst wurden. (z.B. Köln, Koeln, KÖLN, KOELN)
Von 100.000 Ortsnamen weichen 25.000 Ortsnamen von der vereinbarten Schreibregel ab.
100.000 - 25.000 = 75.000
75.000 / 100.000 x 100 = 75% Einheitlichkeit "Ortsnamen"
Die Entstehung der Daten muss nachvollziehbar sein.
Geschäftsregeln definieren die Kriterien für 100% Zuverlässigkeit.
Erfüllungsgrad der Zuverlässigkeit = 0 - 100%
Es ist vereinbart täglich bis 07:00 Uhr eine bestimmte Menge an Daten vom CRM-System an das Abrechnungssystem zu liefern. Im Laufe der Zeit wird festgestellt, das entweder die Datenlieferung zu spät erfolgt oder nur einen Teil der vereinbarten Daten geliefert wurde.
Im Zuge von Bigdata werden immer mehr Daten gesammelt und ausgewertet. Dabei gibt es Daten aus verlässlichen Quellen, d.h. die Entstehung der Daten und deren Qualität ist bekannt. Andererseits gibt es Daten z.B. aus öffentlichen Quellen, bei denen nicht bekannt ist, wie diese entstehen. Genau bei diesen werden auch immer wieder Schwankungen in der Datenqualität festgestellt.
Von 100 Lieferterminen wurden 5 Liefertermine nicht eingehalten.
100 - 5 = 95
95 / 100 x 100 = 95% Zuverlässigkeit (Liefertermin)
Von 100 Attributen kommen 20 Attribute aus unzuverlässigen Quellen.
100 - 20 = 80
80 / 100 x 100 = 80% Zuverlässigkeit.
Die Datensätze müssen in ihrer Begrifflichkeit und Struktur mit den Vorstellungen der Informationsempfänger (z.B. Fachbereiche) übereinstimmen.
Geschäftsregeln definieren die Kriterien für 100% Verständlichkeit.
Erfüllungsgrad Verständlichkeit = 0 - 100%
Für die Datenlieferung eines Reports wurde vereinbart, dass die Attributnamen mit verständlichen Begriffen geliefert werden (z.B. cnvn45 = Name). Darüber hinaus sollen Attribute mit codierten Klassifizierungs-Feldeinträgen in Begriffe transferiert werden (z.B. 1 = Herr, 2 = Frau, 3 = Firma).
Bei 100 Attributen wurden 5 Attribute mit kryptischen Namen geliefert und bei 2 Attributen wurde die codierte Klassifizierung nicht transformiert.
100 - 7 = 93
93 / 100 x 100 = 93% Verständlichkeit
Data Strategy Lifecycle wirkungsvoll im Unternehmen einführen
Data Catalogue – Beschleuniger der Datenkompetenz (Data Literacy)
Data Governance, der Schlüssel zu einer erfolgreichen datenintelligenten Organisationskultur
Data Strategy: Welche Erfolgsfaktoren sind relevant für nachhaltige Wettbewerbsvorteile durch KI-basierte Datenanalysen und Digitalisierung?
Data Governance: Vom Model Driven Design (MDD) zum Data Catalog
Data Governance: Vom Data Profiling zur ganzheitlichen Leistungsbewertung von Daten
Prozessorientierter Data Quality Index erfolgreich einführen
Wie Sie schnell bewerten können, ob Sie ein Problem mit der Datenqualität haben
Logikbäume: Mehr Transparenz zur Wirkung schlechter Datenqualität auf Unternehmensziele
Tags: Datenqualitätssicherung, Datenqualität messen, Datenqualität verbessern, Datenqualitätskriterien, Data Quality Dimensions
Der Zusammenhang von Data Strategy, Data Governance & Data Driven Culture
Data Strategy Lifecycle wirkungsvoll im Unternehmen einführen
Data Catalogue – Beschleuniger der Datenkompetenz (Data Literacy)
Data Strategy: Erfolgsfaktoren für nachhaltige Wettbewerbsvorteile durch KI-basierte Datenanalysen und Digitalisierung
Data Governance, der Schlüssel zu einer erfolgreichen datenintelligenten Organisationskultur
Data Catalogue – Beschleuniger der Datenkompetenz (Data Literacy)
Data Governance, der Schlüssel zu einer erfolgreichen datenintelligenten Organisationskultur
Data Strategy: Erfolgsfaktoren für nachhaltige Wettbewerbsvorteile durch KI-basierte Datenanalysen und Digitalisierung
Data Strategy Lifecycle wirkungsvoll im Unternehmen einführen
Der Zusammenhang von Data Strategy, Data Governance & Data Driven Culture
Workshops: Data Governance & Data Quality
Mit einer nachhaltigen Data Governance Strategie wird die Einhaltung von Qualitäts-, Sicherheits- und Verarbeitungsstandards für Daten im Unternehmen sichergestellt. Sie beinhaltet Richtlinien und Vorgehensweisen im Umgang mit Daten, gibt Orientierung für die Mitarbeiter, reduziert die Risiken für das Unternehmen und unterstützt in der Transformation zu einer datenorientierten Kultur. Mit einer etablierten Data Governance kann eine hohe Datenqualität erreicht und die Potenziale von BI, Big Data und Advanced Analytics ausgeschöpft werden.
Wenn Sie mehr über Hintergründe und Zusammenhänge erfahren möchten und eine Data Governance nachhaltig etablieren sowie die Datenqualität in Ihrer Organisation schnell und wirkungsvoll verbessern wollen, sind die folgenden Workshops für Sie das Richtige.
Datenstrategie und Data Driven Culture nachhaltig etablieren sowie die Datenkompetenz (Data Literacy) stetig steigern
Data Quality erfolgreich steuern
Bessere Datenqualität – bessere Managemententscheidungen und effizientere Prozesse
Von der Data Strategy über die Data Governance zur Data Driven Culture
28./29. September 2022, Stuttgart
Copyright © 2014 - 2022 by Marco Geuer
Business Information Excellence | Transparenz schafft Handlungsalternativen
www.business-information-excellence.de | www.datenanalyse.org | www.datenqualitätsmanagement.com
Wir nutzen Cookies auf unserer Website. Einige von ihnen sind essenziell für den Betrieb der Seite, während andere uns helfen, diese Website und die Nutzererfahrung zu verbessern (Tracking Cookies). Sie können selbst entscheiden, ob Sie die Cookies zulassen möchten. Bitte beachten Sie, dass bei einer Ablehnung womöglich nicht mehr alle Funktionalitäten der Seite zur Verfügung stehen.