Informationstechnik

Ausgangssituation und Projektauftrag

Unser Kunde beauftragte uns ein Quality-Gate nach modernen KI-Methoden für das Thema Datenqualität aufzubauen, um die zahlreichen Daten zum Zeitpunkt ihrer Anlieferung auf ihre Richtigkeit hin zu prüfen. Bei dem Kunden handelt es sich um einen IT-Dienstleister, der in der Finanzbranche tätig ist. Das Unterhemen beschäftigt mehr als 3000 Mitarbeiter und betreut über 300 Institute, die wiederum Daten an den IT-Dienstleister liefern. Das Ziel des Projektes war es, die aus den Instituten angelieferten Daten auf ihre Datenqualität zu überprüfen. Diese Überprüfung sollte zum Zeitpunkt der Anlieferung stattfinden. Außerdem sollten hierbei Methoden der künstlichen Intelligenz zum Einsatz kommen umso auch in Zukunft eine hohe Datenqualität zu ermöglichen.

Die besondere Herausforderung bei diesem Projekt bestand, zum einen in der Komplexität der Daten (Volume, Velocity und Variety) und zum anderen darin mit den stetig neuen Anforderungen an die Qualitätskriterien umzugehen.

Vorgehen im Projekt

Unseren Projektauftrag haben wir wie folgt erfüllt:

  • Einsatz eines Quality Gates zur Überprüfung der Daten zum Zeitpunkt der Anlieferung
  • Verwendung eines adaptiven KI-Modells im Quality Gate
  • Einsatz einer Plattform für das maschinelle Lernen und Data-Mining (RapidMiner) zur Anwendung des KI-Modells

Projektergebnisse und Ausblick 

Das KI-Modell kann Datenqualitätsregeln selbständig lernen und somit auch unbekannte Daten auf Qualitätsfehler überprüfen. Aus diesem Grund ist keine manuelle Definition von Datenqualitäts-Regeln weiterhin notwendig. In diesem Projekt haben wir erfolgreich eine Automatisierung durch adaptives Lernen des KI-Modells aufgebaut. Das aufgebaute Quality Gate ist ein nachhaltiges Tool für die Zukunft, dass unseren Kunden in die Lage versetzt, die Komplexität der Daten und die wachsende Menge an Qualitätskriterien nachhaltig zu managen.