Data Warehouse-Automatisierung

Höhere Geschwindigkeit und Qualität durch Data Warehouse-Automatisierung

Im Zuge der digitalen Transformation werden an eine Analytics-Lösung hohe Erwartungen in Bezug auf die Geschwindigkeit, Flexibilität und Qualität gestellt. Doch eine schnelle Umsetzung und Produktivnahme neuer Anforderungen in hoher Qualität sind nur mit agiler Data Warehouse-Entwicklung möglich. Innerhalb der Data Warehouse-Automatisierung (DWA) gibt es zwei Stellschrauben, an denen wir drehen können:

1. Einerseits besteht die Möglichkeit, die Data Warehouse-Entwicklung selbst zu automatisieren. Hierfür haben wir unser eigenes DWA-Framework entwickelt.

2. Andererseits kann auch das Testen automatisiert werden. Wir sprechen dann von der Data Warehouse-Testautomatisierung (DWTA).

Automatisierung der Data Warehouse-Entwicklung

Anwendungsmöglichkeiten und automatisierbare Prozesse in der Entwicklung

Die Automatisierung der Data Warehouse-Entwicklung kann in unterschiedlichen Situationen echte Mehrwerte schaffen:

Beim Aufbau eines neuen Data Warehouse
Bei der Modernisierung eines bestehenden Data Warehouse
Bei der effizienten Umsetzung neuer Anforderungen
Bei der schnellen Einbindung neuer Quellen zwecks Analyse

Wir verwenden in unseren Projekten im Zuge der Data Warehouse-Automatisierung ein eigenes DWA-Framework, mit dessen Hilfe Objekte und Prozesse in einem Data Warehouse auf Knopfdruck generiert werden können. Es benutzt Metadaten, um Architekturen, Topologie, Standards, Namenskonventionen, Objekte und Regeln zu beschreiben. Die verschiedenen Verarbeitungslogiken können damit in Form von Templates einmalig abgelegt werden. Anschließend werden komplette Datenbankstrukturen und die verschiedenen ETL-Prozesse automatisch generiert. Im Betrieb können Änderungen ebenfalls (semi-)automatisch eingepflegt und in das Data Warehouse übertragen werden. Das Framework wird permanent weiterentwickelt und kann flexibel an die jeweiligen Kundenwünsche angepasst werden.

Konkret können folgende Aktivitäten automatisiert werden:

Anbindung der Quellen

Erzeugen der Datenbankobjekte

Einhaltung des Standards

Testen der Änderungen

Ihr konkreter Nutzen durch die Automatisierung der Entwicklung

Qualitätsverbesserung
Flexibilität für die Zukunft
Entlastung der Fachseite
Reduktion des Arbeitsaufwandes um bis zu 70%
Kostenersparnis
Zeitersparnis von bis zu 80%
Hohe Wartungsfreundlichkeit

Einsatz der Testautomatisierung im Data Warehouse

Anwendungsgebiete und automatisierbare Prozesse beim Testen

Die Anwendungsgebiete von Testautomatisierung in Bereich BI und DWH sind vielfältig: Bei einem Release-Wechsel oder auch einem Datenbankwechsel muss beispielsweise sichergestellt sein, dass alle Berichte stimmen und Usern der Zugriff auf die richtigen Berichte erhalten bleibt. Durch Testautomatisierung kann der Testaufwand bei einem Release- oder Datenbankwechsel um bis zu 90% reduziert werden. Durch eine vollautomatisierte CI/CD-Kette inklusive DevOps steigt nicht nur die Agilität innerhalb des Projektes, sondern auch die Akzeptanz auf der Fach- und Entwicklerseite. Außerdem kann so die Datenherkunft (Data Lineage) besser dokumentiert werden.

Testautomatisierung kann in allen DWH- und BI- Projekten angewendet werden. Durch den Einsatz der Testautomatisierung wird die Geschwindigkeit, Agilität und Qualität sowohl in bestehenden als auch in neuen Projekten deutlich erhöht. Konkret können wir folgende Prozesse automatisieren:

Testfallerstellung

Testdurchführung

Testauswertung

Testdokumentation

Testadministration

Ihr konkreter Nutzen durch Testautomatisierung

Qualitätsverbesserung durch:

Konkrete ausführbare Abnahmetests
Entwicklertaugliche Spezifikation
Einbettung in agile Entwicklung / Implementierung
Schutz der Qualität der Anwendung durch permanente Regressionstests über den gesamten Lebenszyklus

Zeit- und Kostenersparnis durch:

80% Zeitersparnis bei der Testausführung durch Wiederholbarkeit der Tests
Sehr frühe Fehlererkennung führt zu einer günstigen Behebung der Bugs
Beschleunigung der Entwicklung, dadurch frühere Freisetzung der Entwickler
Die Hälfte der Kosten gegenüber manuellem Testen eingespart
Investition, die sich ab dem 2.-4. Sprint rechnet

Höhere Akzeptanz:

Entlastung der Fachseite von Testaufwänden um bis zu 90%
Mehrwert gemeinsamer Qualitätsverantwortung von Fachseite
und Entwicklung wird erkannt ca. ab dem 3. Sprint
Höhere Akzeptanz auf Entwicklerseite durch Reduktion
monotoner, ermüdender Arbeit

Referenzen

Finanzdienstleister Düsseldorf

Die MT AG war bei einem Finanzdienstleister in Düsseldorf für die Ablösung und den Neuaufbau der aktuellen Reporting Umgebung zuständig. Ein 10 Jahre altes System sollte zur Vereinfachung und Optimierung migriert werden. Mit einer Zeitersparnis von 80% wurden Quellen automatisiert angebunden und die Datenbankobjekte in Oracle generiert. Die MT AG blieb unter der vorgegebenen Zeit sowie dem Budget. Lesen Sie hier den ausführlichen Bericht hier.

Handelsunternehmen in Düsseldorf

Bei einem Handelsunternehmen in Düsseldorf sollte eine neue DWH-Lösung zur Anbindung der Verkaufsdaten entwickelt werden. Im Laufe des Proof-of-Concept hat die MT AG eine vollständige CI/CD Strecke mit automatisierten Integrationstest und Deployment umgesetzt. Die MT AG war verantwortlich für die Architektur und die Entwicklung, wobei die Quelldaten erst sehr spät in Projektverlauf definiert wurden. Die MT AG entwickelte deshalb allgemeine Templates für die ETL-Logik und generierte die ETL-Prozesse für OWB. Mit manueller Entwicklung wäre dies nicht möglich gewesen.

Forderungsmanagement Essen

Eine neue DWH-Lösung mithilfe von ODI hat die MT AG für das Forderungsmanagement Essen entwickelt. Die tägliche Datenlieferung war jedoch nur als Fullload möglich, was zu einer schlechten Performance führte. Die MT AG konnte durch eine automatisierte Deltaberechnung im Stage sowie einer Generierung der Modell- und ETL-Prozessänderungen eine Laufzeitreduktion von bis zu 90% erreichen.

Direktversicherung Saarbrücken – Entwicklungs- und Testautomatisierung

Bei der Direktversicherung Saarbrücken war die MT AG für die technische Projektleitung, Architektur und Entwicklung einer DWH-Modernisierung zuständig. Die Herausforderung war, ein 14 Jahre altes, historisch gewachsenes DWH mit vielen Marts und ETL-Prozessen wertgetrieben zu modernisieren. Hierbei wurden neue Quellen automatisiert angebunden und die Datenbankobjekte (Stage/Core) sowie ETL-Prozesse für ODI generiert, um eine near-real-time Bewirtschaftung bis in den Mart zu erreichen. Bei dem prämierten Code-of-Conduct Projekt konnte die MT AG über 90% der geplanten manuellen Tests vollständig automatisieren. Die geschätzten 150 PT für manuellen Aufwand im Fachbereich hätten vom Kunden nicht geleistet werden können. „Aufgrund des guten Testkonzeptes bereits vor den fachlichen Abnahmetests haben wir „leider“ keine Fehler mehr gefunden!“- C. Westrich (Kunde).

Unsere Leistungspakete im Überblick

Wir bieten Ihnen sechs Pakete, bei denen Sie in unterschiedlichen Stufen von der Expertise der MT AG profitieren können. Dabei ist es ganz Ihnen überlassen, ob wir in einem ersten Workshop die Potentiale der DWA aufzeigen, einen Proof-of-Concept durchführen oder Sie in einem DWA Projekt unterstützen.

In einem ersten Workshop möchten wir Ihnen die Potentiale der DWA aufzeigen. Hier identifizieren wir gemeinsam Ihre individuellen Herausforderungen bezüglich der Data Warehouse-Qualität und zeigen Ihnen, in welchen Bereichen Sie von der DWA profitieren können. Nachdem wir uns einen technischen Überblick über Ihre Systeme und Anforderungen verschafft haben, erhalten Sie eine Roadmap mit konkreten Handlungsempfehlungen. Wir schlagen Ihnen vor, welche Maßnahmen umgesetzt werden können und erstellen eine grobe Aufwandschätzung dafür. Um für die Zukunft das bestmögliche Ergebnis effizient zu erreichen, bekommen Sie darüber hinaus eine Empfehlung für ein Proof-of-Concept. All dies beinhaltet Leistungspaket 1.

Ergebnis