Data Warehouse Automatisierung

Im Zuge der Digitalen Transformation werden an ein Data Warehouse ganz neue Erwartungen gestellt, agile Lösungen sind für das Überleben am Markt unerlässlich geworden. Schnelle Umsetzung und Produktivnahme neuer Anforderungen in hoher Qualität sind mit agiler Data Warehouse Entwicklung möglich. Wie das funktioniert? Die Antwort liegt in der Automatisierung der Data Warehouse Entwicklung (DWA).

Schnell, flexibel und kostengünstig bei hoher Qualität

Innerhalb der DWA gibt es zwei Stellschrauben, an denen wir drehen können: Einerseits besteht die Möglichkeit, die Entwicklung selbst zu automatisieren, wofür wir ein eigenes Framework entwickelt haben. Andererseits kann man jedoch auch das Testen automatisieren. Wir sprechen dann von Data Warehouse Testautomatisierung (DWTA). Die Data Warehouse Automatisierung kann vielfältig eingesetzt werden:

  • Ein neues Data Warehouse soll gebaut werden
  • Ein bestehendes Data Warehouse soll modernisiert werden
  • Neue Anforderungen sollen effizient umgesetzt werden
  • Neue Quellen sollen zwecks Analyse schnell eingebunden werden

Framework zur Data Warehouse Automatisierung der MT AG

Bei der MT AG verwenden wir in der Data Warehouse Automatisierung ein eigenes DWA-Framework. Mit dessen Hilfe können Objekte und Prozesse in einem Data Warehouse auf Knopfdruck generiert werden. Es benutzt Metadaten, um Architekturen, Topologie, Standards, Namenskonventionen, Objekte und Regeln zu beschreiben. Die verschiedenen Verarbeitungslogiken können damit in Form von Templates einmalig abgelegt werden. Anschließend werden komplette Datenbankstrukturen und die verschiedenen ETL-Prozesse automatisch generiert. Im Betrieb können Änderungen ebenfalls (semi-) automatisch eingepflegt und in das Data Warehouse übertragen werden. Das Framework wird permanent weiterentwickelt und kann flexibel an die jeweiligen Kundenwünsche angepasst werden.

Mit Hilfe des DWA-Frameworks der MT AG wird der Arbeitsaufwand in Projekten um bis zu 70% reduziert sowie eine Zeitersparnis von bis zu 80% erreicht. Im Ergebnis profitieren Sie nicht nur von einem verkürzten Entwicklungsprozess, sondern auch von einer Reduktion der Projektkosten. Dank der Flexibilität und Wartungsfreundlichkeit eines generierten Systems können Ausgaben auch zukünftig minimiert werden – eine langfristige Investition.

Folgende Aktivitäten können wir automatisieren:

  • Anbindung der Quellen
  • Erzeugen der Datenbankobjekte
  • Erzeugen der ETL-Prozesse
  • Einhaltung der Standards
  • Testen der Änderungen

Ihr konkreter Nutzen durch Data Warehouse Automatisierung

    • Qualitätsverbesserung
    • Flexibilität für die Zukunft
    • Entlastung der Fachseite
    • Kostenersparnis
    • Zeitersparnis

Referenzen

3 Leistungspakete für Data Warehouse Automatisierung

Wir bieten Ihnen drei Pakete, bei denen Sie in unterschiedlichen Stufen von der Expertise der MT AG profitieren können. Dabei ist es ganz Ihnen überlassen, ob wir in einem ersten Workshop die Potentiale der DWA aufzeigen, einen Proof-of-Concept durchführen oder Sie in einem DWA Projekt unterstützen.

Leistungspaket 1

DWA Potential Workshop

In einem ersten Workshop möchten wir Ihnen die Potentiale der DWA aufzeigen. Hier identifizieren wir gemeinsam Ihre individuellen Herausforderungen bezüglich der Data Warehouse Qualität und zeigen Ihnen, in welchen Bereichen Sie von der DWA profitieren können. Nachdem wir uns einen technischen Überblick über Ihre Systeme und Anforderungen verschafft haben, erhalten Sie eine Roadmap mit konkreten Handlungsempfehlungen. Wir schlagen Ihnen vor, welche Maßnahmen umgesetzt werden können und erstellen eine grobe Aufwandschätzung dafür. Um für die Zukunft das bestmögliche Ergebnis effizient zu erreichen, bekommen Sie darüber hinaus eine Empfehlung für ein Proof-of-Concept. All dies beinhaltet Leistungspaket 1.

Data Warehouse Automatsierung Potential Workshop Nutzen und Ergebnis
Leistungspaket 2

DWA Proof-of-Concept

Im Paket 2 führen wir ein DWA Proof-of-Concept auf Ihrem System durch. Am Beispiel von vereinbarten Testszenarien automatisieren wir die Entwicklung für einen fachlichen Ausschnitt Ihres Data Warehouses. Im Laufe des PoC wird das DWA-Framework in Ihre Landschaft eingebunden und personalisiert. Regeln und Konventionen werden über Metadaten eingepflegt. Je nach verwendeten Technologien und speziellen Anforderungen werden individuelle Templates erstellt oder bestehende modifiziert. Anschließend erzeugen wir Metadaten für Objekte und Beziehungen, die vom Framework zum Generieren der Datenbankstrukturen und ETL-Prozesse verwendet werden. Im letzten Schritt wird komplexe fachliche Logik implementiert, die sich nicht standardisieren und automatisieren lässt.

Data Warehouse Automatisierung Proof Of Concept Nutzen und Ergebnis
Leistungspaket 3

DWA Projekt

In einem DWA Projekt unterstützen wir Sie in allen Phasen, von Analyse über Design und Entwicklung bis hin zu Managed Services. Abhängig von Ihren Wünschen und Anforderungen helfen wir Ihnen bei der Entwicklung oder führen das Projekt auch selbstverantwortlich unter eigener Projektleitung durch. Mit Hilfe unseres DWA-Frameworks kann die Data Warehouse Entwicklung nun agil und flexibel erfolgen. Durch die kurzen Lieferzeiten erreichen wir mehr Deployments in hoher Qualität. Schnelle Ergebnisse überzeugen Ihre Fachabteilungen und Geschäftsleitung und helfen ihnen bei strategischen und geschäftskritischen Aktivitäten.

Data Warehouse Automatisierung Projekt Nutzen und Ergebnis

Methode der Data Warehouse Automatisierung

Automation Framework vorbereiten

  • Installation und Personalisierung
  • Anpassen der Framework-Metadaten an die Kundenumgebung
  • Entwicklung systemspezifischer Templates, wenn nötigGenerieren der Datenbankobjekte und ETL-Prozesse

Festlegen von Standards und Regeln

  • Anpassen der Metadaten für Namenskonventionen
  • Anpassen der Metadaten für DWH Architektur
  • Implementierung individueller Templates, wenn nötig
  • Implementierung individueller Verarbeitungsregeln, wenn nötig

Agile Konfiguation und Generierung

  • Einpflegen oder Generieren der Metadaten für die Quellobjekte
  • Generieren der Metadaten für DWH Objekte und ETL-Prozesse
  • Erstellen von nicht automatisierbaren Hilfsobjekten/Ausnahmen, falls nötig
  • Generierung der Datanbankobjekte und ETL-Prozesse

Kontinuierliche Verbesserung

  • Frühzeitiges Testen der Regeln und Templates
  • Neugenerierung aller Objekte und Prozesse bei Änderungen jederzeit möglich
  • Kurze Reaktionszeiten bei Fehlern oder Änderungswünschen
  • Weiterentwicklung des Frameworks auch in anderen Kundenprojekten
Methode zur Data Warehouse Automatisierung

Weitere Info's zur Data Warehouse Automatisierung

Ist-Architektur und Soll-Architektur nach der Sanierung

Wertgetriebenes Vorgehen für DWH-Sanierung

DWH-Sanierungsprojekte zeichnen sich durch eine strukturierte, schrittweise Verbesserung der bestehenden Data Warehouse Umgebung aus. Die Motivation für die Sanierung einer bestehenden (Enterprise) DWH Umgebung kann vielfältig sein: z.B. Kostensenkung, bislang…
Weiterlesen

Ansprechpartner

Ralf Böhme

Bereichsleiter Business Intelligence

  +49 2102 30961-0
ralf.boehme@mt-ag.com

Jürgen Günter

Senior Berater

+49 2102 30961-0
juergen.guenter@mt-ag.com

Menü