Höhere Geschwindigkeit und Qualität durch Data Warehouse-Automatisierung
Im Zuge der digitalen Transformation werden an eine Analytics-Lösung hohe Erwartungen in Bezug auf die Geschwindigkeit, Flexibilität und Qualität gestellt. Doch eine schnelle Umsetzung und Produktivnahme neuer Anforderungen in hoher Qualität sind nur mit agiler Data Warehouse-Entwicklung möglich. Innerhalb der Data Warehouse-Automatisierung (DWA) gibt es zwei Stellschrauben, an denen wir drehen können:
1. Einerseits besteht die Möglichkeit, die Data Warehouse-Entwicklung selbst zu automatisieren. Hierfür haben wir unser eigenes DWA-Framework entwickelt.
2. Andererseits kann auch das Testen automatisiert werden. Wir sprechen dann von der Data Warehouse-Testautomatisierung (DWTA).
Automatisierung der Data Warehouse-Entwicklung
Anwendungsmöglichkeiten und automatisierbare Prozesse in der Entwicklung
Die Automatisierung der Data Warehouse-Entwicklung kann in unterschiedlichen Situationen echte Mehrwerte schaffen:
Wir verwenden in unseren Projekten im Zuge der Data Warehouse-Automatisierung ein eigenes DWA-Framework, mit dessen Hilfe Objekte und Prozesse in einem Data Warehouse auf Knopfdruck generiert werden können. Es benutzt Metadaten, um Architekturen, Topologie, Standards, Namenskonventionen, Objekte und Regeln zu beschreiben. Die verschiedenen Verarbeitungslogiken können damit in Form von Templates einmalig abgelegt werden. Anschließend werden komplette Datenbankstrukturen und die verschiedenen ETL-Prozesse automatisch generiert. Im Betrieb können Änderungen ebenfalls (semi-)automatisch eingepflegt und in das Data Warehouse übertragen werden. Das Framework wird permanent weiterentwickelt und kann flexibel an die jeweiligen Kundenwünsche angepasst werden.
Konkret können folgende Aktivitäten automatisiert werden:
Anbindung der Quellen
Erzeugen der Datenbankobjekte
Erzeugen der Datenbankobjekte
Einhaltung des Standards
Testen der Änderungen
Ihr konkreter Nutzen durch die Automatisierung der Entwicklung
Einsatz der Testautomatisierung im Data Warehouse
Anwendungsgebiete und automatisierbare Prozesse beim Testen
Die Anwendungsgebiete von Testautomatisierung in Bereich BI und DWH sind vielfältig: Bei einem Release-Wechsel oder auch einem Datenbankwechsel muss beispielsweise sichergestellt sein, dass alle Berichte stimmen und Usern der Zugriff auf die richtigen Berichte erhalten bleibt. Durch Testautomatisierung kann der Testaufwand bei einem Release- oder Datenbankwechsel um bis zu 90% reduziert werden. Durch eine vollautomatisierte CI/CD-Kette inklusive DevOps steigt nicht nur die Agilität innerhalb des Projektes, sondern auch die Akzeptanz auf der Fach- und Entwicklerseite. Außerdem kann so die Datenherkunft (Data Lineage) besser dokumentiert werden.
Testautomatisierung kann in allen DWH- und BI- Projekten angewendet werden. Durch den Einsatz der Testautomatisierung wird die Geschwindigkeit, Agilität und Qualität sowohl in bestehenden als auch in neuen Projekten deutlich erhöht. Konkret können wir folgende Prozesse automatisieren:
Testfallerstellung
Testdurchführung
Testauswertung
Testdokumentation
Testadministration
Ihr konkreter Nutzen durch Testautomatisierung
Qualitätsverbesserung durch:
Zeit- und Kostenersparnis durch:
Höhere Akzeptanz:
Referenzen
Finden Sie weiteres Material in unserem Downloadbereich zum Thema Data Warehouse-Automatisierung
Unsere Leistungspakete im Überblick
Wir bieten Ihnen sechs Pakete, bei denen Sie in unterschiedlichen Stufen von der Expertise der MT AG profitieren können. Dabei ist es ganz Ihnen überlassen, ob wir in einem ersten Workshop die Potentiale der DWA aufzeigen, einen Proof-of-Concept durchführen oder Sie in einem DWA Projekt unterstützen.
In einem ersten Workshop möchten wir Ihnen die Potentiale der DWA aufzeigen. Hier identifizieren wir gemeinsam Ihre individuellen Herausforderungen bezüglich der Data Warehouse-Qualität und zeigen Ihnen, in welchen Bereichen Sie von der DWA profitieren können. Nachdem wir uns einen technischen Überblick über Ihre Systeme und Anforderungen verschafft haben, erhalten Sie eine Roadmap mit konkreten Handlungsempfehlungen. Wir schlagen Ihnen vor, welche Maßnahmen umgesetzt werden können und erstellen eine grobe Aufwandschätzung dafür. Um für die Zukunft das bestmögliche Ergebnis effizient zu erreichen, bekommen Sie darüber hinaus eine Empfehlung für ein Proof-of-Concept. All dies beinhaltet Leistungspaket 1.