English
Tech Update 2 New functions & features
Diese Session zeigt, wie AnalyticsCreator als Design-Time-Anwendung ein Microsoft-basiertes Data Warehouse aus AdventureWorks-Metadaten generiert. Die Demo behandelt Connectoren, Wizard-Erstellung, Staging, Historisierung, Transformationen, Snapshot-Historisierung, Kalenderdimensionen, Data Mart, Deployment Packages, SSIS-Pakete, Power-BI-/OLAP-Modelle sowie Repository-Export und technische Dokumentation.
Questions
- Wie erstellt AnalyticsCreator ein Data Warehouse aus AdventureWorks?
- Was macht der Data Warehouse Wizard?
- Wie funktioniert Historisierung in AnalyticsCreator?
- Was ist Snapshot-Historisierung?
- Wie werden Kalenderdimensionen und Makros verwendet?
- Was erzeugt ein Deployment Package?
Key Takeaways
- AnalyticsCreator ist eine metadata-driven Design-Anwendung für Data-Warehouse-Automation.
- Die generierten Microsoft-basierten Lösungen laufen ohne AnalyticsCreator Runtime.
- Der Data Warehouse Wizard erstellt aus Quellmetadaten ein erstes Data-Warehouse-Modell.
- Das Modell enthält Source, Staging, Persistent Staging, Core und Data Mart Layer.
- Historisierung speichert Datenänderungen mit Gültigkeitszeiträumen.
- Transformationen werden häufig als SQL Views generiert.
- Snapshot-Historisierung ermöglicht den Zugriff auf historische Datenstände.
- Kalenderdimensionen und Makros wandeln Datumsfelder in Dimension Keys um.
- Der Data Mart Layer definiert Fakten, Dimensionen und Measures.
- Deployment Packages erzeugen DACPAC-Dateien, SSIS-Pakete, XMLA-Dateien und Visual-Studio-Solutions.
- Power BI kann aus generierten Modellen bedient werden.
- Repository-Objekte können exportiert und in anderen Projekten wiederverwendet werden.
- AnalyticsCreator kann technische Dokumentation und Lineage-Informationen erzeugen.
Transcript
AnalyticsCreator wird als Microsoft-basierter Data-Warehouse-Generator vorgestellt. Die Anwendung erstellt Datenbanken, SSIS-Pakete, OLAP-Modelle, Power-BI-Modelle und weitere Artefakte automatisch.
Dimitri erklärt, dass AnalyticsCreator ein reines Design-Time-Werkzeug ist. Die erzeugten Microsoft-Lösungen laufen unabhängig weiter, nachdem der Source Code generiert und deployed wurde.
Anschließend beschreibt er die Client-Server-Architektur: Der Designer läuft lokal als Windows-Anwendung, während bestimmte Generierungsprozesse über den AnalyticsCreator-Server ausgeführt werden. Das Repository speichert die Modellstruktur und kann lokal oder auf einem gemeinsamen SQL Server liegen.
Dimitri legt einen Connector zur AdventureWorks-2016-Datenbank an. AnalyticsCreator unterstützt verschiedene Datenquellen wie SQL Server, CSV, Excel, andere Datenbanken und SAP über Partnerkomponenten.
Danach startet er den Data Warehouse Wizard. Aus dem Human-Resources-Bereich werden Tabellen wie Department, Employee, Employee Department History, Employee Pay History, Job Candidate und Shift ausgewählt.
Für diese Tabellen werden Import, Historisierung, Dimensionen und Faktentransformationen erzeugt. In der Demo wird eine klassische Kimball-Architektur mit Fakten und Dimensionen gewählt.
Das generierte Modell enthält Source Layer, Staging Layer, Persistent Staging Layer und Core Layer.
Im Staging Layer werden Quelldaten in Importtabellen geladen. Die Importdefinition enthält Feldmapping, optionale SQL-Statements, Filter, Variablen sowie Pre- und Post-Scripts.
Im Persistent Staging Layer werden Daten historisiert. Die Historisierung nutzt Felder wie Date From, Date To und einen Surrogate Key. Änderungen werden erkannt, alte Datensätze geschlossen und neue Versionen angelegt.
Dimitri erklärt außerdem SCD Type 1, SCD Type 2, ignorierte Felder, Empty Records, Filterlogik und die Möglichkeit, bereits historisierte Quelldaten zu übernehmen.
Im Core Layer werden Transformationen meist als SQL Views erzeugt. Vordefinierte Transformationen können abhängig vom Datentyp angewendet werden, zum Beispiel Trim-Funktionen oder die Behandlung von Null-Werten.
Dimitri zeigt eine Faktentransformation auf Basis von Employee Department History. Da die beteiligten Tabellen historisiert sind, wird Snapshot-Historisierung verwendet.
Die Snapshot-Tabelle enthält Datumswerte. Über die Bedingung Snapshot Date zwischen Date From und Date To werden Datenstände ermittelt, die zu einem bestimmten Zeitpunkt gültig waren.
Im Data Mart Layer werden Dimensionen, Fakten und Measures definiert. AnalyticsCreator erkennt Beziehungen zwischen Objekten und kann diese im Data Mart Layer abbilden.
Danach erstellt Dimitri ein Deployment Package. Dieses enthält eine Visual-Studio-Solution, eine DACPAC-Datei, SSIS-Pakete, XMLA-Dateien und Modellartefakte.
Die SSIS-Pakete enthalten Import-, Historisierungs- und Workflow-Pakete. Das Workflow-Paket führt die einzelnen Schritte in der richtigen Reihenfolge aus.
Außerdem wird ein tabulares OLAP-Modell erzeugt. Dimitri zeigt, dass die erzeugte Modellstruktur in Power BI beziehungsweise über entsprechende Modellartefakte weiterverwendet werden kann.
Dimitri zeigt eine neue Funktion zum Exportieren von Repository-Objekten. Einzelne Objekte oder ganze Modellteile können gespeichert und in anderen Repositories wiederverwendet werden.
Danach erklärt er Möglichkeiten zur Dokumentation. AnalyticsCreator kann technische Dokumentation als Word-Datei erzeugen und Diagramme für Visio exportieren.
Außerdem zeigt er Lineage- und Abhängigkeitsinformationen. Über Filter und Objektabhängigkeiten kann nachvollzogen werden, welche Quellen, Tabellen und Felder in ein Zielobjekt einfließen.
Das Repository bleibt offen zugänglich, sodass Metadaten ausgewertet, dokumentiert und für weitere Automatisierungen genutzt werden können.
