Beispiel: Daten aus Excel extrahieren, transformieren (normieren), und in SQL Server laden
ETL steht für die drei Begriffe "Extract", "Transform" und "Load". Darunter versteht man einen mehrstufigen Bearbeitungsvorgang unter anderem beim Datenimport in ein Data Warehouse.
Beispiel: Daten aus Excel extrahieren, transformieren (normieren), und in SQL Server laden
Im Vergleich zu einfachen ETL-Tools / BulkImport-Software unterstützt ein professionelles ETL-Tool das erweiterten ETL-Prinzip Extract Transform Load + Validate. Dabei bedeuten:
EDI-Dateien beinhalten Daten, die z.B. zwischen Unternehmen ausgetauscht werden.
Dabei werden sowohl Standards wie Edifact oder SAP Idoc als auch projektspezifische
XML-, CSV- und Flat-Files verwendet.
Auf der Empfängerseite müssen die EDI-Dateien meist direkt in eine Datenbank importiert
oder in ein anderes Format zum Einlesen in ein ERP-/CRM-System wie SAP oder Siebel konvertiert werden.
Der Empfang von Daten, die Transformation und das Speichern in eine Datenbank/Zieldatei entspricht
wieder dem ETL-Konzept.
Ausgelesene Daten sollten sowohl von der Syntax als auch der Semantik her der vereinbarten
Spezifikation entsprechen. Bevor Daten in ein DataWarehouse geschrieben oder
in einem Geschäftsbericht aufgeführt werden, sollte die syntaktische und semantische Datenqualität
sichergestellt werden. Datenbestände in OLTP-Systemen sind oft inkonsistent weshalb auch diese vor
der Aggregation und dem Import in ein OLAP-System validiert werden sollten.
DataQuality ist die Grundlage für verlässliche Informationen.
Kennzahlen, die auf unsauberen Daten ermittelt wurden, führen zu falschen Entscheidungen.
Für die elektronische Weiterverarbeitung werden Daten meist in Datenbanken geladen oder als
EDI-Dateien im CSV-, Flatfile- oder XML-Format abgespeichert.
Die Daten können jedoch auch grafisch layoutet und so zum Beispiel timerbasiert
automatisch der Geschäftsführung als Excel- oder PDF-Report per e-Mail geschickt werden.
Beispiel eines BI-Reports in Excel, der sehr schnell erstellt werden kann.
