Ihre Daten. Ein gemeinsamer Einstieg.

Stammdaten: Definition und Übernahme

Stammdaten beschreiben wiederverwendete Geschäftsobjekte wie Kunden, Produkte oder Standorte. Bewegungsdaten erfassen einzelne Vorgänge, etwa Bestellungen. Übernehmen Sie Stammdaten mit ihren stabilen Schlüsseln, damit spätere Auswertungen Vorgänge dem richtigen Objekt zuordnen können. lavalake lädt Quelltabellen in Iceberg; Zuordnungen und Bereinigung lassen sich in der Aufbereitung festlegen.

Stammdatenqualität beginnt bei Schlüsseln und Werten

Eine praktische Prüfung umfasst eindeutige Kundennummern, einheitliche Länderwerte und gültige Datentypen. Vergleichen Sie nach dem Import Zeilenzahlen und prüfen Sie doppelte Schlüssel per SQL. Fachliche Regeln, etwa erlaubte Statuswerte, können anschließend in lavaflow geprüft werden. Die Pflege der Stammdaten in der Quelle bleibt Teil des Prozesses.

Orchestrierung für wiederkehrende Datenintegration

Orchestrierung legt fest, wann Verarbeitungsschritte laufen und wie sie aufeinander folgen. Laden Sie beispielsweise zuerst die Quelle, bereiten Sie danach die Daten auf und aktualisieren Sie anschließend die Auswertung. In lavalake verbinden Zeitpläne und lavaflow diese Aufgaben; im Laufverlauf prüfen Sie Ergebnisse und Fehler.

Dateien einfach ablegen

Unter „Dateien hochladen“ bringen Sie Excel- und CSV-Dateien als Tabellen in den See. PDF, Word, Text und Markdown werden für Suche und Pyro erschlossen. Vorschau und Spaltenprüfung begleiten den Tabellenimport.

Änderungen laufend übernehmen

Geplante Delta-Läufe laden neue Daten über eine Wasserstandsspalte. Für PostgreSQL kann eine zuschaltbare CDC-Anbindung Einfügen, Ändern und Löschen aus dem Änderungsprotokoll übernehmen. Die Quelltabelle braucht einen Primärschlüssel und eine eingerichtete logische Replikation.

Gegen echte Systeme geprüft

PostgreSQL, MySQL, SQL Server und der Snowflake-Import wurden gegen echte Systeme geprüft. Für SAP, die CRM-Anbindungen und DATEV stehen diese Praxistests weiterhin aus.

Datenbanken als Quelle

Eine Quelle wird in der Konsole registriert: Typ, Host, Datenbank, Zugangsdaten. Die Zugangsdaten liegen AES-256-GCM verschlüsselt, der Zugriff ist schreibgeschützt, und TLS lässt sich je Quelle erzwingen statt global. Danach wählen Sie die Tabellen, die als Iceberg übernommen werden sollen.

Typ         postgres | mysql | mssql
Host        erp-db.rz.intern:5432
Datenbank   vertrieb
Zugang      leser / ********     (verschlüsselt abgelegt)
TLS         erzwungen

Übernehmen
  vertrieb.public.auftraege  ->  lakehouse.raw.auftraege
  vertrieb.public.positionen ->  lakehouse.raw.positionen

Der Zugriff nach draußen ist dabei nicht beliebig: ein Egress-Schutz verhindert, dass eine registrierte Adresse auf interne Metadaten-Endpunkte oder in fremde Netzsegmente zeigt. Eine Datenquelle ist eine Eingabe des Nutzers, und Eingaben werden geprüft.

• PostgreSQL, MySQL, MS SQL Server, SAP Business One und SAP S/4HANA
• Nur lesender Zugriff, Zugangsdaten verschlüsselt
• TLS je Quelle erzwingbar
• PostgreSQL-CDC, geplante Delta-Läufe und automatische Dateiimporte

SAP Business One und S/4HANA

Business One wird über den Service Layer angebunden, S/4HANA über einen OData-Dienst des Gateways. S/4HANA unterstützt OData V2 und V4, erkennt die Version aus den Metadaten und hält den gewählten Mandanten beim Blättern fest. Jede Quelle zeigt auf einen Dienst; gelesen wird ohne Änderungen am SAP-System.

Dateien mit Modellierungsassistent

Eine CSV hochzuladen ist der einfache Teil. Der schwierige ist alles danach: Welche Spalte ist ein Datum, welche ein Betrag, was bedeutet ein leeres Feld, und welche Zeilen sind Dubletten. Der Import-Assistent nimmt genau diese Schritte – Typen erkennen und korrigieren, Spalten umbenennen, Null-Kennungen festlegen, Dubletten entfernen – und lädt erst danach.

Große Dateien melden den Ladefortschritt in Zeilen, und ein laufender Import bleibt sichtbar, während Sie auf einer anderen Seite weiterarbeiten. Das klingt nach einer Kleinigkeit, ist aber der Unterschied zwischen einem Werkzeug, das man benutzt, und einem, das man nach dem zweiten Timeout meidet.

DATEV-Dateien direkt einlesen

Der Dateiimport erkennt EXTF- und DTVF-Dateien automatisch, liest die Spaltennamen aus der zweiten Zeile und berücksichtigt Windows-1252. Buchungswerte bleiben unverändert. Das ist ein Dateiimport; DATEVconnect und die DATEV-Cloud-API sind nicht angebunden. Ein Test mit einer echten Exportdatei steht noch aus.

Dokumente werden Tabellen

Hier steckt die Entscheidung, die uns am wichtigsten ist. Ein Dokument wird nicht in einen zweiten Inhaltsspeicher mit eigener Zugriffskontrolle gelegt. Es wird zerlegt, und die Abschnitte werden eine gewöhnliche Iceberg-Tabelle: eine Zeile je Abschnitt, mit Text und Zeichen-Offsets zurück in das Original.

Weil ein Dokument eine Tabelle wird, gelten Rechte, Audit und Lineage für Dokumente ohne eine einzige zusätzliche Regel.

Danach wird die Textspalte eingebettet – über dieselbe Pipeline wie jede andere Tabelle. Der Suchindex speichert Einbettungen, Textabschnitte und Verweise auf die Quellzeilen; maßgeblich bleibt die Tabelle im Lakehouse. Die Suche lädt den Abschnitt später frisch aus Trino nach, unter dem Token des Suchenden. Maskierte Spalten bleiben deshalb auch in Suchtreffern maskiert.

Das Parsen läuft in einem eigenen Worker mit Zeit- und Speicherlimit. Ein fehlerhaftes oder bösartiges PDF bringt damit nicht den Dienst mit, der die Rechte verwaltet.

Fileshare-Crawler und MCP-Ingestion

Statt Dateien einzeln hochzuladen, zeigt der Crawler auf ein Verzeichnis. Und weil MCP-Server als Quellen registriert werden können, lassen sich Systeme anbinden, für die es keinen JDBC-Treiber gibt, aber einen MCP-Server – etwa SAP über SAP-MCP.

Sie wählen das Zielschema, und die Konvention bleibt Ihre — Roh-, Veredelungs- und Auslieferungszone, wenn Sie so arbeiten, oder was in Ihrem Haus schon gilt.

Data Engineering: verlässliche Datenwege aufbauen

Data Engineering umfasst die technischen Schritte von der Quelle bis zu verwendbaren Daten: anbinden, laden, umformen und prüfen. Ein Data Engineer legt dabei auch Schlüssel, Datentypen und Aktualisierungswege fest. In lavalake verbinden Quellenverwaltung, Dateiimport und lavaflow diese Aufgaben. Fachliche Definitionen werden mit den Personen abgestimmt, die die Ergebnisse nutzen.

Parsing: Dateien in verarbeitbare Inhalte zerlegen

Parsing bedeutet, strukturierte Eingaben nach ihren Formatregeln zu lesen. Bei CSV werden beispielsweise Zeilen und Felder erkannt; bei Dokumenten wird Text für die weitere Verarbeitung erschlossen. Kontrollieren Sie beim Tabellenimport die Vorschau und die Spaltentypen. Ein erfolgreich gelesener Inhalt muss anschließend noch fachlich geprüft werden.