Vier Wege in das Lakehouse – jeder mit Assistent

Datenbanken als Quelle

Eine Quelle wird in der Konsole registriert: Typ, Host, Datenbank, Zugangsdaten. Die Zugangsdaten liegen AES-256-GCM verschlüsselt, der Zugriff ist schreibgeschützt, und TLS lässt sich je Quelle erzwingen statt global. Danach wählen Sie die Tabellen, die als Iceberg übernommen werden sollen.

Typ         postgres | mysql | mssql
Host        erp-db.rz.intern:5432
Datenbank   vertrieb
Zugang      leser / ********     (verschlüsselt abgelegt)
TLS         erzwungen

Übernehmen
  vertrieb.public.auftraege  ->  lakehouse.raw.auftraege
  vertrieb.public.positionen ->  lakehouse.raw.positionen

Der Zugriff nach draußen ist dabei nicht beliebig: ein Egress-Schutz verhindert, dass eine registrierte Adresse auf interne Metadaten-Endpunkte oder in fremde Netzsegmente zeigt. Eine Datenquelle ist eine Eingabe des Nutzers, und Eingaben werden geprüft.

• Drei Datenbanktypen: PostgreSQL, MySQL, MS SQL Server
• Nur lesender Zugriff, Zugangsdaten verschlüsselt
• TLS je Quelle erzwingbar
• Change Data Capture und kontinuierliche IngestionIn Entwicklung

Dateien mit Modellierungsassistent

Eine CSV hochzuladen ist der einfache Teil. Der schwierige ist alles danach: Welche Spalte ist ein Datum, welche ein Betrag, was bedeutet ein leeres Feld, und welche Zeilen sind Dubletten. Der Import-Assistent nimmt genau diese Schritte – Typen erkennen und korrigieren, Spalten umbenennen, Null-Kennungen festlegen, Dubletten entfernen – und lädt erst danach.

Große Dateien melden den Ladefortschritt in Zeilen, und ein laufender Import bleibt sichtbar, während Sie auf einer anderen Seite weiterarbeiten. Das klingt nach einer Kleinigkeit, ist aber der Unterschied zwischen einem Werkzeug, das man benutzt, und einem, das man nach dem zweiten Timeout meidet.

Dokumente werden Tabellen

Hier steckt die Entscheidung, die uns am wichtigsten ist. Ein Dokument wird nicht in einen zweiten Inhaltsspeicher mit eigener Zugriffskontrolle gelegt. Es wird zerlegt, und die Abschnitte werden eine gewöhnliche Iceberg-Tabelle: eine Zeile je Abschnitt, mit Text und Zeichen-Offsets zurück in das Original.

Weil ein Dokument eine Tabelle wird, gelten Rechte, Audit und Lineage für Dokumente ohne eine einzige zusätzliche Regel.

Danach wird die Textspalte eingebettet – über dieselbe Pipeline wie jede andere Tabelle. Der Vektorindex merkt sich nur, welche Spalten Schlüssel und Text sind, nie den maßgeblichen Inhalt. Die Suche lädt den Abschnitt später frisch aus Trino nach, unter dem Token des Suchenden. Maskierte Spalten bleiben deshalb auch in Suchtreffern maskiert.

Das Parsen läuft in einem eigenen Prozess. Ein fehlerhaftes oder bösartiges PDF bringt damit nicht den Dienst mit, der die Rechte verwaltet.

Fileshare-Crawler und MCP-Ingestion

Statt Dateien einzeln hochzuladen, zeigt der Crawler auf ein Verzeichnis. Und weil MCP-Server als Quellen registriert werden können, lassen sich Systeme anbinden, für die es keinen JDBC-Treiber gibt, aber einen MCP-Server – etwa SAP über SAP-MCP.

Eine erzwungene Stufung in Roh-, Veredelungs- und Auslieferungszone gibt es bewusst nicht. Sie wählen das Zielschema, die Konvention bleibt Ihre.