Hybride Suche mit lokalem Modell, Kennzahlen mit einer Definition

Data Discovery und Metadatenmanagement

Data Discovery beginnt mit der Frage, welche Daten für eine Auswertung verfügbar sind. In lavalake erkunden Sie Schemata, Tabellen und Spalten und suchen nach Inhalten in Daten und Dokumenten. Metadatenmanagement ergänzt diesen Überblick: Namen, Datentypen und bestätigte Klassifizierungen helfen dabei, eine Tabelle einzuordnen. Die Herkunftsansicht zeigt die in der Plattform erfassten Zusammenhänge.

Was ist ein Dashboard?

Ein Dashboard stellt wichtige Kennzahlen und Diagramme auf einer gemeinsamen Oberfläche dar. Für ein Vertriebs-Dashboard könnten das Umsatz, Aufträge und die Entwicklung nach Region sein. In lavalake beruhen solche Auswertungen auf definierten Kennzahlen; Dashboard-Kacheln rechnen unter den Rechten des jeweiligen Betrachters. Eine gemeinsame Definition hilft, dass Teams dieselbe Zahl gleich verstehen.

KI direkt in SQL

Texte zusammenfassen, klassifizieren, übersetzen und Informationen extrahieren: KI-Funktionen lassen sich direkt in Abfragen verwenden. Die Administration wählt dafür ein lokales Modell oder einen Anbieter mit API-Zugang. Prognosen und Ausreißeranalysen ergänzen die Auswertung.

Zwei Suchen, eine Rangfolge

Stichwortsuche findet, was wörtlich dasteht – und verfehlt alles, was anders formuliert ist. Vektorsuche findet Bedeutung – und verfehlt manchmal die Artikelnummer, nach der jemand tatsächlich gesucht hat. Beides einzeln ist unbefriedigend, deshalb werden die Ergebnisse zu einer Rangfolge verschmolzen.

Suche  "Rahmenvertrag Kündigungsfrist Lieferant"

  Verfahren   Vektor + Stichwort, fusioniert
  Modell      bge-m3  (lokal, CPU, ohne Schlüssel)

  1  vertraege/rahmen_2024.pdf     Abschnitt 4.2
  2  lakehouse.raw.vertraege       Zeile 8817
  3  wiki/beschaffung.md           Abschnitt "Fristen"

Der Index ist nur ein Index

Das ist die Stelle, an der Suchfunktionen in Datenplattformen üblicherweise die Governance aushebeln. Wenn der Vektorspeicher den Inhalt selbst hält, hat man einen zweiten Datenbestand mit eigener Zugriffskontrolle – und die zweite Kontrolle kennt die Policies der ersten nicht.

In lavalake speichert der Suchindex Einbettungen, Textabschnitte und Verweise auf die Quellzeilen. Der Treffer wird danach unter dem Token des Suchenden aus Trino nachgeladen. Wer eine Zeile nicht sehen darf, bekommt sie auch als Suchtreffer nicht; eine maskierte Spalte bleibt maskiert.

Der Suchindex findet Kandidaten. Trino entscheidet unter Ihrer Identität, welche Inhalte angezeigt werden dürfen.

Kennzahlen mit genau einer Definition

Die Semantikschicht trägt kuratierte Kennzahlen und tabellenübergreifende Semantic Views. Der Sinn ist nicht Bequemlichkeit, sondern Eindeutigkeit: „Umsatz“ ist einmal definiert, und die Dashboard-Kachel, die Suche und der KI-Agent rechnen mit derselben Definition.

Der Assistent darf Kennzahlen vorschlagen und anlegen – mit Rückfrage und Protokolleintrag. Damit lässt sich das semantische Modell aus den vorhandenen Daten heraus aufbauen, statt darauf zu warten, dass jemand Zeit für eine Definitionsrunde findet.

Abfragen und Dashboards

Neben der Suche gibt es das gewöhnliche Werkzeug: einen Datenbrowser von Katalog über Schema bis zur Tabelle, und ein SQL-Worksheet, das Trino-SQL gegen Iceberg schickt. Ergebnisse lassen sich als Kachel auf ein Dashboard legen.

Wichtig dabei: eine Kachel speichert die Abfrage, nicht das Ergebnis. Sie rechnet bei jedem Betrachter unter dessen Identität. Zwei Personen können dasselbe Dashboard öffnen und unterschiedliche Zahlen sehen – und das ist richtig so, wenn ihre Rechte unterschiedlich sind.

• Datenbrowser mit Sprung zur Herkunft je Tabelle
• SQL-Worksheet über Trino, unter Ihrer Identität
• Dashboards aus Abfragen und Kennzahlen
• Kacheln rechnen je Betrachter, nicht je Ersteller
• Materialisierte Kennzahlen mit inkrementeller Aktualisierung über Wasserstand
• Alerts gegen Schwellwerte, Berichte als Schnappschuss

Datenanalyse: von der Frage zur Kennzahl

Datenanalyse beginnt mit einer konkreten Frage: Wie entwickelt sich der Umsatz, in welcher Region steigen die Aufträge oder welche Werte fallen auf? Legen Sie zuerst Zeitraum, Einheit und Vergleich fest. In lavalake nutzen Sie dafür SQL-Abfragen und definierte Kennzahlen; Pyro kann bei der Auswertung helfen. Prüfen Sie das Ergebnis anhand der zugrunde liegenden Daten, bevor Sie es weitergeben.

Datenvisualisierung für verständliche Vergleiche

Datenvisualisierung übersetzt Ergebnisse in eine lesbare Darstellung. Für zeitliche Entwicklungen eignet sich eine Linie, für den Vergleich von Kategorien ein Balkendiagramm. Eine einzelne Kennzahl braucht zusätzlich Zeitraum und Einheit. Die Analytics-Ansicht sollte die fachliche Frage beantworten: Ein Vertriebs-Dashboard kann beispielsweise Umsatzentwicklung und regionale Unterschiede nebeneinander zeigen.