Planung und Implementierung eines Data Lakes

Projektumfeld

Das Projekt wurde im Rahmen der Business-Unit „Trading“ eines großen Energiekonzerns in Baden-Württemberg durchgeführt. Der Energiehandel stellt den zentralen Zugang zu den Großhandelsmärkten für Strom, Gas sowie Brennstoffe sicher.

Dabei wird der aus erneuerbaren und konventionellen Quellen erzeugten Strom von eigenen Anlagen sowie von Kunden und Partner vermarktet. Dazu gehört auch die Brennstoffbeschaffung, das CO₂-Management sowie die Kraftwerkseinsatzplanung und -steuerung.

Der Kunde handelt zu diesem Zwecke europaweit an den wichtigen Energiebörsen (European Energy Exchange (EEX), EPEX Spot und Intercontinental Exchange (ICE)) und tätigen außerbörsliche Geschäfte (OTC-Handel) mit mehr als 200 nationalen und internationalen Vertragspartnern. Das Produktportfolio umfasst dabei physische und finanzielle Handelsprodukte für Strom, Gas, Kohle, Öl und CO₂-Zertifikate.

Unternehmerischer Mehrwert

Die Business-Unit Trading steht vor der Herausforderung, die Wertschöpfung von 170 Millionen Euro im Jahr 2017 auf 350 Millionen Euro im Jahr 2025 zu steigern.

Herausforderungen

Für die IT-Systemlandschaft bedeutet die Unterstützung einer Vielzahl neuer Produkte und neuer Märkte eine deutliche Volumensteigerung in Form von immer mehr Deals, Assets und anfallenden Daten. Handelssysteme müssen mit wachsenden Datenmengen und einer größeren Anzahl von Ereignissen umgehen können.

Da es sich bei den Systemen des Kunden, um kritische Infrastruktur (KRITIS) handelt, wird besonders auf die Aspekte Sicherheit und Skalierbarkeit geachtet. Die Transformation der IT-Architektur muss sicherstellen, dass sowohl der bestehende Betrieb gewährleistet werden kann als auch die Umstellung auf die moderne IT-Landschaft erfolgt.

Die Grundlage der neuen IT sind die Daten. Diese müssen in immer höherer Geschwindigkeit und größerer Masse bereitgestellt werden. Diese dienen als Entscheidungsgrundlagen für Handelsentscheidungen und sind deswegen extrem wichtig. In der aktuellen Landschaft sind die Daten heterogen und dezentral in unterschiedlichsten Quellen und Speicherlösungen abgelegt. Von Datawarehouses, über Datenbanken bis hin zu moderneren Kafka Streams ist von allem etwas dabei.

Die Herausforderung ist es, alle Daten zentral und für jeden im Unternehmen einfach zugänglich zu machen.

Lösung

Der Data Lake ist die zentrale Quelle für die Bereitstellung der für das Handelsgeschäft erforderlichen Daten. Es handelt sich definitionsgemäß nicht um eine einzelne Datenbankeinheit, sondern um eine logische Komponente, die sich aus verschiedenen technischen Komponenten zusammensetzt und auf die von einem zentralen Zugangspunkt aus zugegriffen werden kann.

Als Infrastruktur zur Speicherung wurden skalierbare Services wie S3 von Amazon Web Services verwendet. Die Daten wurden mit API Gateways und Lambda Funktionen „Serverless“ abfragbar gemacht.

Der Data Lake dient als Single Source of Truth über die Inhalte des Unternehmens und ermöglicht effiziente Data Governance- und Managementprozesse. Der Data Lake führt auch Daten wie Protokolle, Überwachungsdaten oder Geschäftsprozessereignisse zusammen. Alle Komponenten der IT-Landschaft schreiben und lesen ihre Daten vom oder zum Daten Lake.