Was ist ein Data Lake?

Unternehmen, die aus ihren Daten erfolgreich einen Unternehmenswert gewinnen, haben ihren Mitbewerber etwas voraus. Einer Aberdeen-Umfrage zufolge konnten Unternehmen, die Data Lake implementierten, ein um 9 % höheres organisches Umsatzwachstum verzeichnen als ähnliche Unternehmen. Diese führenden Unternehmen konnten neue Arten von Analysen wie Machine Learning über im Data Lake gespeicherte neue Quellen wie Protokolldateien, Daten aus Click-Streams, sozialen Medien und mit dem Internet verbundenen Geräten durchführen. Auf diese Weise konnten sie Chancen für geschäftliches Wachstum schneller erkennen und nutzen – durch Gewinnung und Bindung von Kunden, Steigerung der Produktivität, proaktive Wartung von Geräten und fundierte Entscheidungen.

Je nach Anforderungen benötigt ein typisches Unternehmen sowohl ein Data Warehouse als auch einen Data Lake, weil diese auf unterschiedliche Bedürfnisse und Anwendungsfälle abzielen.

Ein Data Warehouse ist eine Datenbank, die für die Analyse relationaler Daten aus Transaktionssystemen und Geschäftsanwendungen optimiert ist. Die Datenstruktur und das Schema werden im Voraus definiert und für schnelle SQL-Abfragen optimiert, deren Ergebnisse in der Regel für operative Berichte und Analysen genutzt werden. Die Daten werden bereinigt, angereichert und umgewandelt, so dass sie als „Single Source of Truth“ fungieren können, der die Benutzer vertrauen können.

Ein Data Lake ist anders, denn er speichert relationale Daten aus Geschäftsanwendungen und nicht-relationale Daten aus mobilen Apps, IoT-Geräten und sozialen Medien. Die Struktur der Daten oder des Schemas wird bei der Datenerfassung nicht definiert. Das bedeutet, dass Sie alle Ihre Daten speichern können, ohne Sie sorgfältig planen oder wissen zu müssen, auf welche Fragen Sie in Zukunft Antworten benötigen. Anhand verschiedener Arten von Datenanalysen wie SQL-Abfragen, Big-Data-Analysen, Volltextsuche, Echtzeitanalysen und Machine Learning lassen sich Erkenntnisse gewinnen.

Da Unternehmen mit Data Warehouses die Vorteile von Data Lakes erkennen, entwickeln sie ihr Warehouse weiter, um Data Lakes einzubeziehen und verschiedene Abfragemöglichkeiten, Data-Science-Anwendungsfälle und erweiterte Funktionen zum Entdecken neuer Informationsmodelle zu ermöglichen. Gartner bezeichnet diese Entwicklung als „Data Management Solution for Analytics“ oder „DMSA“.

Die größte Herausforderung bei einer Data-Lake-Architektur besteht darin, dass Rohdaten ohne Überblick über den Inhalt gespeichert werden. Damit ein Data Lake Daten nutzbar machen kann, muss er über definierte Mechanismen zur Katalogisierung und Sicherung von Daten verfügen. Ohne diese Elemente kann man keine Daten finden oder ihnen vertrauen, was zu einem „Datensumpf“ führt. Um den Anforderungen eines größeren Personenkreises gerecht zu werden, müssen Data Lakes über Governance, semantische Konsistenz und Zugriffskontrollen verfügen.

Data Lakes eignen sich ideal für die Bereitstellung in der Cloud, da die Cloud Leistung, Skalierbarkeit, Zuverlässigkeit, Verfügbarkeit, eine Vielzahl von Analyse-Engines und massive Einsparungen bietet. Eine ESG-Studie ergab, dass 39 % der Befragten die Cloud als primären Einsatzort für Analysen in Betracht ziehen, 41 % für Data Warehouses und 43 % für Spark. Die wichtigsten Gründe, warum Kunden die Cloud als vorteilhaft für Data Lakes wahrnehmen, sind bessere Sicherheit, kürzere Bereitstellungszeiten, bessere Verfügbarkeit, häufigere Aktualisierungen von Funktionen, größere Elastizität, größere geografische Abdeckung und an die tatsächliche Nutzung gebundene Kosten.

AWS stellt das sicherste, skalierbarste, umfassendste und kostengünstigste Service-Portfolio bereit, das Kunden nutzen können, um ihren Data Lake in der Cloud zu erstellen und alle ihre Daten, darunter auch Daten auf IoT-Geräten, mit zahlreichen analytischen Ansätzen, z. B. Machine Learning, zu analysieren. Infolgedessen betreiben mehr Unternehmen ihre Data Lakes und Analysen auf AWS als irgendwo sonst. Kunden wie NETFLIX, Zillow, NASDAQ, Yelp, iRobot und FINRA vertrauen bei der Ausführung ihrer geschäftskritischen Analyse-Workloads auf AWS. Weitere Informationen.