Qu’est-ce qu’un lac de données ?

Les organisations qui génèrent avec succès de la valeur commerciale à partir de leurs données surpasseront leurs pairs. Une enquête d'Aberdeen a montré que les organisations qui ont mis en œuvre un Data Lake surpassent de 9 % les entreprises similaires en croissance interne de chiffre d’affaires. Ces dirigeants ont pu effectuer de nouveaux types d'analyses comme le machine learning sur de nouvelles sources telles que les fichiers journaux, les données de flux de clics, les médias sociaux et les appareils connectés à Internet stockés dans le lac de données. Cela les a aidés à identifier et à exploiter plus rapidement les opportunités de croissance commerciale en attirant et en fidélisant les clients, en augmentant la productivité, en assurant la maintenance proactive des appareils et en prenant des décisions éclairées.

En fonction des exigences, une organisation typique aura besoin à la fois d'un entrepôt de données et d'un lac de données car ils répondent à des besoins et des cas d'utilisation différents.

Un entrepôt de données est une base de données optimisée pour analyser des données relationnelles provenant de systèmes transactionnels et d'applications métier. La structure des données et le schéma sont définis à l'avance pour optimiser les requêtes SQL rapides, où les résultats sont généralement utilisés pour le reporting opérationnel et l'analyse. Les données sont nettoyées, enrichies et transformées afin de pouvoir agir comme la « source unique de vérité » en laquelle les utilisateurs peuvent avoir confiance.

Un lac de données est différent car il stocke des données relationnelles provenant d'applications métier et des données non relationnelles provenant d'applications mobiles, d'appareils IoT et de médias sociaux. La structure des données ou du schéma n'est pas définie lors de la capture des données. Cela signifie que vous pouvez stocker toutes vos données sans une conception minutieuse ou sans avoir besoin de savoir à quelles questions vous pourriez avoir besoin de réponses à l'avenir. Différents types d'analyses sur vos données, comme les requêtes SQL, les analyses Big Data, la recherche en texte intégral, les analyses en temps réel et le machine learning, peuvent être utilisés pour découvrir des informations.

Alors que les organisations dotées d'entrepôts de données voient les avantages des lacs de données, elles font évoluer leur entrepôt pour inclure des lacs de données et activer diverses capacités de requête, des cas d'utilisation de la science des données et des capacités avancées pour découvrir de nouveaux modèles d'information. Gartner nomme cette évolution la « solution de gestion des données pour l'analyse » ou « DMSA ».

Le principal défi avec une architecture de lac de données est que les données brutes sont stockées sans surveillance du contenu. Pour qu'un lac de données rende les données utilisables, il doit disposer de mécanismes définis pour cataloguer et sécuriser les données. Sans ces éléments, les données sont introuvables ou ne sont pas fiables, ce qui entraîne un « bourbier de données ». Pour répondre aux besoins d'un public plus large, les lacs de données doivent avoir une gouvernance, une cohérence sémantique et des contrôles d'accès.

Les lacs de données constituent une charge de travail idéale à déployer dans le cloud, car le cloud offre des performances, une évolutivité, une fiabilité, une disponibilité, un ensemble diversifié de moteurs d'analyse et des économies d'échelle massives. L’étude ESG a révélé que 39% des répondants considèrent le cloud comme leur principal déploiement pour l'analyse, 41 % pour les entrepôts de données et 43 % pour Spark. Les principales raisons pour lesquelles les clients perçoivent le cloud comme un avantage pour les lacs de données sont une meilleure sécurité, un temps de déploiement plus rapide, une meilleure disponibilité, des mises à jour de fonctionnalités plus fréquentes, une plus grande élasticité, une couverture géographique plus étendue et les coûts liés à l'utilisation réelle.

AWS fournit le portefeuille de services le plus sécurisé, évolutif, complet et économique qui permet aux clients de créer leur lac de données dans le cloud, d'analyser toutes leurs données, y compris les données d'appareils IoT avec une variété d'approches analytiques notamment le machine learning. En conséquence, il y a plus d'organisations exécutant leurs lacs de données et leurs analyses sur AWS que partout ailleurs, avec des clients comme NETFLIX, Zillow, NASDAQ, Yelp, iRobot et FINRA qui font confiance à AWS pour exécuter leurs charges de travail d'analyse critiques. En savoir plus.