¿Qué es un lago de datos?

Las organizaciones que generan valor empresarial de forma exitosa a partir de sus datos superarán a sus colegas. Una encuesta de Aberdeen notó que las organizaciones que implementaron lagos de datos superaron el nivel de rendimiento de empresas similares en un 9 % en cuanto al crecimiento orgánico de los ingresos. Estos líderes pudieron realizar nuevos tipos de análisis, como machine learning sobre nuevos orígenes, tales como archivos de registro, datos de secuencias de clics, redes sociales y dispositivos conectados a Internet almacenados en lagos de datos. Esto los ayudó a identificar oportunidades de crecimiento empresarial en menos tiempo y a actuar para aprovecharlas al atraer y retener clientes, potenciar la productividad, mantener dispositivos de manera proactiva y tomar decisiones informadas.

Según los requisitos, una organización típica necesitará tanto un almacenamiento de datos como un lago de datos, ya que atienden diferentes necesidades y casos de uso.

Un almacenamiento de datos es una base de datos optimizada para analizar datos relacionales que provienen de sistemas transaccionales y aplicaciones de línea de negocio. La estructura y el esquema de los datos se definen con anticipación para optimizar y agilizar las consultas SQL, donde los resultados suelen usarse para informes y análisis operativos. Los datos se limpian, enriquecen y transforman para que puedan funcionar como el “único origen de información” en el que los usuarios puedan confiar.

Un lago de datos es diferente, ya que almacena datos relacionales de aplicaciones de línea de negocio y datos no relacionales de aplicaciones móviles, dispositivos de IoT y redes sociales. La estructura de los datos o el esquema no se definen cuando se capturan los datos. Esto significa que puede almacenar todos sus datos sin un diseño cuidadoso y sin saber qué preguntas tal vez tenga que responder en el futuro. Para descubrir información, se pueden utilizar diferentes tipos de análisis sobre sus datos, como consultas SQL, análisis de macrodatos, búsqueda de texto completo, análisis en tiempo real y machine learning.

A medida que las organizaciones con almacenamientos de datos reconocen los beneficios de los lagos de datos, están evolucionando su almacenamiento para incluir lagos de datos y habilitar diversas capacidades de consulta, casos de uso de ciencia de datos y capacidades avanzadas para descubrir nuevos modelos de información. Gartner denomina a esta evolución “solución de administración de datos para análisis” o “DMSA”.

El principal desafío de una arquitectura de lago de datos es que los datos sin procesar se almacenen sin supervisión de los contenidos. Para que un lago de datos habilite el uso de los datos, debe contar con mecanismos definidos para catalogar y proteger los datos. Sin esos elementos, no se pueden encontrar los datos ni se puede confiar en ellos, lo que resulta en un “pantano de datos”. Para satisfacer las necesidades de audiencias más amplias, los lagos de datos deben tener gobernanza, coherencia semántica y controles de acceso.

Los lagos de datos son una carga de trabajo ideal para implementar en la nube porque la nube proporciona rendimiento, escalabilidad, fiabilidad, disponibilidad, un diverso conjunto de motores analíticos y economías de escala masivas. La investigación de ESG demostró que el 39 % de los encuestados consideraban a la nube como su implementación primaria para análisis, el 41 % para almacenamientos de datos y el 43 % para Spark. Las principales razones por las que los clientes consideraron a la nube como una ventaja para los lagos de datos es que tienen mejor seguridad, tiempos más rápidos de implementación, mejor disponibilidad, actualizaciones de características o funcionalidades más frecuentes, más elasticidad, mayor cobertura geográfica y costos vinculados a la utilización real.

AWS ofrece la cartera de servicios más segura, escalable, completa y rentable que permite a los clientes crear lagos de datos en la nube y analizar la totalidad de los datos, incluidos aquellos provenientes de dispositivos de IoT, con una variedad de estrategias analíticas que incluyen el machine learning. Como resultado, hay más organizaciones que ejecutan sus lagos de datos y análisis en AWS que en cualquier otro lado, con diferentes clientes, como NETFLIX, Zillow, NASDAQ, Yelp, iRobot y FINRA, que confían en AWS para ejecutar las cargas de trabajo de análisis fundamentales para sus empresas. Obtenga más información.