Data Lake คืออะไร

องค์กรที่สร้างคุณค่าทางธุรกิจจากข้อมูลของตนได้สำเร็จ จะส่งผลให้มีประสิทธิภาพการทำงานล้ำหน้าบริษัทคู่แข่งอื่นๆ การสำรวจ Aberdeen เล็งเห็นว่าองค์กรที่นำ Data Lake ไปใช้มีประสิทธิภาพดีกว่าบริษัทที่คล้ายกันในแง่การเติบโตของรายได้โดยทั่วไปถึง 9% องค์กรชั้นนำเหล่านี้สามารถใช้การวิเคราะห์ประเภทใหม่ เช่น Machine Learning กับแหล่งข้อมูลใหม่ๆ เช่น ไฟล์บันทึก ข้อมูลจากคลิกสตรีม โซเชียลมีเดีย และอุปกรณ์ที่เชื่อมต่ออินเทอร์เน็ตซึ่งจัดเก็บไว้ใน Data Lake การทำเช่นนี้ช่วยให้องค์กรเหล่านี้สามารถระบุและใช้โอกาสต่างๆ เพื่อทำให้ธุรกิจเติบโตได้รวดเร็วขึ้น โดยการดึงดูดและรักษาลูกค้า เพิ่มประสิทธิภาพการทำงาน การรักษาอุปกรณ์ในเชิงรุก และทำการตัดสินใจอย่างชาญฉลาด

องค์กรทั่วไปจะต้องใช้ทั้งคลังเก็บข้อมูลและ Data Lake เนื่องจากทั้งสองอย่างตอบโจทย์ความต้องการและใช้งานในกรณีที่แตกต่างกัน โดยจะขึ้นอยู่กับข้อกำหนดต่างๆ

คลังเก็บข้อมูลคือฐานข้อมูลที่ได้รับการปรับให้เหมาะสมเพื่อวิเคราะห์ข้อมูลเชิงสัมพันธ์ที่ได้มาจากระบบธุรกรรมและแอปพลิเคชันหน่วยธุรกิจ โครงสร้างของข้อมูลและสคีมาจะได้รับการกำหนดล่วงหน้าเพื่อปรับให้เหมาะสมสำหรับการสืบค้นด้วย SQL ที่รวดเร็ว ซึ่งมักจะใช้ผลลัพธ์ในการรายงานและวิเคราะห์การปฏิบัติงาน ข้อมูลจะได้รับการตัดทอน เสริมแต่ง และปรับเปลี่ยนเพื่อให้สามารถใช้เป็น “แหล่งที่มาของความจริงเพียงหนึ่งเดียว” ที่ผู้ใช้จะเชื่อถือได้

Data Lake กลับแตกต่างออกไป เนื่องจากจะจัดเก็บข้อมูลเชิงสัมพันธ์จากแอปพลิเคชันหน่วยธุรกิจ และข้อมูลที่ไม่ใช่เชิงสัมพันธ์จากแอปมือถือ อุปกรณ์ IoT และโซเชียลมีเดีย โครงสร้างของข้อมูลหรือสคีมาจะไม่ได้รับการกำหนดเมื่อมีการบันทึกข้อมูล ซึ่งหมายความว่าคุณสามารถจัดเก็บข้อมูลทั้งหมดได้โดยไม่ต้องออกแบบอย่างระมัดระวัง หรือต้องทราบคำถามที่ต้องหาคำตอบในอนาคต คุณสามารถใช้การวิเคราะห์ข้อมูลประเภทต่างๆ เช่น การสืบค้นด้วย SQL, การวิเคราะห์ด้วย Big Data, การค้นหาข้อความเต็ม, การวิเคราะห์แบบเรียลไทม์ และ Machine Learning เพื่อค้นพบข้อมูลเชิงลึกได้

เมื่อองค์กรที่ใช้คลังเก็บข้อมูลมองเห็นประโยชน์ของ Data Lake องค์กรเหล่านี้จึงพัฒนาคลังเก็บข้อมูลของตนให้รวม Data Lake เอาไว้ ทำให้สามารถใช้การสืบค้นได้หลากหลาย รวมถึงใข้กรณีใช้งานวิทยาศาสตร์ข้อมูล และความสามารถขั้นสูงในการค้นพบข้อมูลรูปแบบใหม่ๆ Gartner เรียกวิวัฒนาการนี้ว่า “โซลูชันการจัดการข้อมูลสำหรับการวิเคราะห์” หรือ “DMSA”

ความท้าทายหลักของสถาปัตยกรรม Data Lake คือการที่ข้อมูลดิบจะได้รับการจัดเก็บโดยไม่มีการควบคุมเนื้อหา ในการที่ข้อมูลใน Data Lake จะใช้งานได้ จะต้องมีการกำหนดกลไกเพื่อจัดหมวดหมู่และรักษาความปลอดภัยข้อมูล หากไม่มีองค์ประกอบเหล่านี้ ข้อมูลจะไม่ได้รับการค้นพบหรือน่าเชื่อถือ ซึ่งจะนำไปสู่ “Data Swamp” เพื่อตอบโจทย์ความต้องการของลูกค้าในวงกว้างขึ้น Data Lake จะต้องมีการบริหารจัดการ มีความสอดคล้องเชิงความหมาย และมีการควบคุมการเข้าถึง

Data Lake คือปริมาณงานที่เหมาะสมที่สุดสำหรับการปรับใช้ในระบบคลาวด์ เนื่องจากระบบคลาวด์จะมอบประสิทธิภาพ ความสามารถในการปรับขนาด ความน่าเชื่อถือ ความพร้อมให้บริการ ชุดเครื่องมือการวิเคราะห์ต่างๆ และการประหยัดต่อขนาดในปริมาณมากได้ การวิจัยของ ESG พบว่าผู้ตอบแบบสำรวจ 39% มองว่าระบบคลาวด์เป็นระบบหลักที่ปรับใช้สำหรับการวิเคราะห์ของพวกเขา 41% สำหรับการเป็นคลังเก็บข้อมูล และอีก 43% สำหรับ Spark เหตุผลหลักที่ลูกค้ารู้สึกว่าระบบคลาวด์เป็นจุดเด่นของ Data Lake คือ การมีความปลอดภัยที่มากกว่า ใช้เวลาน้อยกว่าในการปรับใช้ ความพร้อมให้บริการที่ดีกว่า การอัพเดทคุณสมบัติ/ฟังก์ชันที่บ่อยกว่า ความยืนหยุดที่มากขึ้น การครอบคลุมทางภูมิศาสตร์ที่มากกว่า และต้นทุนที่เชื่อมโยงกับการใช้งานจริง

AWS มอบบริการที่ปลอดภัยสูงสุด ปรับขนาดได้ ครอบคลุม และประหยัดค่าใช้จ่ายซึ่งช่วยให้ลูกค้าสามารถสร้าง Data Lake ในระบบคลาวด์ และวิเคราะห์ข้อมูลทั้งหมด อันประกอบด้วยข้อมูลจากอุปกรณ์ IoT ด้วยแนวทางเชิงเคราะห์ที่หลากหลายซึ่งรวมถึง Machine Learning ผลที่ตามมาคือการมีองค์กรจำนวนมากขึ้นที่ใช้ Data Lake และการวิเคราะห์บน AWS มากกว่าในแพลต์ฟอร์มอื่นๆ โดยมีตัวอย่างลูกค้าเช่น NETFLIX, Zillow, NASDAQ, Yelp, iRobot และ FINRA ที่ไว้วางใจ AWS ในการดำเนินงานวิเคราะห์ที่สำคัญทางธุรกิจ เรียนรู้เพิ่มเติม