ТЕОРЕТИЧНА ОСНОВА ДЛЯ СТВОРЕННЯ АРХІТЕКТУРИ REAL WORLD DATA LAKE
DOI:
https://doi.org/10.31891/csit-2023-2-9Ключові слова:
бізнес-аналітика, наука про дані, інфраструктура як код, сховище даних, Data Lake архітектура, Data Lake, веб-сервіси AmazonАнотація
Data Lake — це методи зберігання та керування великою кількістю неструктурованих даних. Сучасні середні та малі підприємства, незалежно від їх розміру, можуть використовувати ці дані, щоб отримати важливу інформацію про свій бізнес, наприклад, удосконалення процесів або використання продукту.
У статті представлено широкий огляд налаштування Data Lake на AWS (веб-сервіси Amazon). Він охоплює налаштування інтерфейсу прикладного програмування (API) для споживання даних, зберігання даних, візуалізації даних і можливості швидкого створення Data Lake для кількох облікових записів AWS за допомогою однієї команди інтерфейсу командного рядка (CLI).
Запропонований підхід корисний для створення масштабованого Data Lake або налаштування сховища даних, яке не вимагає багато ручної роботи. Для досягнення цього використано підхід до інфраструктури як коду. Запропонована AWS архітектура для вирішення задачі ефективності зберігання даних. Стаття демонструє діаграму запропонованої архітектури та її високорівневий опис з теоритичним підгрунтям.
