Intensywny rozwój GenAI, czyli generatywnej sztucznej inteligencji, wiąże się z rosnącym zapotrzebowaniem na moc obliczeniową w centrach danych na całym świecie. Data centers muszą pozwalać na przetwarzanie ogromnych zbiorów informacji w czasie rzeczywistym. Rozwojowi infrastruktury w skali globalnej powinien towarzyszyć postęp cyfrowy na poziomie poszczególnych firm, szczególnie technologicznych, które zwracają się coraz częściej ku tzw. data lakes, czyli jeziorom danych. Czym jest data lake i co łączy to rozwiązanie ze sztuczną inteligencją?
Jakie są różnice między data lake a data warehouse?
Data warehouse reprezentuje tradycyjne podejście do baz danych, które opiera się na uporządkowanej strukturze i ściśle zdefiniowanych schematach przechowywania informacji. Zgromadzone zasoby zostają wstępnie przetworzone i sformatowane (np. ułożone w tabelach), aby przyspieszać przeprowadzanie analiz biznesowych. To sprawia, że data warehouse często stanowi fundament działania sklepów internetowych, które muszą weryfikować dane sprzedażowe w skali dziennej, tygodniowej czy miesięcznej.
Data lake stanowi całkowite przeciwieństwo tradycyjnego modelu data warehouse. Jezioro danych to centralne repozytorium, które gromadzi masowe wolumeny nieprzetworzonych danych z różnorodnych źródeł – nieustrukturyzowanych, półustrukturyzowanych czy ustrukturyzowanych. Co najważniejsze, nawet 90 proc. zasobów w data lake stanowią dane nieustrukturyzowane, co sprzyja większej elastyczności w prowadzeniu analiz oraz niższym kosztom operacyjnym związanym z przechowywaniem informacji.
Kiedy data lake może się przekształcić w data swamp? Najczęstsze ryzyka dla firm
Mimo że jezioro danych służy do przechowywania surowych, nieprzetworzonych informacji, wymaga odpowiedniego monitorowania. W przeciwnym razie rośnie ryzyko powstania data swamp, czyli tzw. bagna danych. Nadmiernie „zanieczyszczone” dane będzie trudno wyfiltrować i zinterpretować – nawet najbardziej zaawansowanym algorytmom AI. W związku z tym zagrożeniem nowoczesne platformy data lake wdrażają automatyzację m.in. w obszarze katalogowania zbiorów i kontroli bezpieczeństwa. Niezbędne jest przy tym stałe dbanie o zgodność z przepisami prawnymi oraz zarządzanie uprawnieniami użytkowników.
Data lake jako element niezbędny dla procesów wykorzystujących AI
Agent AI może realizować różnorodne zadania związane z analityką w e-commerce, np. wykrywać przyczyny nagłego spadku sprzedaży w gorącym sezonie, ale też dowiedzieć się, co wpłynęło na niższą liczbę klientów w sklepach stacjonarnym w danym regionie. Korzystając z data lake powiązanego z katalogiem metadanych, agent AI samodzielnie odnajduje właściwe dane, generuje dodatkowe zapytania, a następnie interpretuje zebrane materiały i tworzy finalne zestawienie dla użytkownika, który w tym czasie mógł się zająć zadaniami wymagającymi ludzkiego nadzoru. Warto pamiętać, że w pracy z AI obowiązuje reguła „garbage in, garbage out”. To oznacza, że niska jakość danych wejściowych może prowadzić do błędnych wyników automatycznych analiz. Stanowi to kolejny dowód na to, jak ważna jest kontrola nad jeziorem danych.