Czy zastanawialiście się, jak zarządzanie danymi będzie wyglądać w najbliższej przyszłości? W mojej pracy miałem okazję obserwować wiele zmian.
Elastyczne podejście do kosztów i skupienie się na kluczowych aspektach działalności organizacji prowadzi do szybkiego rozwoju chmur obliczeniowych oraz sieci transmisji danych. Wiele projektów, w których brałem udział, korzysta z tych rozwiązań lub wkrótce zacznie to robić. Wiąże się to z nowymi wyzwaniami związanymi z bezpieczeństwem i zarządzaniem danymi.
Na podstawie moich doświadczeń, można zauważyć wzrost zapotrzebowania na zdecentralizowany dostęp do danych. To przyczynia się do przesunięcia w kierunku data mesh i data fabric kosztem tradycyjnych data lakes i data warehouses. Zamiast mniej lub bardziej zasobożernych silosów danych, pojawiają się elastyczne i skalowalne rozwiązania, które dają firmom większą swobodę i pozwalają na lepsze wykorzystanie danych.
Istotnym trendem, z którym miałem do czynienia, jest coraz ściślejsza współpraca między zespołami domenowymi a zespołami IT. Choć to niełatwe zadanie, przynosi wymierne korzyści firmom, które zmieniają swoje podejście i zintegrują zespoły. Wraz z rozwojem sztucznej inteligencji wiele działań w ramach zarządzania danymi będzie w pełni lub częściowo zautomatyzowanych dzięki narzędziom AI i ML.
Coraz więcej mówi się o urządzeniach IoT i dużych ilościach danych przez nie przesyłanych. Wkrótce przekonamy się, jakie nowe wyzwania pojawią się przed data stewardami w związku z tym trendem. Pierwsza sprawa, która mi się z tym kojarzy, to np. etyka związana z przetwarzaniem i udostępnianiem określonych danych.
Podsumowując, w 2023 roku data steward powinien szybko uzupełnić wiedzę w zakresie korzystania z chmury obliczeniowej i szybkich sieci. Przyda się też wiedza na temat zdecentralizowanych metod zarządzania danymi z zachowaniem zasad bezpieczeństwa oraz regulacji w tym zakresie. Zarządzanie danymi bez wsparcia sztucznej inteligencji będzie praktycznie niemożliwe, więc warto być na bieżąco z tymi trendami.
Dziś, data steward staje się odpowiedzialny za sprawny przepływ strumieni danych, podobnie jak kapitan, który musi zapewnić sprawną żeglugę na niezbadanych wodach cyfrowego oceanu, łącząc świat technologii z biznesem.
