DataHub to kompleksowa platforma do akwizycji, przechowywania, przetwarzania i udostępniania danych, stworzona w architekturze Data Lakehouse. Oferuje organizacjom pełną kontrolę nad cyklem życia informacji – od integracji różnorodnych źródeł, przez analitykę i zaawansowane przetwarzanie, po bezpieczne udostępnianie danych użytkownikom, aplikacjom oraz zewnętrznym systemom.
Najważniejsze cechy rozwiązania DataHub
Centralizacja i unifikacja danych.
DataHub integruje dane strukturalne, semi-strukturalne i niestrukturalne, eliminując silosy informacyjne i umożliwiając dostęp do jednego, wiarygodnego źródła prawdy w organizacji.
Bezpieczna i skalowalna architektura.
Platforma opiera się na konteneryzacji (Kubernetes), zapewniając dynamiczną alokację zasobów, wysoką dostępność oraz bezpieczeństwo danych na każdym etapie ich przetwarzania. Uwierzytelnianie Kerberos, RBAC/ABAC, szyfrowanie (AES, TLS), MFA i rozbudowany audyt spełniają najwyższe standardy compliance (RODO, HIPAA).
Samoobsługowe gromadzenie i profilowanie danych.
Wbudowany Multipurpose Acquisition Point (MAP) pozwala na automatyczną integrację źródeł przez API, Kafka, SFTP, AD/LDAP, wsparcie kluczy PKI, obsługę push/pull transferów i samodzielne kategoryzowanie danych przez użytkowników biznesowych.
Zaawansowane przetwarzanie i automatyzacja.
DataHub umożliwia obsługę batch, stream i near-real-time processing (Apache Spark, Flink, Airflow). System niskokodowych pipelines usprawnia realizację złożonych operacji ETL/ELT, transformacji, walidacji, wzbogacania i anonimizacji danych. Silnik Data Quality Engine i AI Driven Analyser zapewniają automatyczną kontrolę jakości, detekcję anomalii i rekomendacje korekcyjne.
Zarządzanie cyklem życia i metadanymi.
Cloudera Data Catalog oraz Apache Atlas centralizują zarządzanie metadanymi, lineage, klasyfikacją wrażliwych informacji i kontrolą uprawnień. Zautomatyzowane etykietowanie (maskowanie, tagowanie) oraz wsparcie dla polityk bezpieczeństwa granularnie kontrolują dostępy i zgodność.
Analityka i integracja.
Bezpośredni dostęp przez SQL (Impala, Hive, SparkSQL), REST, GraphQL, ODBC/JDBC. DataHub jest pełni kompatybilny z narzędziami BI – Tableau, PowerBI, Qlik Sense – oraz umożliwia integrację z zewnętrznymi systemami i aplikacjami.
DataHub to fundament cyfrowej transformacji, zwiększa efektywność operacyjną, poprawiając jakość raportowania, umożliwiając szybkie reagowanie na zmieniające się warunki rynkowe oraz budując potencjał operacyjny firmy w oparciu o dane.
Kluczowe funkcje i korzyści
Centralizacja i unifikacja danych.
Iintegracji informacji pochodzących z różnorodnych źródeł zarówno wewnętrznych, jak i zewnętrznych, takich jak aplikacje biznesowe, bazy danych, pliki czy strumienie danych oraz w szczególności systemy IoT. Taka integracja eliminuje silosy danych i zapewnia spójny, całościowy widok informacji, budując w organizacji „jedno źródło prawdy”.
Elastyczne przechowywanie wszelkich typów danych.
Strukturalnych, semi-strukturalnych i niestrukturalnych – pozwalając na składowanie nawet bardzo dużych wolumenów danych w ich pierwotnej postaci (dane RAW) oraz w formach umożliwiających ich swobodne i efektywne użytkowanie (dane ekstrahowane, normalizowane, wzbogacane, korygowane, transponowane i transformowane).
Architektura Data Lakehouse.
Zapewnia optymalną równowagę pomiędzy elastycznością a wydajnością.
Zaawansowane przetwarzanie i transformacja danych.
System pozwala na obsługę zarówno przetwarzania wsadowego, jak i analiz w czasie rzeczywistym, oferując narzędzia do automatycznego czyszczenia, walidacji, normalizacji oraz wzbogacania danych. Obsługa złożonych transformacji i agregacji informacji, a także możliwość definiowania zautomatyzowanych przepływów danych (data pipelines), umożliwia efektywne zarządzanie dużymi zbiorami informacji.
Efektywne zarządzanie danymi.
Obejmuje centralne zarządzanie metadanymi, prowadzenie katalogu danych oraz słownika informacji. System automatycznie określa typy, pochodzenie, właścicieli i cykl życia danych, zapewniając monitorowanie i utrzymanie ich wysokiej jakości oraz umożliwiając wdrażanie polityk ładu danych.
Klasyfikacja danych obejmuje zarówno aspekty techniczne, jak i biznesowe, umożliwiając pełne wykorzystanie potencjału przetwarzanych zasobów przy zachowaniu zgodności z regulacjami i wymaganiami branżowymi.
Klasyfikacja w oparciu o strukturę danych
Dane strukturalne.
Tabele relacyjne (bazy SQL), arkusze kalkulacyjne, dane w postaci kolumn i wierszy, które charakteryzuje sztywna, z góry zdefiniowana struktura (schemat) oraz łatwość indeksowania i przeszukiwania
Dane semi-strukturalne.
Takie jak dokumenty JSON, XML, YAML, pliki dzienników zdarzeń, dane NoSQL, charakteryzujące się częściowo zdefiniowanym schematem (np. drzewiasta struktura elementów) oraz elastycznością w zakresie dodawania nowych atrybutów, ale bez ścisłej normalizacji.
Dane niestrukturalne.
Tekst jednolity (wiadomości e-mail, dokumenty Word/PDF), obrazy, wideo, audio, pliki binarne, strumienie danych z mediów społecznościowych, których wspólną cechą jest brak narzuconego schematu czy formy, przez co są znacznie trudniejsze do indeksowania, analizy czy interpretacji.
Metadane.
Opisy plików (data utworzenia, autor), etykiety, informacje o prawach autorskich, słowa kluczowe w repozytoriach danych, itp., stanowiące krytyczny zbiór informacyjny opisujący dane, niezbędny do prawidłowej ich interpretacji, określania kontekstu, znaczenia biznesowego, katalogowania, audytu, badania adekwatności i zgodności z normatywami, automatyzacji zarządzania cyklem życia, itd.
Architektura logiczna systemu. System jest modułowy, elastyczny i skalowalny, tak aby umożliwić bezproblemowe przyjmowanie, magazynowanie oraz udostępnianie wszelkiego rodzaju informacji zgodnie z wymaganiami współczesnych organizacji. Centralnym punktem jest koncepcja Data Lakehouse, która łączy zalety Data Lake i Data Warehouse
Bezpieczeństwo danych.
System wyposażony jest w wielopoziomowe mechanizmy uwierzytelniania i autoryzacji, dostosowane do klasyfikacji wrażliwości przetwarzanych informacji. Stosowane są techniki szyfrowania zarówno danych w spoczynku, jak i w trakcie przesyłania, a także narzędzia audytowania i śledzenia dostępu. Całość rozwiązań zapewnia zgodność z wymogami prawnymi, takimi jak RODO czy standardy branżowe.
Łatwe udostępnianie danych.
Dzięki nowoczesnym interfejsom API oraz dedykowanym konektorom, integracja z systemami analitycznymi, raportowymi, aplikacjami biznesowymi czy systemami zewnętrznymi staje się znacznie prostsza. Możliwe jest tworzenie wirtualnych hurtowni danych (Data Marts) na potrzeby konkretnych działów, a kontrolowany, granularny dostęp do informacji gwarantuje bezpieczeństwo i elastyczność wykorzystania danych.
Elastyczność i skalowalność.
Dodatkowym atutem jest optymalizacja kosztów i zasobów, osiągana dzięki efektywnemu wykorzystaniu technologii chmurowych (w szczególności prywatnych środowisk chmurowych) i rozwiązań open-source, automatycznemu zarządzaniu zasobami oraz możliwości elastycznego skalowania środowiska. Architektura Systemu jest modularna i otwarta, co ułatwia jej rozbudowę o nowe technologie i źródła danych, a także umożliwia adaptację do rosnącego udziału danych niestrukturalnych i specyficznych wymagań AI/ML. Wsparcie dla rozwiązań hybrydowych, łączących infrastrukturę lokalną z modelami multi-cloud, pozwala na optymalną kontrolę kosztów, zgodności i wydajności, stanowiąc fundament pod przyszły rozwój cyfrowych kompetencji organizacji.
Klasyfikacja w oparciu o strukturę danych
Dane operacyjne (OLTP).
Krótkotrwałe, często aktualizowane w czasie rzeczywistym, przykładowo zamówienia e-commerce, zapisy transakcji bankowych, różnorodne statusy.
Dane analityczne (OLAP / Big Data).
Gromadzone w hurtowniach danych, jeziorach danych lub klastrach Hadoop/Spark; zorientowane na raportowanie, analizy historyczne, eksplorację wzorców, czego przykłady stanowią raporty sprzedaży miesięcznej, analizy zachowań użytkowników, predykcja trendów;
Dane strumieniowe (streaming).
Źródła danych ciągłych takie jak telemetria maszyn, zapisy dzienników zdarzeń serwerów, sensory IoT, kanały lub aktualności w mediach społecznościowych, przetwarzane w Systemie z użyciem Apache Kafka, Apache Flink, Spark Structured Streaming.
Dane archiwalne.
Stare wersje danych, migawki baz, dzienniki historyczne; rzadziej modyfikowane, zwykle zarchiwizowane na taśmach, w chmurze obiektowej (np.: S3, Blob), wykorzystywane w ramach audytów, w przypadkach konieczności odtwarzania systemów po awarii czy w związku z prowadzeniem analiz długoterminowych
System faworyzuje żadnego rodzajów danych, co oznacza, że wszelkie dane do niego trafiające będą umieszczane w jednym, spójnym środowisku.
Klasyfikacja ze względu na wrażliwość dannych
Dane publiczne (otwarte).
Brak ograniczeń dostępu; np. informacje prasowe, dane statystyczne urzędów, ogólnodostępne katalogi produktowe.
Dane wewnętrzne (internal).
Dostęp ograniczony do pracowników organizacji; np. procedury firmowe, raporty wewnętrzne, dane operacyjne niskiego ryzyka.
Dane poufne (confidential).
Dostęp na podstawie uprawnień; np. dane finansowe, umowy handlowe, dane klientów.
Dane ściśle regulowane.
Wysoki poziom ochrony – szyfrowanie, ścisły nadzór; np. dane osobowe wrażliwe (PESEL), dane medyczne (diagnozy), informacje objęte RODO/GDPR, dane sektora obronnego.
Klasyfikacja IN-OUT
Dane IoT i Edge.
Zbierane i przetwarzane w pobliżu ich źródeł, „na krańcu sieci”, dane pochodzące z różnego typu czujników, aparatury pomiarowej, sygnałowych systemów monitorowania, liczników, pojazdów autonomicznych, urządzeń „inteligentnych”.
Dane AI/ML.
Zestawy uczące (datasets), modele (models), wektory osadzeń (embeddings); charakteryzują się dużą objętością i potrzebą specjalistycznej infrastruktury (GPU, TPU).
Dane prywatności (privacy-enhanced). Zanonimizowane, pseudonimizowane, homomorficzne szyfrowane zbiorczo, wykorzystywane w analizie danych wrażliwych bez naruszenia prywatności.
Dane Web3 / Blockchain.
Specyficzne dla operacji realizowanych w zdecentralizowanych sieciach Blockchain, wytwarzanych i przetwarzanych przez zdecentralizowane aplikacje (dApps), czego przykładami mogą być zapisy dekretów transakcji (ledger), kontrakty „smart”, NFT, charakteryzujące się transparentnością, rozproszeniem oraz niezmiennością (immutability).
Architektura bezpieczeństwa danych
Architekturę referencyjną oparto na czterech filarach, które zapewniają spójność oraz efektywność wdrażanych rozwiązań. W ramach niniejszej koncepcji szczególny nacisk położono na kwestie związane z uwierzytelnianiem użytkowników i usług.
Technologia
Klasa Platformy: Data Lakehouse
DataHub zbudowany jest w oparciu o najnowocześniejsze komponenty open source oraz sprawdzone technologie korporacyjne Cloudera. Ekosystem zapewnia pełną automatyzację cyklu życia danych, bezpieczeństwo klasy enterprise i możliwość integracji z rozwiązaniami zewnętrznymi.
Apache Kafka.
System obsługi transmisji danych strumieniowych w czasie rzeczywistym. Umożliwia integrację wielu źródeł, buforowanie oraz niezawodny transfer danych we/wy na wielką skalę.
Apache Flink / Apache Spark.
Silniki do przetwarzania danych: Spark – do zaawansowanego przetwarzania wsadowego i analitycznego (batch/stream), Flink – do analiz i transformacji danych strumieniowych w czasie rzeczywistym.
Apache Airflow.
Narzędzie do orkiestracji przepływów danych (workflow) i automatyzacji złożonych procesów ETL/ELT. Umożliwia graficzne planowanie, harmonogramowanie i monitoring zadań.
Apache NiFi.
(opcjonalnie) Ułatwia przepływ danych pomiędzy systemami, automatyzuje pobieranie, wzbogacanie i przekazywanie danych.
Kubernetes.
Platforma do konteneryzacji i automatycznego skalowania usług oraz zapewnienia wysokiej dostępności środowiska DataHub.
Apache Ozone (S3-kompatybilny storage).
Rozproszony system przechowywania danych. Zapewnia elastyczność, skalowalność i obsługę ogromnych wolumenów struktur danych (Parquet, Avro, ORC).
Apache.
Hive – katalog i silnik hurtowni danych (SQL, batch processing), Impala – szybkie zapytania analityczne SQL na dużych zbiorach, Iceberg – Magazyn transakcyjny typu Lakehouse z obsługą wersjonowania i integralności danych na dużą skalę.
Cloudera Data Platform (CDP).
Zintegrowana platforma zarządzania wszystkimi usługami DataHub: katalogowanie, hurtownie, bezpieczeństwo, analityka, ML.
JanusGraph + Apache Atlas.
Atlas – zarządzanie metadanymi, klasyfikacją i lineage danych. JanusGraph – baza grafowa pomagająca śledzić powiązania i pochodzenie informacji.
Cloudera Data Catalog.
Centralizacja metadanych, automatyczne tagowanie, klasyfikacja, obsługa polityk bezpieczeństwa oraz cyklu życia danych.
Apache Ranger.
Kontrola dostępu, zarządzanie politykami bezpieczeństwa, granularna autoryzacja do danych (poziom wierszy, kolumn, tabel) zgodnie z RBAC i ABAC.
Kerberos, OAuth 2.0, TLS.
Zaawansowane uwierzytelnianie (Active Directory/LDAP z SSO), szyfrowanie transmisji oraz bezpieczna komunikacja wewnątrz i na zewnątrz platformy.
Prometheus i Grafana, Cloudera Manager.
Monitoring środowiska, wizualizacja wydajności, automatyczne alertowanie i diagnostyka.
Integracje i konektory.
ODBC/JDBC, REST API, GraphQL API – pozwalają szybko połączyć DataHub z narzędziami BI (Tableau, Power BI, Qlik), systemami zewnętrznymi i aplikacjami firm trzecich.
Umów się na prezentację DataHub
Skontaktuj się z nami i dowiedz się, jak DataHub może pomóc Ci w pełni wykorzystać potencjał Twoich danych – umów prezentację!
Zapraszamy do kontaktu!
** Oświadczam, że na podstawie artykułu 6 Punkt 1 litera a Rozporządzenia Parlamentu Europejskiego I Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych (...) (“Rodo”) wyrażam zgodę na przetwarzanie moich danych osobowych w celu wykonania umowy lub komunikacji z allclouds.pl sp. z o.o. (Treść zawiadomienia dotyczącego danych osobowych jest tutaj)
allclouds.pl sp. z o.o.
ul. Jutrzenki 139, 02-231 Warszawa
www.allclouds.pl • office@allclouds.pl
phone: +48 22 100 43 80 • fax: +48 22 100 43 84
NIP: PL5223052539 • REGON: 363597531 • KRS: 0000598708
PN-EN ISO 9001 • PN-EN ISO/IEC 27001 • PN-EN ISO 14001 • PN-EN ISO 22301 • PN-EN ISO/IEC 27017 • PN-EN ISO/IEC 27018
