Data lake

Gestione dei big data

La diffusione dei Big Data ha portato una evoluzione naturale verso i Data Lake. Sidea Group, con il team specializzato di data scientists, developers e marketing specialists, offre servizi di progettazione e sviluppo basato su Data Lake con l’obiettivo di fornire una più profonda analisi dei dati per le strategie data-driven.

Un Data Lake è un luogo destinato allo storage, all’analisi e alla correlazione di dati, strutturati e non, in formato originale e provenienti da diverse fonte di dati (CRM, ERP, informazioni derivanti da macchine in produzione o dispositivi IoT).

Il termine “lake” va proprio ad identificare un flusso di dati al suo stato e formare appunto un “lago di dati”. Offrono una vista dei dati non elaborata per uno scopo specifico.

La principale caratteristica di un data lake è di fornire la possibilità di recuperare e organizzare il dato a seconda del tipo di analisi che si vuole effettuare. Rappresenta una semplificazione rispetto a un Data Warehouse che richiede un modellamento del dato prima dell’effettiva immagazzinazione.

Vantaggi di un data lake

Non necessita di una strutturazione dei dati, anzi accoglie dati strutturati, semi strutturati e destrutturati.

I dati sono acquisiti nel formato nativo.

Un data lake consente di configurare e riconfigurare facilmente nuovi modelli e query per le analisi.

Permette di interrogare i dati da un’ampia varietà di tool differenti.

Costi di archiviazione ridotti grazie alla sua struttura non definita, a differenza di un data warehouse dove occorre gestire database rigidi con conseguente impiego di persone altamente specializzate.

Notevole riduzione del time-to-market dovuta alla mancanza di fasi di progettazione di ampliamento e consolidamento dei dati.

Le fasi di gestione

Data Ingestion e Storage: capacità di acquisire dati in batch o real time e conservare e accedere a dati grezzi, semi-strutturati o strutturati nel loro formato originale.
Data Processing: capacità di lavorare sui dati non strutturati così da renderli pronti per l’analisi con procedure standard e di ingegnerizzare nuove soluzioni di estrazione di valore dei dati.
Data Analysis: capacità di creare appositi modelli per l’estrazione di informazioni dai dati, sia in tempo reale che su base periodica regolare.
Data Integration: capacità di collegare la piattaforma di Data Lake ad applicativi che consentono l’interrogazione ed estrazione dei dati in formati specifici.

Vantaggi di un data lake

Non necessita di una strutturazione dei dati, anzi accoglie dati strutturati, semi strutturati e destrutturati.

I dati sono acquisiti nel formato nativo.

Un data lake consente di configurare e riconfigurare facilmente nuovi modelli e query per le analisi.

Permette di interrogare i dati da un’ampia varietà di tool differenti.

Costi di archiviazione ridotti grazie alla sua struttura non definita, a differenza di un data warehouse dove occorre gestire database rigidi con conseguente impiego di persone altamente specializzate.

Notevole riduzione del time-to-market dovuta alla mancanza di fasi di progettazione di ampliamento e consolidamento dei dati.

Le fasi di gestione

Data Ingestion e Storage: capacità di acquisire dati in batch o real time e conservare e accedere a dati grezzi, semi-strutturati o strutturati nel loro formato originale.
Data Processing: capacità di lavorare sui dati non strutturati così da renderli pronti per l’analisi con procedure standard e di ingegnerizzare nuove soluzioni di estrazione di valore dei dati.
Data Analysis: capacità di creare appositi modelli per l’estrazione di informazioni dai dati, sia in tempo reale che su base periodica regolare.
Data Integration: capacità di collegare la piattaforma di Data Lake ad applicativi che consentono l’interrogazione ed estrazione dei dati in formati specifici.