Big data

Big data e analytics: definizione, infrastruttura, best practice e casi d’uso in azienda

big data

Con l’espressione Big Data ci si riferisce a insiemi di dati che sono così grandi in volume e così complessi che i software e le architetture informatiche tradizionali non sono in grado di catturarli, gestirli ed elaborarli in un tempo ragionevole.

Se un database tradizionale può gestire tabelle magari composte di milioni di righe, ma su decine o poche centinaia di colonne, i big data richiedono strumenti in grado di gestire lo stesso numero di record, ma con migliaia di colonne.

In più, spesso i dati non sono nemmeno disponibili in forma strutturata, facilmente incasellabile in righe e colonne appunto, ma sono presenti sotto forma di documenti, meta dati, posizioni geografiche, valori rilevati da sensori IoT e numerose altre forme, dal semi-strutturato al completamente destrutturato.

La quantità e la complessità che fanno sì che un insieme di dati si possa definire “Big Data” è un tema dibattuto. In molti prendono il petabyte (1.000 terabyte) come soglia, e diversi progetti operano nel campo degli exabyte (1.000 petabyte). Considerare solo le dimensioni della base di dati è però ritenuto da molti un errore che può essere fuorviante per le aziende che, pur non disponendo di archivi così vasti, possono trarre comunque un vantaggio dall’uso di tecnologie e approcci big data, per esempio per estrarre valore da dati non strutturati, o che devono essere elaborati in tempi velocissimi (approccio chiamato a volte “Little Data”).

Si tende quindi a definire i contorni di un progetto Big Data analizzandolo per tre diversi aspetti, a cui ci si riferisce come le “tre V dei Big Data”:

  1. Il Volume di dati
  2. La grande Varietà nei tipi di dati
  3. La Velocità con cui i dati devono essere acquisiti o analizzati

I dati che compongono gli archivi Big Data possono provenire da fonti eterogenee, come dati di navigazione di siti web, social media, applicazioni desktop e mobile, esperimenti scientifici e – sempre più spesso – sensori e dispositivi di tipo Internet of Things.

Leggi anche: 25 aziende di Big Data da tenere d’occhio

Il concetto di Big Data porta con sé diversi elementi e componenti che permettono ad aziende e organizzazioni di sfruttare i dati per risolvere in modo pratico numerosi problemi di business. I diversi componenti da considerare sono:

  • L’infrastruttura IT per i Big Data;
  • L’organizzazione e la struttura di archiviazione dei dati;
  • Gli strumenti analitici per Big Data;
  • Le competenze tecniche e matematiche;
  • Non ultimo, un reale caso di business in cui i Big Data possano apportare valore.

Big Data Analytics

Big Data Analytics

Quel che davvero permette di estrarre dai dati un valore utile al business sono le analisi interpretative che vi si possono applicare. Senza analisi, si tratta solo di dati senza valore, e che anzi comportano un notevole costo di archiviazione.

Applicando metodi e strumenti di analisi ai dati, le aziende possono trovare benefici come aumento delle vendite, miglior soddisfazione del cliente, maggiore efficienza e più in generale un aumento della competitività.

La pratica analitica comporta l’esaminare gli insiemi di dati, ricavarne gruppi omogenei tra loro per ottenere informazioni utili altrimenti nascoste, e trarre conclusioni e previsioni sulle attività future. Analizzando i dati, le aziende possono prendere decisioni di business più informate, per esempio su quando e dove effettuare una certa campagna marketing, o individuare una necessità che possa essere soddisfatta da un nuovo prodotto o servizio.

Le analisi sui Big Data si possono fare con applicazioni generiche di business intelligence, o con strumenti più specifici, anche sviluppati ad hoc utilizzando linguaggi di programmazione. Tra i metodi più avanzati di analytics troviamo il data mining, dove gli analisti elaborano grandi insiemi di dati per individuare relazioni, pattern e tendenze.

Una tecnica molto usata prevede di fare una prima analisi esplorativa, magari su un ridotto insieme di dati, allo scopo di individuare pattern e relazioni tra i dati, per poi eseguire un’analisi di conferma per verificare se le supposizioni estratte dalla prima analisi sono verificati nei fatti.

Un’altra grande distinzione è quella tra l’analisi quantitative dei dati (o analisi di dati numerici che esprimono valori quantificabili), e analisi qualitative, che si focalizza su dati non numerici, come immagini, video, suoni e testi non strutturati.

L’infrastruttura IT per i Big Data

Affiché un progetto Big Data possa avere successo, le aziende hanno bisogno di dedicare a questo carico di lavoro un’infrastruttura adeguata e spesso molto specifica, in grado di raccogliere, archiviare ed elaborare i dati per presentarli in una forma utile. Il tutto garantendo la sicurezza delle informazioni mentre sono archiviate e in transito.

Leggi anche: 100 best practice per mantenere al sicuro i Big Data

Al livello più alto, questo include sistemi di storage e server progettati per i Big Data, framework software, database, tool, software di analytics e integrazioni tra i Big Data e altre applicazioni. Molto spesso, questa infrastruttura è presente on-premises, o comunque in forma di macchine hardware collocate in un data center remoto. Cloud e virtualizzazione, considerate a ragione due architetture IT pratiche ed efficienti, spesso non si rivelano la scelta migliore per trattare i Big Data, soprattutto per quanto riguarda la fase di elaborazione dei dati.

Tra le tecniche usate per velocizzare le elaborazioni analitiche sui Big Data, infatti, ci sono l’uso di database in-memory e di schede grafiche accelerate (GPU), che devono continuamente scambiare dati con i dischi. È facile intuire che se la componente di elaborazione e memoria è lontana da quella di storage, a farne le spese sarà la connessione di rete. In ambienti cloud e virtualizzati, il volume dei dati e la velocità di elaborazione richiesta rischiano di generare dei colli di bottiglia nella componente di networking.

Per questo motivo si tende a preferire un’architettura composta da cluster di numerosi server fisici, anche a basso costo, dotati però di molta memoria RAM, una o più GPU e hard disk veloci, tutto accentrato sulla stessa scheda madre. Al tutto vengono abbinati strumenti software progettati per suddividere il carico di lavoro sui singoli server che compongono i cluster.

La regola generale ha ovviamente le sue eccezioni: elaborazioni batch che non hanno bisogno di risposte in tempo reale, e che magari devono essere eseguite solo saltuariamente (per esempio report finanziari, estratti conto o fatturazione di un servizio eseguiti mensilmente) possono essere eseguiti con profitto su un servizio cloud che viene acceso solo per le ore o i giorni necessari all’elaborazione, e poi disattivato per ridurre i costi.

Anche la semplice raccolta dei dati può comportare complessità e ostacoli. Se alcuni dati sono statici e sempre disponibili, come quelli derivanti da file, log e social media, altri devono essere raccolti ad alta velocità e immediatamente registrati senza ritardi, e questo può comportare sfide per quanto riguarda le prestazioni dello storage e della connettività. Esempi di dati dinamici che devono essere acquisiti in modalità “streaming” includono i segnali raccolti da sensori, transazioni economiche e finanziarie e tutti i dati generati dalla proliferazione di sensori IoT.

La sempre maggiore penetrazione delle soluzioni Internet of Thing, con le aziende che aggiungono sensori e connettività a ogni sorta di prodotto, dai gadget agli autoveicoli, sta facendo crescere una nuova generazione di soluzioni Big Data espressamente pensate per il mondo IoT.

Tra le opzioni di archiviazione più usate in ambito Big Data troviamo i tradizionali data warehouse, i data lake e il cloud storage.

  • Data warehouse
    I tradizionali sistemi su cui le applicazioni aziendali registrano i propri dati, dall’ERP al CRM, possono ovviamente costituire una delle fonti da cui le applicazioni Big Data attingono le informazioni.
  • Data lake
    I data lake sono repository di informazioni in grado di contenere volumi di dati estremamente grandi nel loro formato nativo, almeno fino al momento in cui è necessario effettuare elaborazioni e ricavare informazioni per le applicazioni di business. In quel caso, e solo a quel punto, i sistemi Big Data si occuperanno di estrarre da quei dati le informazioni via via richieste. La Internet of Things e le iniziative di trasformazione digitale, con la raccolta di informazioni dettagliate sui singoli clienti, stanno alimentando sempre più i data lake.
  • Cloud Storage per Big Data
    Sempre più dati aziendali sono archiviati nel cloud, talvolta in modalità object-storage, ed è spesso necessario far confluire questi dati nelle applicazioni Big Data.

Tecnologie specifiche per Big Data

Oltre all’infrastruttura IT generica appena descritta, esistono alcune tecnologie specifiche che sono essenziali alla riuscita di qualsiasi progetto di Big Data.

L’ecosistema Hadoop

La libreria software Hadoop, un progetto open source della Apache Foundation, è un framework che permette la gestione di grandi set di dati, strutturati e non, e la loro elaborazione distribuita su cluster di computer usando modelli di programmazione molto semplici. È progettata per scalare da un singolo server fino a migliaia, ciascuno composto delle componenti di elaborazione e storage.

Il framework include diversi moduli:

  • Hadoop Common
    Le utility di base che supportano altri moduli Hadoop
  • Hadoop Distributed File System
    Fornisce accesso ad alta velocità ai dati, strutturati e non. Permette di “montare” qualsiasi fonte dati raggiungibile con un url.
  • Hadoop YARN
    Un framework per la schedulazione dei job e la gestione delle risorse del cluster
  • Hadoop MapReduce
    Un Sistema basato su YARN per l’elaborazione in parallelo di grandi data set
Leggi anche: Di quanti Hadoop abbiamo bisogno?

Apache Spark

Anch’esso parte dell’ecosistema Hadop, Apache Spark è un framework open source per le elaborazioni in cluster che serve come motore per la gestione di Big Data nel contesto di Hadoop. Spark è diventato uno dei principali framework di questo tipo e può essere utilizzato in molti modi diversi. Offre collegamenti nativi con diversi linguaggi di programmazione come Java, Scala, Python (specialmente la distribuzione Python Anaconda) e R, e supporta SQL, i dati streaming, il machine learning e l’elaborazione con database a grafo.

Scarica le nostre guide in PDF:
– Guida al linguaggio R – livello base
– Guida al linguaggio R – livello avanzato 

I database NoSQL

I database SQL tradizionali sono progettati per transazioni affidabili e per rispondere a query ad-hoc su dati ben strutturati. Questa rigidità rappresenta però un ostacolo per alcuni tipi di applicazioni. I database NoSQL superano questi ostacoli, memorizzando e gestendo i dati con modalità che permettono una grande flessibilità e velocità operativa. Diversamente dai database relazionali tradizionali, molti dei database NoSQL possono scalare in orizzontale su centinaia o migliaia di server.

Leggi anche: 11 Database SQL e NoSQL a confronto

Database In-memory

Un database in memoria (IMDB, da non confondere con l’Internet Movie Data Base) è un DBMS che utilizza principalmente la memoria RAM, e non l’hard disk, per archiviare i dati. Questo consente ovviamente una velocità di esecuzione molto maggiore, che rende possibili applicazioni di real time analytics su Big Data altrimenti impensabili.

Le competenze per i Big Data

Le difficoltà tecniche, teoriche e pratiche per la progettazione e l’esecuzione di applicazioni di Big Data richiedono competenze specifiche, che non sempre sono presenti nei reparti IT delle aziende che si sono formati su tecnologie differenti da quelle odierne.

Leggi anche: Le professioni del futuro, tra Big Data e intelligenza artificiale

Molte di queste competenze sono relative gli specifici strumenti per i Big Data, come Hadoop, Spark, NoSQL, i database in-memory e i software analitici. Altre competenze sono invece relative a discipline come data science, statistica, data mining, analisi quantitativa, visualizzazione dei dati, programmazione in generale e per gli specifici linguaggi (Python, R, Scala), strutturazione dei dati e algoritmi.

Leggi anche: Analisi dati: come formare i dipendenti

Affinché un progetto Big Data abbia successo, occorrono anche competenze manageriali, in particolare per quanto riguarda la progettazione e pianificazione delle risorse e la gestione dei conti, che con la crescita del volume di dati rischiano di crescere senza controllo.

Leggi anche: Cosa fa e quanto guadagna un data scientist

Al giorno d’oggi, molte delle figure che abbiamo indicato nelle righe precedenti sono tra le più richieste del mercato. Se avete una laurea in matematica o statistica ma vi mancano competenze informatiche, è il momento giusto per colmarle con corsi e formazione specifici per i Big Data. Ci sono enormi opportunità di lavoro.

Casi d’uso per i Big Data

I Big Data si possono impiegare per risolvere  numerosi  problemi di business, o per aprire nuove opportunità. Ecco alcuni esempi.

Customer analytics
Le aziende possono analizzare il comportamento dei consumatori in ottica di marketing multicanale per migliorare l’esperienza del cliente, aumentare i tassi di conversione, le vendite collaterali, offrire servizi e aumentare la fidelizzazione.

Analytics operazionale
Migliorare le prestazioni operative e fare un uso migliore degli asset aziendali sono l’obiettivo di molte organizzazioni. I Big Data posson aiutare le imprese a trovare nuovi modi per operare in modo più efficiente.

Prevenzione delle frodi e dei crimini
Aziende e governi possono individuare attività sospette attraverso il riconoscimento di pattern che possano indicare un comportamento fraudolento, prevenendone il manifestarsi o individuando il colpevole.

Ottimizzazione dei prezzi
Le aziende possono usare i dati per ottimizzare i prezzi applicati a prodotti e servizi, espandendo il proprio mercato o aumentando i ricavi.

Di Andrea Grassi e Bob Violino, Infoworld

trasformazione digitale

L’importanza dei dati per la trasformazione digitale delle aziende

Secondo l’ultimo report di Gartner, il 72% dei leader di dati e analisi (D&A) con iniziative digitali è fortemente coinvolto nelle iniziative di trasformazione digitale della propria organizzazione.
data strategy

4 suggerimenti per lanciare una data strategy di successo

Impostare una data strategy di successo non è così semplice come accumulare un sacco di dati. Se lo fosse, più aziende ne raccoglierebbero già i frutti. In questo approfondimento quattro CIO offrono la loro esperienza e consigli su come iniziare a trasformare i dati in valore aziendale.
DataCore Swarm

DataCore Swarm: l’object storage per la gestione di miliardi di file

DataCore Swarm è una soluzione di object storage pensata per aiutare le organizzazioni a gestire in modo conveniente quantità di dati nell’ordine dei petabyte.
gestione dei dati

Ripensare la gestione dei dati per un time-to-value più rapido

Man mano che le aziende avanzano nel loro viaggio di trasformazione digitale, l'enorme scia di dati dalle transazioni digitali cresce costantemente, ma per molte organizzazioni estrarre intelligenza dai dati rimane un sogno irrealizzabile.
analytics IA 2021

Analytics e intelligenza artificiale: tre passi avanti da fare nel 2021

Per superare la crisi dovuta alla pandemia per le aziende sarà fondamentale dimostrare il ROI di analytics e intelligenza artificiale, abilitare l'automazione intelligente e sfruttare i dati per garantire l'equità e l'inclusione
governance dei dati

Tutto quello che bisogna sapere sulla governance dei dati

La governance dei dati è un framework che definisce ruoli, responsabilità e processi per garantire la responsabilità e la proprietà delle risorse di dati in tutta l'azienda.

Oracle ADW, grandi novità per il Data Warehouse a guida autonoma

Nuove integrazioni, nuove funzioni, tutto in un quadro di enorme semplificazione della gestione (anche low-code) fanno di Oracle ADW il primo di una razza di self-driving cloud datawarehouse.
cultura basata sui dati

Che cos’è una cultura basata sui dati e come possiamo crearne una?

I dati sono la linfa vitale di un'organizzazione moderna, ma diventare un'azienda data based dipende soprattutto dalla disponibilità dei dipendenti ad abbracciare una cultura basata sui dati.
iConsulting Formisano e Piva

Iconsulting, “puntiamo a primeggiare nell’analytics consulting in Italia”

Da BI e data warehouse a big data e advanced analytics, la società emiliana vuole accelerare crescita e investimenti, anche grazie alla partnership con AWS
norme uni

5 cambiamenti di rotta su dati e privacy per una nuova strategia aziendale

Il 2021 è destinato a dare origine a strategie per i dati dirompenti e a profondi cambiamenti organizzativi incentrati sulla privacy, mentre le aziende gareggeranno per ottenere un vantaggio competitivo senza compromettere la fiducia dei loro clienti.
chief analytics officer

Il chief analytics officer e la trasformazione dei dati in decisioni

Un chief analytics officer gestisce la strategia di analisi dei dati di un'organizzazione, guidando i cambiamenti relativi ai dati nel tentativo di trasformare un’azienda in una realtà più basata sull'analisi.
gestione dei dati data management

Sette suggerimenti per modernizzare la gestione dei dati

I dati sono la linfa vitale di un’azienda. Per questo vanno gestiti, monitorati e protetti come una risorsa preziosa attraverso le migliori strategie di data management
dmaas

DMaaS: come eliminare i silos di dati e scegliere il provider giusto

Per i CIO intrappolati in una rete in continua crescita di complessi silos di dati, la gestione dei dati come servizio (DMaaS) può aiutare a generare un vantaggio competitivo per l'azienda.
open data

Open Data in Europa: Capgemini fa il punto della situazione

La sesta edizione dello studio di Capgemini Invent evidenzia l’evoluzione degli Open Data in Europa e come si stiano capitalizzando gli sforzi per migliorarne qualità, interoperabilità e impatto.
controllo dei dati

5 modi per assumere il controllo dei dati nel 2021

Il COVID-19 sta trasformando il modo in cui funziona l'economia e anche le nostre esigenze di dati cambieranno e cresceranno. Ecco come i CIO dovranno affrontare il controllo dei dati nell'anno a venire.
Infrastrutture

Cos’è DataOps? Un’analisi collaborativa e interfunzionale

DataOps è una disciplina emergente che riunisce i team DevOps con ruoli di ingegnere dei dati e scienziato dei dati per fornire gli strumenti, i processi e le strutture organizzative per supportare le aziende data-driven.
legal analytics

Performance più elevate per le aziende data-powered

Secondo un nuovo report del Capgemini Research Institute le aziende “data-powered” registrano performance molto più elevate rispetto ai competitor.
trasformazione digitale

Rallenta il mercato analytics in Italia, ma le aziende non si fermano

L'emergenza pandemica ha rallentato la crescita del mercato Analytics italiano nel 2020, mentre nell’uso dei Big Data aumenta il divario fra imprese mature e tradizionali.

Cos’è l’architettura dei dati? Un framework per la gestione dei dati

La data architecture (o architettura dei dati) traduce le esigenze aziendali in dati e requisiti di sistema e cerca di gestire i dati e il relativo flusso all'interno dell'azienda.
4,100FansMi piace
1,991FollowerSegui

BrandPost (info)

DA NON PERDERE

Un Recovery Plan per il Cloud Europeo di prossima generazione

27 cloud provider europei hanno presentato una Roadmap tecnologica europea per l’offerta cloud-edge di prossima generazione, puntando alla leadership europea per sicurezza, sostenibilità e interoperabilità dei servizi offerti.
Single Sign-On

Come il Single Sign-On migliora la sicurezza e l’esperienza dell’utente

La difficoltà nel ricordare le password, la proliferazione del cloud e la semplicità degli sviluppatori stanno spingendo l'ascesa del Single Sign-On.
ambiente di lavoro digitale

La chiave per creare un perfetto ambiente di lavoro digitale

La creazione di un ambiente di lavoro digitale per i dipendenti implica molto di più che distribuire laptop, passare ad app cloud e utilizzare una VPN.