Big Data: di quanti Hadoop abbiamo davvero bisogno?

Nelle scorse settimane abbiamo visto una piattaforma di elaborazione dati e computer capaci di relazionarsi con i nostri sentimenti.

Date il benvenuto a Flink, il più recente motore di analisi di dati distribuiti ad arrivare sulla scena.

Alcune settimane fa l’Apache Software Foundation ha annunciato Apache Flink come suo nuovo progetto top-level (TLP). Apache è la stessa società alla quale si devono Hadoop, Cassandra, Lucene e molti altri strumenti open source di elaborazione dati e Flink si inserisce quindi in una lista di prodotti molto considerati e già largamente utilizzati.

Non preoccupatevi se non avete mai sentito parlare di Flink finora visto che anche per noi è stata una sorpresa. Come Spark, un’altra piattaforma emergente di elaborazione dati, Flink può processare e analizzare sia i dati in batch, sia quelli in streaming e le sue origini risalgono al 2009 nell’ambito di un progetto di ricerca alla Technical University di Berlino.

Perché però qualcuno dovrebbe preferire Flink a Hadoop? A questa domanda gli sviluppatori di Flink rispondono con la formula “performance e semplicità di utilizzo”. “Il motore di Flink sfrutta i dati in streaming e i processi in-memory per migliorare la velocità di elaborazione dei dati”. Così si è espresso Kostas Tzoumas, uno dei partecipanti al progetto nonché cofondatore e CEO di Data Artisans, società spin-off che metterà in commercio Flink.

“Un altro vantaggio di Flink è la facilità di utilizzo”, afferma sempre Tzoumas. Soprattutto nel caso di grandi progetti Flink offre un’alternativa molto più semplice rispetto al componente MapReduce di Hadoop e include sia API in Java e Scala, sia API specializzate per i grafici. Tra l’altro il noto servizio di musica in streaming Spotify e il fornitore di software per il turismo Amadeus stanno già testando Flink. Nonostante ciò, con Hadoop e Spark in continua crescita di popolarità, Flink potrebbe trovarsi di fronte a non poche difficoltà quando si tratterà di conquistare nuovi utenti.

A differenza di altri software creati per le stesse finalità, questi algoritmi sono anche in grado di valutare i rischi.

“Progetti che si basano su miglioramenti e ottimizzazioni intelligenti raramente poi si rivelano vincenti nella vita reale”, ha scritto Curt Monash, a capo della società di consulenza di analisi Monash Research. Monash ha poi fatto notare come altri progetti incentrati sul miglioramento delle performance tramite alcuni accorgimenti smart abbiano poi faticato a imporsi, portando come esempio il Learning Optimizer per Db2 di IBM e NeoView, la piattaforma HP per il data warehouse.

Altrove i ricercatori del Massachusetts Institute of Technology (MIT) stanno studiando nuovi modi per utilizzare i Big Data, aiutando a pianificare operazioni di routine come la programmazione dei voli o la ricerca del percorso migliore attraverso una città da parte di software di mappatura. A fine gennaio i ricercatori del MIT hanno presentato alla riunione annuale della Association for the Advancement of Artificial Intelligence (AAAI) un set di nuovi algoritmi in grado di trovare il percorso migliore attraverso una serie di ostacoli.

A differenza di altri software creati per le stesse finalità, questi algoritmi sono anche in grado di valutare i rischi. Se ad esempio qualcuno vuole attraversare una città prendendo più bus, questo nuovo software può valutare quanto quei bus siano solitamente in ritardo e proporre valide alternative per arrivare nello stesso luogo. Questo tipo di funzionamento si basa sulla teoria dei grafi, con in più approfondimenti sulle connessioni tra grandi varietà di situazioni e di processi.

Parlando di grafi, alcune settimane fa l’azienda Neo Technology si è guadagnata l’attenzione della stampa dopo aver raccolto 20 milioni di dollari per aiutare il suo database a grafo Neo4j a entrare nel mercato enterprise. Se una volta i database a grafo erano più una questione accademica, ora sono utilizzati in ambienti produttivi; secondo un rapporto di GigaOm Neo4J è utilizzato ad esempio da realtà di primissimo piano come Walmart, eBay, CenturyLink e Cisco.

Le agenzie pubblicitarie e i network televisivi sono interessati a qualsiasi tecnologia in grado di interpretare al meglio le emozioni umane

Mentre siamo abituati a ritenere i computer dei semplici calcolatori, alcuni ricercatori stanno studiando modalità che permettano a queste macchine di funzionare a un livello più “umano”. A inizio gennaio il settimanale New Yorker ha pubblicato un articolo in cui si parla di alcune startup impegnate a sviluppare una tecnologia che possa aiutare i computer a interpretare le emozioni umane.

L’autore dell’articolo Raffi Khatchadourian traccia la storia di una di queste aziende, la Affectiva. Il suo software è in grado di scansionare un volto, di identificarne gli elementi principali (occhi, naso, sopracciglia) e di accorgersi come le parti più mobili del viso (le labbra) cambino nel corso del tempo. Affectiva ha creato un ampio database di espressioni facciali che possono essere utilizzate per identificare lo stato emotivo dell’utente, sia esso felice, triste, confuso o in altre condizioni emotive.

Naturalmente le agenzie pubblicitarie e i network televisivi sono interessati a qualsiasi tecnologia in grado di interpretare al meglio le emozioni umane. Tempo fa ad esempio Verizon aveva in mente di realizzare una console multimediale capace di tracciare le attività di tutte le persone presenti in una stanza.

“Tutti questi dati potrebbero plasmare la scelta per gli spot televisivi”, scrive Khatchadourian. “Uno scontro tra coniugi potrebbe suggerire la pubblicità per un avvocato, così come eventuali segni di stress potrebbero far pensare a pubblicità per candele aromaterapiche. Questo sistema potrebbe poi trasmettere le pubblicità a ogni dispositivo presente nella stanza”.

Chi è preoccupato che un software come questo possa essere utilizzato dagli esperti di marketing per importunare i consumatori in modo ancora più intrusivo, consideri anche altre modalità molto meno “mercenarie” in cui è possibile sfruttare il software. Basti pensare che il CEO di Affectiva Rana el Kaliouby, a lungo sostenitrice di quello che lei chiama “computing affettivo” , era orientata inizialmente a un uso del software in senso più altruistico, per aiutare cioè i bambini autistici a comunicare in modo più efficace con il mondo esterno.

AUTOREJoab Jackson
FONTEComputerworld.com
CWI.it
Con 12 milioni di lettori in 47 paesi, Computerworld è la fonte di informazione e aggiornamento per tutti coloro che progettano, implementano o utilizzano la tecnologia in azienda.