Chargement...

 

Panorama des technologies Big Data

L'écosystème Big Data est constitué de nombreux projets Open Source ce qui rend difficile la compréhension de cet écosystème. Néanmoins, tous ces projets ont une raison d'être.

Il est intéressant de noter que de nombreuses sociétés Américaines proposent en Open Source les solutions Big Data qu'elles utilisent en interne et ce principalement pour des raisons marketing et de recrutement. Il n’est pas sans dire que cela rajoute un peu plus de confusion sur un marché déjà difficile à décrypter.

Pour être en capacité d'appréhender cet écosystème il est important de s’interroger sur ce qu’est une donnée, qui la consomme et par quel biais?

De nombreux périphériques produisent des données qui sont ensuites acheminées, via internet, aux entreprises. Les entreprises exploitent alors ces données pour en extraire de la valeur. Cette extraction de valeur consiste, en général, soit à repackager et revendre les données collectées à d'autres entreprises soit à utiliser ces données pour permettre à l'entreprise d'offrir de nouveaux services à ses utilisateurs.

Une grande partie des données étant produites dans un environnement situé hors de contrôle de l'entreprise, il existe un certain nombre de challenges transverse au cycle de vie des données:

  • la sécurité (est-on sûr que ce périphérique est bien à l'origine de cette donnée?) ;
  • la traçabilité (qui a eu accès à cette donnée?).

Une fois une donnée produite, il est nécessaire d'être capable d'intégrer cette donnée au sein du système d'information de l'entreprise (ex. NiFi) puis de la stocker dans une base de données adaptée au type et à la volumétrie des données collectées (ex. Accumulo). Enfin, en coopération avec le métier, la DSI sera ensuite à même d'exploiter les données collectées via l'utilisation de la programmation distribuée (ex. MapReduce) ou du Machine Learning.

Armé de ces informations, il est maintenant possible de donner du sens à l'écosystème Big Data en rapprochant les projets des problèmes auxquels sont confrontés les entreprises:

En résumé, il est impératif d'identifier clairement la problématique rencontrée afin d'être en mesure de résoudre celle-ci à l'aide de la ou des solutions Big Data adéquats!