L’essentiel à savoir sur le framework Big Data Apache Storm
Dans cet article, je vous présente les composants du framework Big Data Apache Storm.
Description d’Apache Storm (Architecture logicielle)
Il existe deux types de nœuds dans un cluster Storm, similaires à Hadoop, qui sont le nœud maître et les nœuds de travail.
Nimbus : Distribue le code à exécuter dans le cluster.
Supervisors et Workers : Le Supervisor gère les Workers qui exécutent le code reçu par le cluster.
Zookeepers : les Zookeepers s’occupent de coordonner les Nimbus et les Supervisors. Ils permettent de remplacer également les noeuds qui tombent en panne.
Description d’Apache Storm (Topologie)
La topologie employée par Apache Storm s’apparente à MapReduce. La fonction Map devient un Spout. La fonction Reduce devient un Bolt.
Description d’Apache Storm(Les Données)
Les données en entrée proviennent d’un flux continu, pouvant être :
- Un fichier sur un disque (HDFS);
- Une API Web;
- Fichiers modifiés ou ajoutés en temps réel (Supervision de logs);
- Une base de données.
Description d’Apache Storm (Les Spouts)
Il s’agit du point d’entrée ou de la source des flux dans la topologie. Il est chargé d’entrer en contact avec la source de données réelle, de recevoir les données en continu, de transformer les données en flux réel de n-uplets et, enfin, de les envoyer aux éléments à traiter.
Description d’Apache Storm(Les Bolts)
Les Bolts effectuent des transformations sur les Tuples en entrée. Ils permettent la combinaison de plusieurs Streams, de générer des Streams en sortie et d’interagir avec une base de données afin de sauvegarder les résultats.
Des opérations possible des Bolts :
- Fonctions de transformation;
- Filtres sur les Tuples;
- Fonctions d’agrégation;
- Fonctions de séparation.
Ce que tu penses tu le deviens, ce que tu ressens tu l’attires, ce que tu imagines tu le crées
You may also like
Top 8 des Conseils des Experts Power BI
Top 9 des conseils des Experts en Data Engineering
