eadl:bloc5:fm3:chap1

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision		 Révision précédente
eadl:bloc5:fm3:chap1 [2026/09/16 22:52] – [3.1. Découpage en blocs] jcheroneadl:bloc5:fm3:chap1 [2026/09/17 07:13] (Version actuelle) – [2. Hadoop en une image] jcheron
Ligne 1: Ligne 1:
 ====== Introduction à l'ecosystème Hadoop ====== ====== Introduction à l'ecosystème Hadoop ======
  
 +<WRAP info round>
 +Apache Hadoop est un framework open source permettant de stocker et de traiter efficacement de grands ensembles de données allant de l'ordre du gigaoctect à celui du pétaoctet. Au lieu d'utiliser un vaste système informatique pour stocker et traiter les données, Hadoop permet de regrouper des machines en clusters pour analyser plus rapidement des ensembles de données volumineux en parallèle.
 +</WRAP>
 ===== Objectif de la séance ===== ===== Objectif de la séance =====
  
Ligne 11: Ligne 14:
   * lancer un traitement distribué.   * lancer un traitement distribué.
  
 +
 +<WRAP tip round>
 À retenir : À retenir :
  
-<code> +  * Hadoop = un écosystème 
-Hadoop = un écosystème +  * HDFS   = stocker les données 
-HDFS   = stocker les données +  * YARN   = gérer les ressources 
-YARN   = gérer les ressources +  * MapReduce = traiter les données 
-MapReduce = traiter les données +</WRAP>
-</code>+
  
  
Ligne 56: Ligne 60:
  
 <html><div class='imageB'></html> <html><div class='imageB'></html>
-<code> +{{:eadl:bloc5:fm3:pasted:20260917-071332.png}}
-                    ┌───────────────┐ +
-                    │ Application   │ +
-                    │ MapReduce     │ +
-                    │ ou Spark      │ +
-                    └───────┬───────┘ +
-                            │ +
-                            ▼ +
-                    ┌───────────────┐ +
-                    │     YARN      │ +
-                    │ Gestion des   │ +
-                    │ ressources    │ +
-                    └───────┬───────┘ +
-                            │ +
-                            ▼ +
-                    ┌───────────────┐ +
-                    │     HDFS      │ +
-                    │ Stockage      │ +
-                    │ distribué     │ +
-                    └───────────────┘ +
-</code>+
 <html></div></html> <html></div></html>
 ^ Composant ^ Rôle ^ ^ Composant ^ Rôle ^
Ligne 83: Ligne 67:
 | YARN | Gestion des ressources et des applications | | YARN | Gestion des ressources et des applications |
 | MapReduce | Modèle de traitement distribué | | MapReduce | Modèle de traitement distribué |
-| Spark | Moteur de traitement distribué étudié dans la suite du module |+| Spark | Moteur de traitement distribué également étudié dans ce module |
  
 <WRAP important round> <WRAP important round>
Ligne 120: Ligne 104:
   * les **DataNodes**.   * les **DataNodes**.
  
 +<html><div class='imageB'></html>
 <code> <code>
                     ┌──────────────┐                     ┌──────────────┐
Ligne 134: Ligne 119:
    └────────────┘   └────────────┘   └────────────┘    └────────────┘   └────────────┘   └────────────┘
 </code> </code>
 +<html></div></html>
  
 === NameNode === === NameNode ===
Ligne 165: Ligne 151:
 Pour éviter la perte de données en cas de panne, HDFS conserve plusieurs copies de chaque bloc. Pour éviter la perte de données en cas de panne, HDFS conserve plusieurs copies de chaque bloc.
  
 +<html><div class='imageB'></html>
 <code> <code>
                          Bloc 1                          Bloc 1
Ligne 176: Ligne 163:
        └────────────┘ └────────────┘ └────────────┘        └────────────┘ └────────────┘ └────────────┘
 </code> </code>
 +<html></div></html>
  
 Avec un facteur de réplication égal à 3, chaque bloc possède trois copies. Avec un facteur de réplication égal à 3, chaque bloc possède trois copies.
Ligne 198: Ligne 186:
   * combien de cœurs leur sont attribués.   * combien de cœurs leur sont attribués.
  
 +<html><div class='imageB'></html>
 <code> <code>
                     ┌───────────────┐                     ┌───────────────┐
Ligne 216: Ligne 205:
        └────────────┘                └────────────┘        └────────────┘                └────────────┘
 </code> </code>
 +<html></div></html>
  
 === ResourceManager === === ResourceManager ===
Ligne 247: Ligne 237:
 MapReduce permet de traiter les données en plusieurs étapes : MapReduce permet de traiter les données en plusieurs étapes :
  
 +<html><div class='imageB'></html>
 <code> <code>
 ┌──────────────┐ ┌──────────────┐
Ligne 276: Ligne 267:
 └──────────────┘ └──────────────┘
 </code> </code>
 +<html></div></html>
 ==== Exemple : compter les catégories ==== ==== Exemple : compter les catégories ====
  
Ligne 401: Ligne 392:
  
 <WRAP important round> <WRAP important round>
-HDFS stocke. YARN organise les ressources. MapReduce traite.+  * HDFS stocke. 
 +  * YARN organise les ressources. 
 +  * MapReduce traite.
 </WRAP> </WRAP>
  • eadl/bloc5/fm3/chap1.1789591945.txt.gz
  • Dernière modification : il y a 8 semaines
  • de jcheron