eadl:bloc5:fm3:chap1

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision		 Révision précédente
eadl:bloc5:fm3:chap1 [2026/09/16 19:20] – [7. Schéma général du TD] jcheroneadl:bloc5:fm3:chap1 [2026/09/17 07:13] (Version actuelle) – [2. Hadoop en une image] jcheron
Ligne 1: Ligne 1:
 ====== Introduction à l'ecosystème Hadoop ====== ====== Introduction à l'ecosystème Hadoop ======
  
 +<WRAP info round>
 +Apache Hadoop est un framework open source permettant de stocker et de traiter efficacement de grands ensembles de données allant de l'ordre du gigaoctect à celui du pétaoctet. Au lieu d'utiliser un vaste système informatique pour stocker et traiter les données, Hadoop permet de regrouper des machines en clusters pour analyser plus rapidement des ensembles de données volumineux en parallèle.
 +</WRAP>
 ===== Objectif de la séance ===== ===== Objectif de la séance =====
  
Ligne 11: Ligne 14:
   * lancer un traitement distribué.   * lancer un traitement distribué.
  
 +
 +<WRAP tip round>
 À retenir : À retenir :
  
-<code> +  * Hadoop = un écosystème 
-Hadoop = un écosystème +  * HDFS   = stocker les données 
-HDFS   = stocker les données +  * YARN   = gérer les ressources 
-YARN   = gérer les ressources +  * MapReduce = traiter les données 
-MapReduce = traiter les données +</WRAP>
-</code>+
  
  
Ligne 55: Ligne 59:
 Hadoop regroupe plusieurs composants qui remplissent des rôles différents : Hadoop regroupe plusieurs composants qui remplissent des rôles différents :
  
-<code> +<html><div class='imageB'></html> 
-                    ┌───────────────┐ +{{:eadl:bloc5:fm3:pasted:20260917-071332.png}} 
-                    │ Application   │ +<html></div></html>
-                    │ MapReduce     │ +
-                    │ ou Spark      │ +
-                    └───────┬───────┘ +
-                            │ +
-                            ▼ +
-                    ┌───────────────┐ +
-                    │     YARN      │ +
-                    │ Gestion des   │ +
-                    │ ressources    │ +
-                    └───────┬───────┘ +
-                            │ +
-                            ▼ +
-                    ┌───────────────┐ +
-                    │     HDFS      │ +
-                    │ Stockage      │ +
-                    │ distribué     │ +
-                    └───────────────┘ +
-</code> +
 ^ Composant ^ Rôle ^ ^ Composant ^ Rôle ^
 | Hadoop | Écosystème de technologies distribuées | | Hadoop | Écosystème de technologies distribuées |
Ligne 82: Ligne 67:
 | YARN | Gestion des ressources et des applications | | YARN | Gestion des ressources et des applications |
 | MapReduce | Modèle de traitement distribué | | MapReduce | Modèle de traitement distribué |
-| Spark | Moteur de traitement distribué étudié dans la suite du module |+| Spark | Moteur de traitement distribué également étudié dans ce module |
  
 <WRAP important round> <WRAP important round>
Ligne 95: Ligne 80:
  
 Lorsqu’un fichier est déposé dans HDFS, il est découpé en blocs. Lorsqu’un fichier est déposé dans HDFS, il est découpé en blocs.
 +
 +<html><div class='imageB'></html>
  
 <code> <code>
Ligne 106: Ligne 93:
  └─────────┘     └─────────┘     └─────────┘  └─────────┘     └─────────┘     └─────────┘
 </code> </code>
 +<html></div></html>
  
 Les blocs sont ensuite répartis sur les différents DataNodes. Les blocs sont ensuite répartis sur les différents DataNodes.
Ligne 116: Ligne 104:
   * les **DataNodes**.   * les **DataNodes**.
  
 +<html><div class='imageB'></html>
 <code> <code>
                     ┌──────────────┐                     ┌──────────────┐
Ligne 130: Ligne 119:
    └────────────┘   └────────────┘   └────────────┘    └────────────┘   └────────────┘   └────────────┘
 </code> </code>
 +<html></div></html>
  
 === NameNode === === NameNode ===
Ligne 161: Ligne 151:
 Pour éviter la perte de données en cas de panne, HDFS conserve plusieurs copies de chaque bloc. Pour éviter la perte de données en cas de panne, HDFS conserve plusieurs copies de chaque bloc.
  
 +<html><div class='imageB'></html>
 <code> <code>
                          Bloc 1                          Bloc 1
Ligne 172: Ligne 163:
        └────────────┘ └────────────┘ └────────────┘        └────────────┘ └────────────┘ └────────────┘
 </code> </code>
 +<html></div></html>
  
 Avec un facteur de réplication égal à 3, chaque bloc possède trois copies. Avec un facteur de réplication égal à 3, chaque bloc possède trois copies.
Ligne 194: Ligne 186:
   * combien de cœurs leur sont attribués.   * combien de cœurs leur sont attribués.
  
 +<html><div class='imageB'></html>
 <code> <code>
                     ┌───────────────┐                     ┌───────────────┐
Ligne 212: Ligne 205:
        └────────────┘                └────────────┘        └────────────┘                └────────────┘
 </code> </code>
 +<html></div></html>
  
 === ResourceManager === === ResourceManager ===
Ligne 243: Ligne 237:
 MapReduce permet de traiter les données en plusieurs étapes : MapReduce permet de traiter les données en plusieurs étapes :
  
 +<html><div class='imageB'></html>
 <code> <code>
 ┌──────────────┐ ┌──────────────┐
Ligne 272: Ligne 267:
 └──────────────┘ └──────────────┘
 </code> </code>
 +<html></div></html>
 ==== Exemple : compter les catégories ==== ==== Exemple : compter les catégories ====
  
Ligne 397: Ligne 392:
  
 <WRAP important round> <WRAP important round>
-HDFS stocke. YARN organise les ressources. MapReduce traite.+  * HDFS stocke. 
 +  * YARN organise les ressources. 
 +  * MapReduce traite.
 </WRAP> </WRAP>
  • eadl/bloc5/fm3/chap1.1789579243.txt.gz
  • Dernière modification : il y a 8 semaines
  • de jcheron