Table des matières

JobManager, TaskManager et slots dans Flink

Vue d'ensemble

                         ┌──────────────────────────────┐
   Client / flink run ──>│         JobManager           │
   (soumission du job)   │  ┌────────────────────────┐  │
                         │  │ Dispatcher / REST / UI │  │
                         │  ├────────────────────────┤  │
                         │  │ JobMaster (1 par job)  │  │
                         │  │  - plan d'exécution    │  │
                         │  │  - checkpoints         │  │
                         │  ├────────────────────────┤  │
                         │  │ ResourceManager        │  │
                         │  │  - gère les slots      │  │
                         │  └────────────────────────┘  │
                         └──────┬───────────────┬───────┘
                 ordres, déploiement des tâches│
                 heartbeats, état, checkpoints │
                    ┌───────────┘               └───────────┐
                    ▼                                       ▼
   ┌────────────────────────────────┐   ┌────────────────────────────────┐
   │         TaskManager 1          │   │         TaskManager 2          │
   │  ┌────────┐ ┌────────┐         │   │  ┌────────┐ ┌────────┐         │
   │  │ Slot 1 │ │ Slot 2 │  ...    │   │  │ Slot 1 │ │ Slot 2 │  ...    │
   │  │ tâche  │ │ tâche  │         │   │  │ tâche  │ │ tâche  │         │
   │  └────────┘ └────────┘         │   │  └────────┘ └────────┘         │
   │  mémoire gérée, réseau, I/O    │   │  mémoire gérée, réseau, I/O    │
   └───────────────┬────────────────┘   └───────────────┬────────────────┘
                   └──── échanges de données (réseau) ──┘

Rôles

Composant Rôle
JobManager Chef d'orchestre : reçoit les jobs, planifie l'exécution, déploie les tâches, déclenche les checkpoints, gère les pannes.
TaskManager Processus (JVM) worker qui exécute les tâches et gère mémoire, réseau et I/O.
Slot Unité de ressources d'un TaskManager (part fixe de sa mémoire gérée). Exécute une sous-tâche ou une chaîne de sous-tâches.

Relations

Relation Description
JobManager → TaskManager Le JobManager pilote : il déploie les tâches, surveille et déclenche les checkpoints.
TaskManager → JobManager Le TaskManager s'enregistre, annonce ses slots, envoie des heartbeats et le statut des tâches.
TaskManager ⊃ slots Un TaskManager contient N slots (relation 1 à N). Chaque TaskManager a ses propres slots, non partagés.
Slot ← sous-tâche Un slot exécute une sous-tâche (ou une chaîne de sous-tâches) du job.
TaskManager ↔ TaskManager Échange direct des données entre sous-tâches (redistribution au keyBy).

Calcul des slots

Total slots = nb de TaskManagers × slots par TaskManager

Exemple : parallélisme et slots

1 TaskManager de 4 slots, job de parallélisme 2 :

TaskManager (4 slots)
┌─────────┬─────────┬─────────┬─────────┐
│ Slot 1  │ Slot 2  │ Slot 3  │ Slot 4  │
│ source→ │ source→ │  libre  │  libre  │
│ map→    │ map→    │         │         │
│ reduce  │ reduce  │         │         │
│ (inst.1)│ (inst.2)│         │         │
└─────────┴─────────┴─────────┴─────────┘
Cluster Parallélisme du job Résultat
1 TaskManager × 4 slots 2 2 slots utilisés, 2 libres
1 TaskManager × 4 slots 4 Tous les slots utilisés
1 TaskManager × 4 slots 6 Pas assez de slots : le job attend
2 TaskManagers × 2 slots 4 Tous les slots utilisés, répartis sur les 2 TaskManagers

Lien avec Kafka

À retenir