environnement/ : celui du TD1, avec Hive et Python en plus)Vous rejoignez l'équipe data de MarchéPlus, une enseigne de commerce en ligne. Après une grande campagne promotionnelle, la direction veut recevoir chaque matin un rapport fiable avant l'ouverture des équipes commerciales.
Aujourd'hui, les données sont traitées par un script exécuté sur une machine unique. Le rapport est parfois en retard, les relances produisent des résultats incohérents et personne ne sait combien de temps les données doivent rester disponibles.
Votre équipe doit proposer et démontrer une solution Hadoop pour ce traitement. Il ne s'agit pas seulement de faire fonctionner un job : vous devez faire des choix d'architecture, les justifier et expliciter leurs limites.
Chaque nuit, trois flux distincts sont déposés par trois systèmes sources différents :
Le traitement doit produire, pour chaque journée :
Les équipes métier veulent consulter les résultats avant 6 h. Une journée de données peut être corrigée ou complétée le lendemain : le pipeline doit donc permettre une reprise ou un recalcul sans publier silencieusement un résultat incohérent.
À vous d'identifier les ambiguïtés.
Le cahier des charges ne précise pas, par exemple, si les fichiers tardifs modifient les rapports déjà publiés, ni quelle règle métier appliquer à une commande annulée après la clôture de la journée, ni ce qu'il faut faire si le flux d'annulations n'est pas arrivé à 5 h. Formulez des hypothèses explicites plutôt que d'ignorer ces questions.
Un jeu de données réduit est fourni, volontairement bien plus petit que les volumes réels. Il se compose de trois fichiers CSV (avec en-tête), plus un lot correctif, dans le dossier donnees/.
Flux 1 : commandes_AAAAMMJJ.csv (une ligne par ligne de commande)
commande_id,ligne_id,client_id,produit_id,categorie,quantite,prix_unitaire,devise,statut,horodatage_commande
Flux 2 : consultations_AAAAMMJJ.csv (une ligne par page produit vue)
session_id,client_id,produit_id,categorie,url,horodatage_vue
Flux 3 : annulations_AAAAMMJJ.csv (une ligne par annulation ou retour)
annulation_id,commande_id,ligne_id,type,motif,quantite,montant_rembourse,horodatage_annulation
Lot correctif : corrections_AAAAMMJJ.csv (une ligne par correction, livré le lendemain de la journée AAAAMMJJ qu'il corrige)
commande_id,ligne_id,client_id,produit_id,categorie,quantite,prix_unitaire,devise,statut,horodatage_commande,type_correction,correction_id,horodatage_correction
Les dix premières colonnes reprennent le schéma du flux 1 : le lot correctif ne porte que sur les commandes. type_correction vaut AJOUT (ligne de commande absente du lot initial), MODIFICATION (nouvelle version d'une ligne de commande existante) ou SUPPRESSION (ligne de commande à retirer). horodatage_correction indique quand la correction a été émise.
Remarques sur les schémas :
type vaut ANNULATION (avant expédition) ou RETOUR (après livraison) ;client_id est présent dans les flux 1 et 2 ; il est interdit dans les sorties métier.Comme ceux que livrent les systèmes sources réels, ce jeu de données n'est pas propre. Explorez-le avant de coder : c'est à vous d'identifier les problèmes qu'il contient et de décider comment les traiter.
Pour vos tests (fichier corrompu, flux manquant, lignes ajoutées), travaillez sur des copies : les résultats que vous présentez doivent être calculés sur le jeu fourni, sans modification.
Avant de coder, décidez et documentez :
Il n'y a pas nécessairement une seule réponse possible. En revanche, une règle non documentée ne pourra pas être considérée comme un choix maîtrisé.
Concevez une solution Hadoop qui répond au besoin de MarchéPlus, puis démontrez-en une version réduite sur l'environnement disponible.
Les paliers sont cumulatifs. Le palier 1 est obligatoire ; les suivants se valorisent dans la grille d'évaluation.
| Palier | Contenu | Statut |
|---|---|---|
| 1 | Nettoyage des flux, jointure commandes/annulations, CA net par catégorie, sortie des rejets, un contrôle de cohérence | Obligatoire |
| 2 | Nombre de commandes par catégorie, mécanisme de publication fiable, test d'échec et de relance | Attendu |
| 3 | Top 5 des produits consultés par catégorie, traitement du lot correctif, tests de montée en charge | Extension |
Définissez le chemin des données depuis leur arrivée jusqu'à la publication des résultats.
Précisez notamment :
Estimez le volume à stocker dans l'espace de travail HDFS (le stockage à 90 jours et à deux ans est traité séparément, voir section D), en tenant compte :
Expliquez pourquoi une réplication HDFS ne suffit pas à assurer la persistance des données après la destruction du cluster.
Implémentez au minimum (palier 1) :
Le traitement peut utiliser MapReduce Streaming, Hive, ou une combinaison des deux. Expliquez pourquoi vous avez retenu cette approche, et comment vous avez réalisé la jointure (par exemple jointure côté reducer en Streaming, ou JOIN Hive) ainsi que son coût (données déplacées entre les nœuds, risque de déséquilibre si quelques clés concentrent beaucoup de lignes).
Le nettoyage des données est attendu en MapReduce Streaming, sauf justification contraire dans le registre des décisions.
Calcul de contrôle, avant votre premier job. Copiez les deux extraits ci-dessous dans extrait_commandes.csv et extrait_annulations.csv. Ouvrez-les dans un tableur (Google Sheets, LibreOffice Calc…) et, en appliquant vos règles métier, calculez pour chaque catégorie le CA brut, les annulations déduites, le CA net et le nombre de commandes, ainsi que le nombre d'annulations orphelines. Lancez ensuite vos jobs ou vos requêtes Hive sur ces extraits et comparez : tout écart doit être compris et corrigé avant de passer au jeu complet.
commande_id,ligne_id,client_id,produit_id,categorie,quantite,prix_unitaire,devise,statut,horodatage_commande CMD1073051,1,CL008566,P00097,electromenager,1,117.90,EUR,PAYEE,2026-11-15T00:38:22 CMD1073061,1,CL009872,P00108,electromenager,3,70.49,EUR,PAYEE,2026-11-15T01:03:16 CMD1073061,2,CL009872,P00039,informatique,1,29.90,EUR,EXPEDIEE,2026-11-15T01:03:16 CMD1073089,1,CL007415,P00105,electromenager,1,135.90,EUR,PAYEE,2026-11-15T01:49:01 CMD1073089,2,CL007415,P00127,maison,1,10.99,EUR,PAYEE,2026-11-15T01:49:01 CMD1073093,1,CL008035,P00105,electromenager,1,135.90,EUR,PAYEE,2026-11-15T01:53:44 CMD1073104,1,CL014189,P00108,electromenager,3,70.49,EUR,LIVREE,2026-11-15T02:13:00 CMD1073104,2,CL014189,P00260,mode,1,20.99,EUR,ANNULEE,2026-11-15T02:13:00 CMD1073337,1,CL000029,P00110,electromenager,1,185.49,EUR,LIVREE,2026-11-15T07:12:37 CMD1073337,2,CL000029,P00261,mode,2,8.90,EUR,PAYEE,2026-11-15T07:12:37 CMD1074687,1,CL000014,P00125,maison,2,5.95,EUR,PAYEE,2026-11-15T12:34:48 CMD1074687,2,CL000014,P00261,mode,2,8.90,EUR,EXPEDIEE,2026-11-15T12:34:48 CMD1074687,3,CL000014,P00251,mode,2,10.49,EUR,PAYEE,2026-11-15T12:34:48 CMD1074687,4,CL000014,P00009,informatique,1,23.95,EUR,PAYEE,2026-11-15T12:34:48 CMD1075106,1,CL007765,P00040,informatique,4,129.90,EUR,PAYEE,2026-11-15T13:31:47
annulation_id,commande_id,ligne_id,type,motif,quantite,montant_rembourse,horodatage_annulation ANN0196112,CMD1073337,1,RETOUR,taille_inadaptee,1,185.49,2026-11-15T09:20:38 ANN0196652,CMD1073104,2,ANNULATION,changement_avis,1,20.99,2026-11-15T13:56:54 ANN0198204,CMD1075106,1,ANNULATION,paiement_modifie,1,129.90,2026-11-15T14:29:51 ANN0198163,CMD1074687,5,ANNULATION,paiement_modifie,1,23.95,2026-11-15T15:42:55 ANN0198196,CMD1075106,1,ANNULATION,changement_avis,1,129.90,2026-11-15T17:47:52
N'utilisez pas Spark pour cette séance.
Persistance hors cluster. Le dossier persistant/ de la machine hôte simule le stockage objet durable (type S3). Vous devez démontrer qu'un résultat validé survit à la destruction du cluster (docker compose down -v, recréation, restauration).
Décrivez ce qui se passe si :
Proposez un mécanisme qui évite qu'un résultat incomplet ou périmé soit présenté comme le résultat officiel (par exemple : sorties temporaires et sorties validées, renommage atomique, fichier marqueur de validation, versionnage par lot). Expliquez votre logique.
Test d'échec obligatoire (palier 2). Provoquez au moins une défaillance réelle et documentez le comportement observé : arrêt d'un DataNode, interruption d'un job avec yarn application -kill, fichier d'entrée corrompu ou flux manquant. Vous devez montrer ce qui se passe, pas seulement le décrire.
Proposez une configuration cible pour le scénario réel, même si vous ne pouvez tester que sur un petit cluster.
Distinguez les rôles des nœuds et expliquez :
Faites apparaître au moins un calcul de capacité et un calcul de débit (par exemple : quel débit de traitement faut-il pour absorber le volume de pointe dans la fenêtre disponible ?). Indiquez les hypothèses utilisées et précisez pourquoi une extrapolation à partir du jeu de données réduit reste approximative.
Pour tester la montée en charge (palier 3), fabriquez un jeu plus volumineux à partir des fichiers fournis, par exemple en les dupliquant. Une simple concaténation transforme chaque copie en doublon de la précédente : rendez les identifiants uniques dans chaque copie, ou expliquez l'effet de ce choix sur vos mesures. Ce jeu sert à mesurer des durées et des débits, pas à produire des résultats métier.
Première phase sans IA. L'exploration des données, les hypothèses, le schéma d'architecture et le calcul de contrôle sur l'extrait se font sans assistant IA, y compris celui intégré au tableur, avec les outils du shell (head, wc, grep, awk), un tableur, le sujet et votre binôme. Faire valider avant de commencer l'implémentation.
Pourquoi : c'est la partie du projet où l'on apprend le plus, et celle qu'une IA ferait le plus volontiers à votre place. Repérer vous-mêmes ce qui ne va pas dans les données, et prévoir le résultat avant de lancer un job, c'est ce qui vous permettra ensuite de juger si ce que produit votre pipeline, ou une IA, est juste.
Après cette phase, l'usage ponctuel d'un assistant IA est autorisé, comme il le serait dans un contexte professionnel. En revanche :
Vous pouvez organiser votre travail autrement, mais ne sacrifiez pas les tests et la restitution : un pipeline qui tourne sans test de reprise ni dossier ne couvre que le palier 1.
Remettez un dossier court comprenant :
| Sujet | Hypothèse ou choix | Justification | Conséquence ou limite |
|---|---|---|---|
| Fichier tardif | |||
| Doublons et clé d'unicité | |||
| Annulation orpheline | |||
| Rattachement d'une annulation à une journée | |||
| Flux manquant ou incomplet | |||
| Choix de la jointure | |||
| Données conservées dans HDFS | |||
| Relance du job | |||
| Publication du résultat | |||
| Dimensionnement |
Votre présentation doit répondre à la question suivante :
Quelle décision de votre équipe vous semble la plus importante pour éviter un résultat erroné ou une dépense inutile, et pourquoi ?
Chaque membre pourra être interrogé individuellement sur n'importe quelle partie de la solution.
| Critère | Insuffisant | Satisfaisant | Excellent |
|---|---|---|---|
| Cohérence de l'architecture | Schéma générique, composants mal reliés | Parcours complet et cohérent avec les contraintes | Choix justifiés par les contraintes, alternatives discutées |
| Compréhension de Hadoop | Confusion entre rôles HDFS, YARN, moteur de calcul | Rôles correctement distingués | Impact de chaque composant sur la reprise et le scaling expliqué |
| Qualité du traitement | Résultats non vérifiables, rejets ignorés | Résultats vérifiés, rejets tracés, jointure correcte | Contrôles de cohérence multiples, orphelins et écarts expliqués |
| Gestion de la reprise | Relance écrase ou duplique les sorties | Sorties temporaires/validées, relance idempotente | Échec réellement testé, flux manquant et lot correctif gérés |
| Dimensionnement | Chiffres sans hypothèses | Calculs de capacité et de débit expliqués | Limites identifiées (NameNode, déséquilibre de jointure, I/O) et marges justifiées |
| Prise de recul | Prototype présenté comme production | Limites du prototype listées | Plan chiffré et priorisé avant déploiement réel |
| Maîtrise et usage de l'IA | Code non expliqué, aucune trace | Usage tracé, sorties vérifiées | Erreurs de l'IA identifiées et corrigées, décisions clairement humaines |
| Défense des choix | Un seul membre répond | Chacun explique sa partie | Chacun explique l'ensemble et les compromis |
Une solution qui traite le petit fichier le plus rapidement possible n'est pas nécessairement la meilleure. Vous serez aussi évalués sur votre capacité à distinguer stockage temporaire et persistant, calcul et stockage, résultat calculé et résultat validé, et à expliquer les compromis retenus.