Nos domaines de formation :

Formation Hadoop, installation et administration

4,4 / 5
Stage pratique
Best
Durée : 4 jours
Réf : HOD
Prix  2018 : 2490 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis vérifiés
Programme

La plateforme Apache Hadoop permet de faciliter la création d'applications distribuées. Ce stage vous permettra de comprendre son architecture et vous donnera les connaissances nécessaires pour installer, configurer et administrer un cluster Hadoop. Vous apprendrez également à l'optimiser et le maintenir dans le temps.

Objectifs pédagogiques

  • Découvrir les concepts et les enjeux liés à Hadoop
  • Comprendre le fonctionnement de la plateforme et de ses composants
  • Installer la plateforme et la gérer
  • Optimiser la plateforme

Travaux pratiques

Installation du cluster Hadoop et paramétrage.

Méthodes pédagogiques

Méthode pédagogique de type "magistrale" avec des exercices pratiques à l'appui, après chaque notion ou groupe de notions exposées.
PROGRAMME DE FORMATION

Présentation du Framework Apache Hadoop

  • Enjeux du Big Data et apports du framework Hadoop.
  • Présentation de l'architecture Hadoop.
  • Description des principaux composants de la plateforme Hadoop.
  • Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku...).
  • Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop

  • Principes de fonctionnement de Hadoop Distributed File System (HDFS).
  • Principes de fonctionnement de MapReduce.
  • Design "type" du cluster.
  • Critères de choix du matériel.

Travaux pratiques
Configuration du cluster Hadoop.

Installation d'une plateforme Hadoop

  • Type de déploiement.
  • Installation d'Hadoop.
  • Installation d'autres composants (Hive, Pig, HBase, Flume...).

Travaux pratiques
Installation d'une plateforme Hadoop et des composants principaux.

Gestion d'un cluster Hadoop

  • Gestion des nœuds du cluster Hadoop.
  • Les TaskTracker, JobTracker pour MapReduce.
  • Gestion des tâches via les schedulers.
  • Gestion des logs.
  • Utiliser un manager.

Travaux pratiques
Lister les jobs, statut des queues, statut des jobs, gestion des tâches, accès à la web UI.

Gestion des données dans HDFS

  • Import de données externes (fichiers, bases de données relationnelles) vers HDFS.
  • Manipulation des fichiers HDFS.

Travaux pratiques
Importer des données externes avec Flume, consulter des bases de données relationnelles avec Sqoop.

Configuration avancée

  • Gestion des autorisations et de la sécurité.
  • Reprise sur échec d'un name node (MRV1).
  • NameNode high availability (MRV2/YARN).

Travaux pratiques
Configuration d'un service-level authentication (SLA) et d'un Access Control List (ACL).

Monitoring et optimisation Tuning

  • Monitoring (Ambari, Ganglia...).
  • Benchmarking/profiling d'un cluster.
  • Les outils Apache GridMix, Vaaidya.
  • Choisir la taille des blocs.
  • Autres options de tuning (utilisation de la compression, configuration mémoire...).

Travaux pratiques
Appréhender les commandes au fil de l'eau de monitoring et d'optimisation de cluster.

Participants / Prérequis

» Participants

Administrateurs de cluster Hadoop, développeurs.

» Prérequis

Bonnes connaissances de l'administration Linux. Expérience requise.
Intra / sur-mesure
Programme standard     Programme sur-mesure
Oui / Non

Vos coordonnées

Avis vérifiés
picto avis vérifiés
Rémi G. 15/05/2018
4 / 5
le matériel (seveur i7) mis a disposition était nécessaire et très appréciable pour dérouler les TP

Pierre R. 15/05/2018
5 / 5
tres bien, merci pour les PC qui sont puissants !

Marc B. 15/05/2018
5 / 5
très bonnes conditions , et très bon matériels pour la formation.

Djamel A. 16/10/2017
5 / 5
très satisfait. le cours est bien préparé, les exercices sont instructifs.

Pascal T. 12/09/2017
4 / 5
Les chaises ne sont pas confortables et grincent => insupportable Problème de logistique: plus de café, de gobelet, fontaine HS, pas de croissant ou trop peu. => Pas aussi bien que les dernières fois.

Bruno B. 12/09/2017
4 / 5
Les sieges grinces. Et les bruits d'ascenceur sont particulièrement presents

Frédéric B. 12/09/2017
4 / 5
Hormis le chaises (grincement des chaises), je suis satisfait. Le bruit est très gênant à la longue

Véronique M. 12/09/2017
5 / 5
Tous les dossiers de chaises grincent, ce qui oblige souvent l'intervenant à devoir répéter ses propos. Dommage que nous ayons à subir des pénuries sur les machines à café.

Jean S. 12/09/2017
5 / 5
Environnement de travail (PC + supports) très bien, chaises bruyantes et peu confortables
Avis client 4,4 / 5

Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

Dates de sessions

Pour vous inscrire, cliquez sur la session qui vous intéresse.
[-]
PARIS

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.