> Formations > Technologies numériques > Intelligence Artificielle, Big Data > Big Data > Formation Talend Open Studio for Big Data, exploiter ses données massives > Formations > Technologies numériques > Formation Talend Open Studio for Big Data, exploiter ses données massives
Vous avez déjà un compte client ORSYS
Se connecter
Vous êtes nouveau chez ORSYS
Créer un compte
Vous ne souhaitez pas créer de compte
Poursuivre sans me connecter

Formation : Talend Open Studio for Big Data, exploiter ses données massives

Talend Open Studio for Big Data, exploiter ses données massives




La plateforme d'intégration de données de Talend étend ses possibilités aux technologies Big Data que sont Hadoop (HDFS, HBase, HCatalog, Hive et Pig) et les bases NoSQL Cassandra et MongoDB. Ce cours vous apportera les bases pour bien utiliser les composants Talend crées pour communiquer avec les systèmes Big Data.


INTER
INTRA
SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. TAD
  2j - 14h00
Prix : 1660 € H.T.
Pauses-café et
déjeuners offerts

Télécharger le programme

Partager cette formation




La plateforme d'intégration de données de Talend étend ses possibilités aux technologies Big Data que sont Hadoop (HDFS, HBase, HCatalog, Hive et Pig) et les bases NoSQL Cassandra et MongoDB. Ce cours vous apportera les bases pour bien utiliser les composants Talend crées pour communiquer avec les systèmes Big Data.


Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
Ecrire des données sur HDFS et dans des BDD NoSQL avec des jobs Talend
Réaliser des jobs de transformation à l'aide de Pig et Hive
Utiliser Sqoop pour faciliter la migration de bases de données relationnelles dans Hadoop
Adopter des bonnes pratiques et concevoir des Systèmes d’informations flexibles et robustes

Public concerné
Gestionnaires de données, architectes, consultants en informatique décisionnelle.

Prérequis
Expérience dans l'utilisation de l'outil Talend Open Studio For Data Integration ou compétences acquises durant la formation "Talend Open Studio, mettre en œuvre l’intégration de données", Réf. TOT.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Méthodes et moyens pédagogiques
Travaux pratiques
Succession de mini-projets donnant lieu à la conception de jobs Talend Big Data de difficulté croissante.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

Présentation de Talend Open Studio for Big Data

  • Problématique du Big Data : le modèle de 3V, les cas d'usage.
  • L'écosystème Hadoop (HDFS, MapReduce, HBase, Hive, Pig...).
  • Données non structurées et bases de données NoSQL.
  • TOS for Big Data versus TOS for Data Integration.
Travaux pratiques
Installation/configuration de TOS for Big Data et d'un cluster Hadoop (Cloudera ou Hortonworks), vérification du bon fonctionnement.

Intégration de données dans un cluster et des bases de données NoSQL

  • Définition des métadonnées de connexion du cluster Hadoop.
  • Connexion à une base de MongoDB, Neo4j, Cassandra ou Hbase et export de données.
  • Intégration simple de données avec un cluster Hadoop.
  • Capture de tweets (composants d’extension) et importation directe dans HDFS.
Travaux pratiques
Lire des tweets et les stocker sous forme de fichiers dans HDFS, analyser la fréquence des thèmes abordés et mémorisation du résultat dans HBase.

Import / Export avec SQOOP

  • Utiliser Sqoop pour importer, exporter, mettre à jour des données entre systèmes RDBMS et HDFS.
  • Importer/exporter partiellement, de façon incrémentale de tables.
  • Importer/Exporter une base SQL depuis et vers HDFS.
  • Les formats de stockage dans le Big Data (AVRO, Parquet, ORC…).
Travaux pratiques
Réaliser une migration de tables relationnelles sur HDFS et réciproquement.

Effectuer des manipulations sur les données

  • Présentation de la brique PIG et de son langage PigLatin.
  • Principaux composants Pig de Talend, conception de flux Pig.
  • Développement de routines UDF.
Travaux pratiques
Dégager les tendances d’utilisation d’un site Web à partir de l’analyse de ses logs.

Architecture et bonnes pratiques dans un cluster Hadoop

  • Concevoir un stockage efficient dans HADOOP.
  • Datalake versus Datawarehouse, doit-on choisir ?
  • HADOOP et le Plan de Retour d’Activité (PRA) en cas d’incident majeur.
  • Automatiser ses workflows.
Travaux pratiques
Créer son datalake et automatiser son fonctionnement.

Analyser et entreposer vos données avec Hive

  • Métadonnées de connexion et de schéma Hive.
  • Le langage HiveQL.
  • Conception de flux Hive, exécution de requêtes.
  • Mettre en œuvre les composants ELT de Hive.
Travaux pratiques
Stocker dans HBase l’évolution du cours d’une action, consolider ce flux avec Hive de manière à matérialiser son évolution heure par heure pour une journée donnée.
Solutions de financement
Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Horaires
les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux
Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.
Classe à distance

Dernières places
Date garantie en présentiel ou à distance
Session garantie