Formation Pig - Développement de scripts

En suivant la formation Pig – Développement de scripts, dispensée par notre cabinet de formation, vous découvrirez tous les détails qui vous seront utiles pour améliorer vos compétences sur le Pig – Développement de scripts.

Objectifs de la formation Pig – Développement de scripts :

Les objectifs de la formation sont  :

• Comprendre le fonctionnement de Pig
• Savoir développer des requêtes en latin pour effectuer des transformations sur des données
• Disposer des compétences nécessaires à la réalisation d’analyses de données
• Savoir intégrer des données de différents formats

Programme de la formation Pig – Développement de scripts :

Le Programme de la formation est détaillé ci-dessous :

INTRODUCTION

• Le projet Apache Pig, fonctionnalités, versions
• Présentation de Pig dans l’écosystème Hadoop
• Chaîne de fonctionnement
• Comparatif avec l’approche Hive ou Spark

MISE EN OEUVRE

• Rappels sur les commandes HDFS
• Pré-requis techniques, configuration de Pig
• Travaux pratiques : Exécution : les différents modes (interactif ou batch)
• Principe de l’exécution de scripts Pig Latin avec Grunt

BASE LATIN

• Modèles de données avec Pig
• Intégration Pig avec MapReduce
• Les requêtes Latin : chargement de données, instructions
• Ordres de base : LOAD, FOREACH, FILTER, STORE
• Travaux pratiques : création d’un ETL de base
• Contrôle d’exécution

TRANSFORMATIONS

• Groupements, jointures, tris, produits cartésiens
• Transformation de base de la donnée
• Découpages
• Découpages sur filtres

ANALYSE DE LA DONNÉE

• Échantillonnages
• Filtres
• Rangements avec rank et dense
• Calculs : min/max, sommes, moyennes, …
• Travaux pratiques : traitements de chaînes de caractères et traitement de dates

INTÉGRATION

• Formats d’entrées/sorties
• Interfaçage avro, json
• Travaux pratiques : chargement de données depuis HDFS vers HBase, analyse de données Pig/HBase et restitution Json

EXTENSIONS

• Extension du Pig Latin
• Création de fonctions UDF en Java
• Intégration dans les scripts Pig
• Travaux pratiques : utilisation de Pig Latin depuis des programmes Python
• Travaux pratiques : exécution de programmes externes, streaming

Approche pédagogique :

Notre approche pédagogique pour cette Formation consiste en :

• Cas pratiques

• Remise d’outils

• Echanges d’expériences

Participants de la Formation :

Les personnes qui peuvent participer à cette formation sont les :

• Chefs de projet
• Data scientists
• Développeurs souhaitant utiliser pig pour l’analyse de données

N’hésitez pas à contacter le cabinet New Performance Management

pour lui confier votre

ingénierie de formation ou pour vos besoins en formation :

En présentiel- A distance- En Elearning

Merci.

New Performance Management est un cabinet de formation au Maroc avec un ADN Africain à travers plusieurs partenariats stratégiques avec d’Autres Cabinets de Formation en Afrique.

Présent sur le marché depuis 2011, notre équipe dynamique ne cesse de développer ses Process afin de répondre aux besoins évolutifs de sa clientèle en matière de formation Professionnelle.