Gestion des Big Data dans les clusters et le stockage cloud

Description

Dans ce cours, vous apprendrez comment gérer de grands ensembles de données, comment les charger dans des clusters et un stockage cloud, et comment appliquer une structure aux données afin que vous puissiez y exécuter des requêtes à l'aide de moteurs SQL distribués comme Apache Hive et Apache Impala. . Vous apprendrez à choisir les bons types de données, systèmes de stockage et formats de fichiers en fonction des outils que vous utiliserez et des performances dont vous avez besoin.

À la fin du cours, vous serez en mesure de
• utiliser différents outils pour parcourir les bases de données et les tables existantes dans les systèmes de Big Data;
• utiliser différents outils pour explorer les fichiers dans les systèmes de fichiers Big Data distribués et le stockage cloud;
• créer et gérer des bases de données et des tables Big Data à l'aide d'Apache Hive et d'Apache Impala; et
• décrire et choisir parmi différents types de données et formats de fichiers pour les systèmes de Big Data.

Pour utiliser l'environnement pratique de ce cours, vous devez télécharger et installer une machine virtuelle et le logiciel sur lequel l'exécuter. Avant de continuer, assurez-vous que vous avez accès à un ordinateur qui répond aux exigences matérielles et logicielles suivantes:
• Système d'exploitation Windows, macOS ou Linux (les iPad et les tablettes Android ne fonctionneront pas)
• Système d'exploitation 64 bits (les systèmes d'exploitation 32 bits ne fonctionneront pas)
• 8 Go de RAM ou plus
• 25 Go d’espace disque libre ou plus
• Prise en charge de la virtualisation Intel VT-x ou AMD-V activée (sur les ordinateurs Mac équipés de processeurs Intel, elle est toujours activée;
sur les ordinateurs Windows et Linux, vous devrez peut-être l'activer dans le BIOS)
• Pour les ordinateurs Windows XP uniquement: vous devez avoir un utilitaire de décompression tel que 7-Zip ou WinZip installé (l'utilitaire de décompression intégré de Windows XP ne fonctionnera pas)