Caractéristique du big data

Table des matières

1 INTRODUCTION
1.1 Contexte
1.2 Travail de stage
1.3 Le stage
1.4 Le laboratoire LIAS
1.5 Organisation du manuscrit
2 ÉTAT DE L’ART
2.1 Introduction
2.2 Histoire de l’utilisation du terme Big Data
2.2.1 Caractéristique du big data
2.3 Histoire de la gestion de données
2.4 Hadoop
2.4.1 HDFS
2.4.2 MapReduce
2.5 Apache Spark
2.5.1 Caractéristiques de spark
2.5.2 Architecture de spark
2.6 Apache Spark vs Hadoop .
2.7 QDAG
2.8 Conclusion
3 CONCEPTION ET RÉALISATION
3.1 Introduction
3.2 Orchestra
3.2.1 Broadcast
3.2.2 Cornet VS bittorrent
3.2.3 Shuffle
3.2.4 la gestion des transferts de données
3.3 Présentation de la solution
3.4 Mécanismes de Transferts de données
3.4.1 Chain Broadcast
3.4.2 TreeBroadcast
3.4.3 Broadcast selon le bit Torrent
3.4.4 Évaluation des différentes stratégies de broadcast
3.4.5 Shuffle
3.5 Mécanismes de vérification du réseau
3.5.1 Mécanisme de battement du coeur
3.5.2 Accusé de réception (Acknowlegement)
3.6 Scénario d’utilisation du framework
3.7 Outils et technologies utilisés
3.7.1 java
3.7.2 L’environnement de test
3.7.3 PuTTY
3.7.4 SuperPuTTY
3.7.5 FileZilla
3.7.6 Parallel-scp
3.7.7 Git
3.7.8 Git LIAS
3.7.9 Gestion de projet avec Trello
3.8 Les étapes à suivre pour effectuer les tests
3.8.1 Conclusion
4 CONCLUSION GÉNÉRALE
4.1 Conclusion
4.2 Perspectives
Bibliographie