Big Data Un Ordonnancement Efficace Des Tâches Pour Les Applications Big Data

Résumé: Hadoop emerges as an important framework to process parallel programs with large scale of data. Improving data locality is an efficient way to speed up these parallel programs. In this thesis, we provide a predictive scheduling strategy which prefetch input data of map tasks to nodes before the real computation start. We use a Neural network model for prediction and data locality based algorithm for tasks scheduling. Evaluations results show that our Predictive Map Task Scheduler reduces can greatly improve both data locality and execution time of map tasks.-------------------------------------------------------------------------------------------------- Hadoop apparaît comme un framework important pour le traitement de programmes parallèles contenant des données à grande échelle. L'amélioration de la localisation des données est un moyen efficace d'accélérer ces programmes parallèles. Dans cette thèse, nous fournissons une stratégie d'ordonnancement prédictif qui pré-charge les données d'entrée des tâches map aux nœuds avant le début du traitement. Nous utilisons un modèle de réseau de neurones pour la prédiction et un algorithme basé sur la localité de données pour l'ordonnancement des tâches. Les résultats des évaluations montrent que notre ordonnanceur prédictif de tâches map peut considérablement améliorer la localisation des données et la durée d'exécution des tâches map.--------------------------------------------------------------------------------------------------------------------------------------------- يظهر Hadoopكإطار مهم لمعالجة البرامج المتوازية مع نطاق واسع من البيانات. يعد تحسين موقع البيانات طريقة فعالة لتسريع هذه البرامج المتوازية. في هذه الأطروحة ، نوفر استراتيجية جدولة تنبؤية والتي تعمل على جلب بيانات المدخلات من مهام Mapإلى Reduceقبل بداية المعالجة الحقيقية. نحن نستخدم نموذج الشبكة العصبية المبنية على التوقع والبيانات لتحديد المواقع لجدولة المهام. تظهر نتائج التقييمات أن برنامج جدولة المهام التنبؤي Mapيمكن أن يعمل على تحسين كل من موقع البيانات ومدة تنفيذ مهام Mapبشكل كبير.

Publié dans la revue: