Réalisation Et Implémentation D'un Crawler Performant Dans Le Web

Résumé: L'exploration, ou le crawling en anglais, est le processus de collecte et d'analyse des pages Web. Les objectifs de cette exploration est de déceler les propriétés existantes entre les sommets du graphe du Web et l'indexation des contenus, en extrayant les mots et les objets contenus dans ces pages. Dans ce domaine, nous allons définir la notion du crawling et nous en allons donner les objectifs et les mécanismes. Afin de donner une connaissance plus concise, nous présenterons les crawlers les plus connus. Afin de devenir indépendant, nous avons décidé de monter un crawler propre à nous. Nous montrerons les différentes étapes réalisées et l'ensemble des expérimentations que nous avions menées afin de valider notre crawler. Effectivement, nous prouvons que notre analyse est correcte car nous avons utilisé des outils d'analyse qui ont illustré que nous avons trouvé les mêmes résultats. Nous montrons aussi que nous avons rejoint les mêmes résultats théoriques des graphes d'interaction. Les systèmes de recherche d'information reposent sur l'indexation par les mots-clés pour représenter le contenu des documents. La première étape pour construire des indexes, est de collecter et générer leurs contenus. Dans ce travail, nous avons mis l'accent sur l'extraction du texte à partir de notre crawler et notamment en langue Arabe.

Publié dans la revue: