L'outil Spiders View, vous permet de visualiser des sites à la façon dont les robots des moteurs de recherche voient votre site
En principe, tous les robots des moteurs de recherche fonctionnent de façon semblable - ils explorent votre site, indexent certaines pages et ensuite, ils les stocks dans une base de données et les utilise par la suite pour déterminer le classement de vos pages, la pertinence du contenu, la qualités des liens entrant et sortant,...
Ces Robots Spider, sont des robots qui ne lisent pas vos pages comme un humain. Ils voient les textes cachés que les visiteurs ne voient pas.
Cet outil vous permet de mieux positionner vos mots clés sur les pages de vos sites.
Pour commencer la visualisation :
Entrez l'adresse de la page que vous voulez explorer dans champ ci-dessous et cliquer sur le bouton "Spider".
Quelques astuces pour empêcher les robots de visiter votre site :
Créez un fichier robots.txt et ajouter tous les dossiers et pages que vous voulez exclure de la vue des robots du web.
Imaginons que votre site est (www.site.com). La barre oblique (/) signifie la racine de votre site.
Pour plus d'informations au sujet du fichier robots.txt ou pour voir la liste des robots, visitez le site
Robotstxt.org.
Pour empêcher les robots de visiter votre site:
User-agent: *
Disallow: /
Pour empêcher un robot de visiter votre site:
User-agent: googlebot
Disallow: /
Pour exclure certaines sections de votre site aux yeux des robots:
User-agent: *
Disallow: /section1/
Disallow: /page3.htm
Disallow: /page4.php
Voici d'autres outils utiles pour votre site :
