Sélectionner une page
Publié par Olivier Andrieu | 12 Avr 2016 | | Temps de lecture : 2 minutes
Spiders, Robots, Crawlers : comment ça marche ? (Vidéo SEO)
Voici une nouvelle video SEO proposée par le site Abondance, avec le fonctionnement des robots ou spiders (ou agents ou crawlers) des moteurs de recherche. Comment ça marche ? Comment avoir des informations sur les visites de ces outils et à quelle fréquence viennent-ils explorer (crawler) vos pages ? Vous en saurez plus après avoir regardé ces quelques images. Bonne vidéo !
Voici également quelques articles complémentaires pour approfondir le sujet :
Matt Cutts : “laissez Googlebot crawler vos CSS et JavaScript”.
Googlebot ne crawle pas plus de 10 Mo de code source !
Google ne crawle pas votre site si votre fichier robots.txt n’est pas disponible.
Googlebot s’adapte mieux aux contenus géolocalisés.
Googlebot gère maintenant les sites d’actualités.
Googlebot pour smartphones va changer de user-agent.
Googlebot bientôt prêt pour le protocole HTTP/2.
Etc.
N’hésitez pas également à visiter la zone “Vidéos SEO” du site et à vous abonner à la chaîne YouTube du site Abondance (ou à son fil RSS) pour découvrir, semaine après semaine, les prochaines vidéos que nous vous proposerons.
Partager :
Note :
Merci Olivier,
clair net précis 🙂
J’aime bien la comparaison du robots avec un internaute fou 😉
Allez hop je partage la vidéo autour de moi !
A bientôt,
Olivier CLEMENCE
@Charles, ce n’est pas le cas de tous les moteurs. Le notre ne crawl aucun site de particuliers, c’est un choix, il faut donc confirmer que l’on est une entreprise, association déclarée, ou administration. (et limité à la France).
Pour compléter, pour les fin analystes, un robot va envoyer dans l’entête http une requête « if-modified-since » , avec une date du précédent crawl pour éviter de re-crawler les pages qui n’ont pas changées depuis la dernière visite, afin de soulager les ressources réseaux mais aussi du spider comme celui du site.
Toujours sympa ces petites vidéos ^^
Bonjour
Vidéo simple et concise qui rappelle bien le fonctionnement des bots des moteurs.
J’aime surtout la piqûre de rappel sur le fait qu’il n’est plus besoin d’inscrire ses sites sur les moteurs et surtout sur le fait qu’il soit inutile de leur indiquer quand venir.
La charte Abondance.com pour la soumission de commentaires est la suivante :

– Champ Nom : obligatoire. Seuls les noms de famille et/ou prénoms sont acceptés. Un commentaire n’est pas écrit par une entreprise, mais par une personne physique. Les textes d’ancre (sur)optimisés et les noms d’entreprises indiqués dans ce champ verront automatiquement l’URL associée supprimée et la mention [Anonyme] indiquée à cet endroit.

– Champ E-mail : obligatoire. L’adresse mail n’est pas affichée si le commentaire est validé.

– Champ Site web : facultatif. Uniquement affiché si le champ “Nom” contient le patronyme d’une personne (voir ci-dessus). Le mieux est certainement d’y indiquer l’URL de votre compte Facebook, Twitter ou Google+. Mais vous pouvez également y indiquer l’URL de votre site web (page d’accueil uniquement).

Merci !!!
Consultez le site Livre Référencement !
© Abondance | Toute l'actualité sur le SEO et les moteurs de recherche

source

Catégorisé:

Étiqueté dans :