Avant de plonger dans le fonctionnement complexe d’un moteur de recherche, un peu de contexte historique s’impose.

Quel a été le premier moteur de recherche ?

Les trois premiers moteurs de recherche ont été

  1. Lycos lancé en 1994
  2. Altavista lancé en 1995
  3. Backrub lancé en 1997

Ces moteurs ont inspiré Google, lancé en 1998 et leader sur le marché avec plus de 85% des parts de marché mondiales.

Quel est le rôle d’un moteur de recherche ?

Un moteur de recherche est développé dans le but de répondre aux requêtes des internautes. Il existe différents types de requêtes, elles peuvent être informationnelles, transactionnelles, ou navigationnelles. On parle alors d’intention de recherche. C’est une notion très importante pour le SEO.

Comment fonctionne un moteur de recherche ?

Les moteurs de recherche (Google, Bing, Yahoo…) explorent le web à travers les liens des pages web. Pour explorer les pages web, ils utilisent des robots aussi appelés crawlers, ou spiders. Ce sont en fait des programmes informatiques qui suivent tous les liens des sites web afin de remplir leur index. Ce processus s’effectue en continue. 24h/24 7j/7.

Qu’est-ce que l’indexation ?

Une fois la phase de crawl réalisée, le robot va remplir son index. C’est en fait une base de données, remplie de pages web. Une fois toutes ces informations collectées, les moteurs de recherche calculent à l’aide d’algorithme la probabilité qu’une page a de satisfaire la requête d’un internaute. Si un site n’est pas crawlé il ne sera jamais indexé.

Pourquoi indexer mon site web ?

Faire indexer son site correctement est indispensable pour espérer être présent dans les résultats des moteurs de recherche, et ainsi se positionner sur les requêtes des internautes. Sans ça, n’espérez pas bénéficier de visiteurs depuis les moteurs de recherche.

Dois-je faire indexer toutes les pages de mon site ?

Dans l’idéal on ne fait indexer que les pages qui répondent à une recherche d’un internaute, et dans un seul exemplaire. Dans la réalité des faits c’est plus compliqué que ça. C’est important car on souhaite faire crawler à Google que des pages présentant un intérêt pour les internautes, sinon on gardera un visites/crawl très faible.

Qu’est-ce que le “crawl budget” ?

C’est un terme SEO technique qui consiste à définir le nombre de pages que Google parcourra sur votre site en un temps donné. Ce nombre varie selon plein de facteurs différents, qui vont impacter le comportement du Googlebot sur votre site.

Exemple de facteurs qui impactent le crawl budget :

  • Les temps de chargement de votre site
  • La fraîcheur du contenu
  • Le nombre de liens vers une page ou votre domaine

Optimiser son crawl budget c’est simplement faciliter l’accès aux robots d’indexation. Ils doivent avoir un parcours fluide, sans erreur (404 par exemple). Google pour ne citer que lui, crawlera plus souvent les sites les plus populaires, et les plus à jour en terme de contenu. Pour analyser le parcours du robot sur son site on utilise un analyseur de logs.

Catégories : SEO Technique

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *