Moteurs de recherche

Pour une majorité des moteurs, le principe de fonctionnement est généralement le même. Le moteur collecte les données, les archive, les indexe, et les restitue par ordre de pertinence. Il est composé de plusieurs éléments : un robot qui va collecter les données, un moteur d'indexation, et un moteur d'interrogation.
La collecte des données
Les moteurs utilisent un robot souvent appelé "spider" qui balaie sans relâche le web et éventuellement les newsgroups pour en archiver intégralement le contenu dans une base de données. En principe le robot suit tous les liens qu'il rencontre, mais cet agent peut utiliser différent types d'algorithmes pour allez chercher le maximum de pages et c'est ce qui explique les différences de réponses de deux moteurs pour une même requête. Le problème de ce type d'algorithme est la croissance importante de nombreux sites "isolés", c'est à dire sur lesquels ne pointent aucun lien venant d'autres pages ou sites web, et ceci entraîne un nombre important de sites non répertoriés par les moteurs.
L'immensité de la tâche à accomplir explique qu'un certain délai soit nécessaire au renouvellement de la base de données ainsi créée et ceci explique que l'on puisse donc trouver sur des moteurs des pages qui n'existent plus. A l'inverse plusieurs semaines voire plusieurs mois peuvent être nécessaires avant qu'une nouvelle page soit archivée. Un moyen d'accélérer les choses est alors d'indiquer manuellement (soumission) au robot l'adresse de la page "à visiter".
L'indexation
L'indexation est une tâche effectuée par un autre moteur : il associe à chaque page les mots qui y sont le plus fréquemment utilisés, ainsi que les mots du titre ou d'autres parties significatives de la page. Les pages sont ensuite indexées dans des bases de données importantes.

Recherche et présentation des pages

Lors d'une requête, le moteur d'interrogation analyse la question posée par l'internaute, la traduit en un ensemble de mots, va rechercher les documents correspondants et les propose par ordre de pertinence décroissant. C'est biensûr la méthode de calcul de la pertinence utilisée par le moteur qui est à prendre en compte pour optimiser le référencement. Les critères de pertinence les plus souvent rencontrés sont :

• La présence des mots clés dans le titre, dans l'en-tête, dans le contenu de la page et éventuellement dans les méta-tags
• La position (haut de page) des mots clés dans la page
• La répétition (jusqu'à un certain point) des mots clés.

C'est le principe de localisation et de fréquence. Les méthodes employées pour déterminer la pertinence d'un mot clé sont différentes d'un moteur à l'autre, et c'est ce qui explique qu'une même page puisse avoir une qualité de référencement très variable d'un moteur à l'autre sur le même mot clé.

Liste de la plupart des moteurs