Funcionamiento de un Buscador

Una araña (spider, robot, bot ...) es un software que utilizan los buscadores para encontrar e indexar el contenido de las páginas web. Este robot ingresa a la página principal, luego carga la página y sigue los enlaces que hay en ella.
Saltando de una página a otra y de un sitio a otro va navegando, y guarda en su base de datos toda la información que va encontrando.
La mayoría de los robots tienen la capacidad de navegar por todos los enlaces de una página web e indexan el contenido de cada una de las páginas que componen un sitio.

Hola compañeros aqui les dejo algo de informacion del funcionamiento de un buscador. Espero sirva de apoyo para complementar la clase de hoy.
¿Cómo se debe indicar al robot qué debe indexar y qué no?
¿Cómo pueden indexar mi web los buscadores?
¿Qué es Optimización Páginas Web?
La clave del Exito en la optimización de sitios web