¿Cómo funciona Googlebot?
Googlebot comienza su tarea de rastreo accediendo a una lista de URL de páginas, generadas en tareas previas de rastreo. Esta lista se complementa con los sitemaps que facilitamos desde la consola de Google. El rastreo es algorítmico y le indica al robot qué páginas debe rastrear, a que nivel de profundidad y con qué frecuencia. Estos rastreos se realizan a gran velocidad.
El rastreo y la indexación de la página consigue que nuestra web aparezca en los resultados de búsquedas, si el robot encuentra en nuestro sitio contenido relevante que va a responder a las cuestiones del usuario. Con esto conseguiremos dotar a nuestro sitio web de visibilidad.
Para esto debemos facilitarle a la araña de Google su trabajo todo lo posible, indicándole a qué contenido debe acceder para que lo rastree y lo muestre en la SERP y por el contrario bloqueándole la entrada a contenido que no queremos que se graben en el índice. Puedes ver más sobre esto en el punto 4.4 «robots.txt»
Para que el robot incluya nuestras páginas en la SERP debemos ofrecerle contenido único y de calidad, que cumpla con las directrices de Google, ya que si no, la araña puede tomar la decisión de que no es contenido relevante para mostrar a los usuarios. Hablaremos más adelante detalladamente de cómo crear contenido de calidad y optimizarlo para Google.