Los administradores de páginas web y proveedores de contenido comenzaron a optimizar sitios web en los motores de búsqueda a mediados de la década de 1990, tan pronto los motores de búsqueda comenzaban a catalogar la primera Internet. En un principio, sitios como Yahoo! ofrecían la inclusión a los sitios que solicitasen motu proprio su indexación, que era manual.
Al comienzo, todo lo que los administradores de páginas web tenían que hacer era enviar la dirección de una página web, o URL, a los diferentes motores, los cuales enviarían una araña web o rastreador web para inspeccionar ese sitio, extraer los vínculos hacia otras páginas que tenía esa web y devolver la información recogida para ser indexada. El proceso involucra a un araña web perteneciente al motor de búsqueda, que descarga una página y la almacena en los servidores de la empresa, donde un segundo programa, conocido como indexador, extrae información sobre la página. Entre ella, las palabras que contiene y dónde están localizadas, la relevancia de palabras específicas y todos los vínculos que contiene la página, los cuales se almacenan para ser rastreados posteriormente por la araña web.
Los dueños de sitios web comenzaron a reconocer el valor de tener sus páginas bien posicionadas y visibles para los motores de búsqueda, lo que creó una oportunidad para los usuarios de técnicas SEO de sombrero blanco y sombrero negro (white hat y black hat). De acuerdo con los análisis del experto Danny Sullivan, el término optimización de motores de búsqueda comenzó a usarse en agosto 1997, por John Audette y su compañía, Multimedia Marketing Group, documentado en una página del sitio web de la compañía.
Las primeras versiones de los algoritmos de búsqueda se basaban en la información proporcionada por los administradores de las páginas web, como las palabras clave de las metaetiquetas, o ficheros indexados en motores como ALIWEB. Las metaetiquetas ofrecen una guía para el contenido de cada página. Usar metadatos para indexar una página fue un método no demasiado preciso, ya que las palabras provistas por el administrador de sitio web en las metaetiquetas podía ser una representación no precisa del contenido real de la página web. Unos datos imprecisos, incompletos e inconsistentes en las metaetiquetas podían causar, y causaron, que ciertas páginas se posicionaran muy alto para búsquedas irrelevantes.3 Los proveedores de contenido web también manipulaban una serie de atributos en el código fuente HTML de sus páginas en un intento de posicionarlas bien en los motores de búsqueda.4 Otros sitios, como Altavista, admitían pagos por aparecer en los primeros lugares o daban más importancia a los sitios más antiguos.
Debido a la importancia de factores como la densidad de palabras clave, la cual dependía totalmente del administrador de la página web, los primeros motores de búsqueda sufrieron el abuso y la manipulación de las clasificaciones. Para proveer de mejores resultados para sus usuarios, los motores de búsqueda tenían que adaptarse para asegurar que sus páginas de resultados mostraran las búsquedas más relevantes en vez de páginas no relacionadas, llenas de palabras clave por administradores de páginas web sin escrúpulos. Contando con que el éxito y popularidad de un motor de búsqueda están condicionados por su capacidad de producir los resultados más relevantes para cualquier búsqueda, permitir que los resultados fueran falsos haría que los usuarios optaran por otros motores de búsqueda. Los motores de búsqueda respondieron desarrollando algoritmos de clasificación más complejos para clasificar sitios web, tomando en cuenta factores adicionales para que fueran más difíciles de manipular por los administradores web.
Los estudiantes graduados en la Universidad de Stanford, Larry Page y Sergey Brin, desarrollaron Backrub, un motor de búsqueda que se basaba en un algoritmo matemático que puntuaba la relevancia de páginas web. PageRank fue el nombre del número calculado por el algoritmo, una función que cuenta con la cantidad y fuerza de vínculos entrantes. PageRank estima la posibilidad de que una página web sea vista por un usuario web que navega aleatoriamente por la web, y sigue vínculos de una página a otra. Realmente, esto significa que algunos vínculos son más fuertes que otros, por lo que una página con PageRank más alto tiene más posibilidad de ser visitada por un usuario aleatorio.
Page y Brin fundaron Google en 1998. Google atrajo a seguidores fieles entre el creciente número de usuarios de Internet, a los cuales les gustó su diseño sencillo, motivado por el hecho de que los fundadores no sabían HTML y se limitaron a colocar un cuadro de búsqueda y el logotipo de la empresa.
Se consideraron factores externos a la página (PageRank y análisis de vínculos) a la par que factores internos (frecuencia de palabra clave, etiquetas meta, cabeceras, vínculos y estructura del sitio web, velocidad de carga de la página), para permitir a Google evitar el tipo de manipulación vista en motores de búsqueda que solo consideraban factores internos de la página para las clasificaciones.
En el año 2000 Google lanzó la Google Toolbar, una barra de herramientas que entre otras cosas mostraba la métrica pública del PageRank. El PageRank de la barra de Google va de 0 a 10, siendo 10 el máximo, una valoración alcanzada por muy pocas webs. El PageRank público se fue actualizando periódicamente hasta diciembre de 2013, cuando tuvo lugar la última actualización hasta la fecha.
Aunque el PageRank era más difícil de manipular, los administradores de páginas webs ya habían desarrollado herramientas de creación de vínculos y planes para influenciar el motor de búsqueda Inktomi, y estos métodos también fueron eficaces para manipular el PageRank. Mucho sitios se centraron en intercambiar, comprar y vender vínculos, a menudo a gran escala. Algunos de estos sistemas, o granjas de vínculos, incluían la creación de miles de sitios con el único propósito de crear vínculos basura (técnicas de linkbuilding).
En 2004, los motores de búsqueda habían incorporado un amplio número de factores sin publicar en sus algoritmos de clasificación para reducir el impacto de la manipulación de vínculos. En junio de 2007, Hansell, del New York Times, declaró que los motores de búsqueda estaban usando más de 200 factores. Los principales motores de búsqueda, Google, Bing y Yahoo, no publican los algoritmos que usan para posicionar páginas web. Algunos posicionadores o SEO han estudiado distintas maneras de tratar la optimización de los motores de búsqueda, y han compartido sus opiniones. Patentes relacionadas con los motores de búsqueda pueden proveer información para entender mejor a los motores de búsqueda.
En 2005, Google comenzó a personalizar los resultados de búsqueda para cada usuario, dependiendo de su historial en búsquedas previas, Google ofrecía resultados personalizados para usuarios registrados. En 2008, Bruce Clay dijo “el posicionamiento está muerto” debido a la búsqueda personalizada. Opinaba que resultaría irrelevante discutir como un sitio web se posiciona, puesto que su posición variaría en función de cada usuario, de cada búsqueda.
En 2005, Google también anunció una campaña en contra de la compra de enlaces con el fin de mejorar posiciones en el buscador 5 y sugirió un nuevo atributo a añadir a estos enlaces comerciales, era rel=»nofollow» (ejemplo de uso <a href=»https://otrodominio.com» rel=»nofollow»>Visita esta web</a>). El atributo «nofollow» ofrece a los webmasters un modo de indicar a los motores de búsqueda «No seguir los enlaces de esta página» o «No seguir este enlace concreto»
En 2007 Matt Cutts afirmó que el uso de este atributo en los enlaces internos de una web también sería válido y efectivo para evitar transmitir PageRank hacia páginas internas de la propia web.< El resultado fue que hubo un uso generalizado de este atributo en los enlaces internos de los sites para alterar la distribución interna del PageRank.
Dado la generalización de esta técnica por parte de los webmasters, en 2009 Google publicó que había tomado medidas para cambiar la manera en que valora y contabiliza estos enlaces nofollow a la hora de repartir el PageRank, y que ahora sí se tendrían en cuenta a la hora de distribuir PageRank, aunque no traspasase valor a la url de destino si se diluía el PageRank entre estos enlaces. Con esto intentaba no fomentar que se usara este atributo nofollow con el único fin de modificar la distribución del PageRank a través de los enlaces internos de una web.
Para poder seguir evitando la distribución de PageRank entre urls poco de una web, algunos SEOs y webmasters desarrollaron distintas técnicas alternativas que cambian los enlaces nofollow, que antes era válido, por otras etiquetas HTML (como < span > o < div >) que Google no contabiliza como enlaces, pero que para los usuarios se comportan de la misma manera que un enlace. Para ello se hace uso de Javascript y ofuscado la url con una codificación en Base64, permitiendo controlar de esta manera la distribución de PageRank sin tener que usar el «polémico» atributo nofollow.
En diciembre de 2009, Google anunció que usaría el historial de búsqueda de todos los usuarios para elaborar los resultados de búsqueda.
Google Instant, búsqueda en tiempo real, fue introducido a finales de 2010 en un intento de hacer los resultados de búsqueda más relevantes y recientes. Históricamente, administradores de web han gastado meses o incluso años en optimizar un sitio web para mejorar su posicionamiento. Con el aumento en popularidad de las redes sociales y blogs, los principales motores hicieron cambios en sus algoritmos para permitir contenido fresco y posicionar rápidamente en los resultados de búsqueda.
En febrero de 2011, Google anunció la actualización «Panda», la cual penaliza sitios web que contengan contenido duplicado de otros sitios y fuentes. Históricamente las páginas web han copiado contenido de otras beneficiándose en la clasificación de los motores de búsqueda aplicando esta técnica, sin embargo, Google implementó un nuevo sistema en el que penaliza a las páginas web cuyo contenido no es único.
En abril del 2012, Google anunció la actualización «Penguin» cuyo objetivo era penalizar a aquellos sitios que usaban técnicas manipuladoras para mejorar sus rankings. (Spam SEO o Spam Web).
En septiembre de 2013, Google anunció la actualización «Colibrí», un cambio en el algoritmo diseñado para mejorar el procesamiento del lenguaje natural de Google y la comprensión semántica de páginas web. (eficiencia del HTML5).