Web

Deep web o Internet profunda Internet profunda​ (del inglés, deep web), internet invisible o internet oculta​ es el contenido de internet que no está indexado por los motores de búsqueda convencionales, debido a diversos factores.​ El término se atribuye al informático Mike Bergman.​ Origen de la deep web La principal causa de la existencia de la internet profunda es la imposibilidad de los motores de búsqueda … Leer más

Rastreando la Deep Web Una gran cantidad de páginas web se encuentran en la Deep Web o web profunda. Estas páginas normalmente sólo son accesibles mediante el envío de consultas a una base de datos, y los rastreadores normales no pueden encontrar estas páginas si no hay enlaces que apunten a ellas. El protocolo Sitemaps de Google y el mod_oai están pensados para … Leer más

Identificación del rastreador web Los rastreadores web suelen identificarse ante un servidor web utilizando el campo agente de usuario de una solicitud HTTP. Los administradores de sitios web suelen examinar el registro de sus servidores web y utilizar el campo de agente de usuario para determinar qué rastreadores han visitado el servidor web y con qué frecuencia. El campo de … Leer más

Seguridad de los rastreadores web Aunque la mayoría de los propietarios de sitios web desean que sus páginas se indexen lo más ampliamente posible para tener una fuerte presencia en los motores de búsqueda, el rastreo de la web también puede tener consecuencias no deseadas y conducir a un compromiso o a una violación de datos si un motor de … Leer más

Arquitectura de los rastreadores web Un rastreador no sólo debe tener una buena estrategia de rastreo, como se ha señalado en las secciones anteriores, sino que también debe tener una arquitectura muy optimizada. Shkapenyuk y Suel señalaron:​ Arquitectura de alto nivel de un rastreador web estándar Mientras que es bastante fácil construir un rastreador lento … Leer más

Política de Arrastre o Rastreo El comportamiento de un buscador web es el resultado de una combinación de políticas:​ una política de selección que establece las páginas de descarga, una política de revisita que establece cuándo debe buscar cambios en las páginas, una política de cortesía que indica cómo evitar la sobrecarga de los sitios Web , y una política de paralelización que … Leer más

¿Qué es un rastreador web? Un rastreador web, indexador web, indizador web o araña web es un programa informático que inspecciona las páginas del World Wide Web de forma metódica y automatizada.​ Uno de los usos más frecuentes que se les da consiste en crear una copia de todas las páginas web visitadas para su procesado posterior por un motor de búsqueda que indexa las páginas proporcionando … Leer más