La carga de trabajo de un servidor web cualquiera no sólo está relacionada con las visitas de usuarios de carne y hueso. Hay una gran cantidad de programas automatizados o bots que en este caso es una araña o web crawler que se dedica a rastrear todos los rincones de internet en bucas de contenido. En una gran página el bot de Google puede incluso estar entrando cada pocos segundos en busca de contenido nuevo.
Lo que no es tan habitual es que Apple cuente con su propio bot, aunque la compañía finalmente ha confirmado que lo posee. Se trata del Applebot (nombre original donde los haya), y al igual que en el resto de servidores respeta lo que esté establecido en los archivos de configuración del servidor o hagan referencia a Googlebot. La información sobre el bot la podéis encontrar aquí.
El Applebot se encarga de proporcionar información y contenido de webs a los demás servicios de Apple para no tener que confiar exclusivamente en Google y Bing. Esos servicios son por ejemplo los servicios de búsqueda de Siri y Spotlight, que en este último caso desde OS X Yosemite ha ganado mayor integración con resultados de internet.
Vía: EnGadget.
