Es de dominio público que el contenido de una web se lista en los motores de búsqueda cuando puede ser indexado por ellos. Para esto se utilizan unos programas conocidos como arañas web, un automatismo que viaja por la red para indexar contenido, entre otras funciones. Tradicionalmente, estos programas sólo han tenido un espacio funcional […]