¿Que es PWeBot y de porque visita mi web?
PWeBot es un software que visita un documento de internet y extrae una información
concreta el documento o servidor.
¿Que informacion busca en mi web?
El número de versión de PWeBot indica la finalidad de la petición,
de esta manera, podemos saber porque nos está accediendo según si es:
PWeBot/1.1
Recopila información sobre los archivos robots.txt de las páginas que
serán visitadas por la version 1.0 o bajo una petición en esta página o
esta página.
PWeBot/3.0
Esta versión, descarga un documento y lo analiza, parsea HTML, CSS, Javascript... puedes
acceder a la información parseada desde esta herramienta.
Algunos de los documentos descargados pasarán a formar parte de
la base de datos del buscador. Siempre y cuando lo permita el protocolo robots.txt PWeBot almacenará sus palabras claves y buscará otros documentos siguiendo sus enlaces.
¿Como puedo evitar que me visite?
Como la mayoría de robots,
En sus peticiones automatizadas PWeBot 3.0 atiende al protocolo estándar de exclusión de robots, el
archivo robots.txt,
con este archivo puedes desactivar el acceso a un determinado
directório a los robots, para desactivar PWeBot, el user-agent
correcto es pwebot o *.
Cuando la visita realizada es debido a que un usuario introduce tu URL en esta herramienta para analizar páginas web, PWeBot no atenderá a robots.txt pero tampoco guardará ningún dato de la página visitada.
¿Como ha llegado PWeBot a mi web?
PWeBot 3.0 sigue los vínculos de las páginas web a las que accede, ya
sean por href como por src, de esta manera, si ha
llegado hasta aquí es que ha seguido un vínculo desde otra página.
Las otras versiones acceden a tu servidor porque alguien se lo indica directamente.
¿Porque esta intentando abrir robots.txt?
La forma que tiene PWeBot de saber si es bienvenido a un servidor
es examinar su archivo
robots.txt, el
contenido de este archivo puede indicarle que no debe pedir ninguna
página del servidor, que las puede pedir todas... |
English version