Spidr

El script se puede ejecutar en una sola página, sitio web, dominios múltiples o incluso sin parar.
SPIDR está diseñado para ser rápido y fácil de usar

Características .

• Restaurar la cola de rastreo y la historia de una sesión anterior .
• Custom cadenas User-Agent.
• configuración del proxy personalizada.
• HTTPS apoyo.


• siguiente:
• a las etiquetas.
• etiquetas iframe.
• etiquetas de marco.
• Galleta enlaces protegidas.
• HTTP 300, 301, 302, 303 y 307 redirecciones.
• Meta-Refresh redirecciones.
• básica HTTP Auth enlaces protegidas.


• Negro-list o lista blanca las direcciones URL basadas en:
• esquema de URL.
• nombre de host
• Número de puerto
• Enlace completa
• extensión URL


• Proporciona call-backs para:
• Cada página visitada.
• Cada URL visitadas.
• Cada URL visitadas que coincide con un patrón especificado.
• Cada origen y destino URI de un enlace.
• Cada dirección URL que no pudo ser visitado.


• Proporciona métodos de acción a:
• rastreo pausa.
• Skip procesamiento de páginas.
• Skip procesamiento de enlaces.

¿Qué hay de nuevo en esta versión:

• Catch OpenSSL :: SSL :: excepciones SSLError cuando se inicia HTTPS Sesiones.