Methabot

El software Methabot es una velocidad optimizada, web de secuencias de comandos y altamente configurable, ftp y rastreador sistema de archivos local. Es compatible con el análisis filetype con guión, una amplia variedad de opciones de personalización y se configura fácilmente para adaptarse a anyones necesidades particulares.
Con el uso del sistema de módulos y lenguaje de scripting, los usuarios son capaces de tomar el control total o parcial del proceso de rastreo y decidir sin embargo Methabot debe almacenar datos de la web, estadísticas y mucho más.
Simplemente ejecutando Methabot de línea de comandos que son capaces de tipos de archivos de configuración personalizados, filtrando expresiones, comportamientos, y mucho más, por lo que no tiene que ser un scripter

Características :

• Es rápido, diseñado desde el principio y hasta con la velocidad-optimización en cuenta.
• scripts a través de Javascript con E4X
• filtrado filetype definido por el usuario (según el tipo de MIME, extensión de archivo o expresión UMEX)
• Multi-threaded
• Altamente configurable desde la línea de comandos
• sistema de módulos extensible, el apoyo a programas de análisis de datos personalizados y filtros.
• simple pero potente filtrado de URLs a través UMEX.
• la descarga automatizada
• Soporte para administración automática de cookies cuando se ejecuta a través de HTTP
• , redes tolerante a fallos fiable
• Portable, probado con éxito en 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP y Mac OS X. En caso de trabajar en casi cualquier sistema operativo tipo Unix.

¿Cuál es nuevo en esta versión:

• Solución de error, cuando se utilizó externa-peek el límite de profundidad era en mal estado.

Soluciones de limpieza de uso
• Memoria

Opción
• dinámica dirección de Internet ya no se ajusta a las operaciones de búsqueda por defecto, ya que ralentiza el rastreo significativamente
• Crear sistema crea ahora e instala algunos archivos de cabecera que los módulos pueden utilizar al vincular
• herramienta met-config añadido
• lmm_mysql trasladó fuera de este paquete

¿Qué hay de nuevo en la versión 1.5.0:

• Cambios y novedades:
• Soporte para la lectura de búfer intial de la entrada estándar
• - Tipo y --base-url opciones de línea de comandos añaden, junto con la opción initial_filetype en archivos de configuración
• Las cookies y los datos DNS se comparten ahora correctamente entre los trabajadores cuando se ejecuta multiproceso
• Añadido cierto uso comandos de ejemplo para --examples
• Las grandes mejoras en la comunicación entre hilos, ahora más rápido y más organizada
• Se ha añadido soporte para las funciones 'init' a las secuencias de comandos. Lea más acerca de las funciones de inicio en http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha no se congela al hacer múltiples peticiones HTTP CABEZA concurrentes más. La razón de las heladas fue un error en libcurl que ahora se fija. Algunas soluciones se han añadido a libmetha para evitar las heladas acaecidas desde cuando se utilizan las versiones libcurl defecto también.
• Soporte para versiones anteriores libcurl 7.17.x y 7.16.x
• La nueva información está disponible en el & quot; este & quot; objeto del código javascript analizadores, tipo de contenido y el estado de la transferencia. Ver más en http://bithack.se/projects/methabot/docs/e4x/this.html
• - opción verbose sustituido por --silent, ya modo detallado está ahora por defecto
• El apoyo inicial para FTP rastreo y la opción rastreador ftp_dir_url
• La profundidad limitante es ahora específico rastreador
• Añadido las opciones de línea de comandos --crawler y --filetype
• Soporte para extender y primordial rastreadores y tipos de archivos ya definidos
• Soporte para la palabra clave de la copia en los archivos de configuración
• Soporte para cambiar dinámicamente el rastreador activo, esto le permite arrastras diferentes sitios web en formas completamente diferentes en una sola sesión de rastreo. Leer más acerca del cambio de orugas en http://bithack.se/projects/methabot/docs/crawler_switching.html
• Versión libev actualizar a 3.51
• La directiva include en archivos de configuración ahora se asegura que el archivo de configuración incluido ya no se ha cargado, para evitar incluir bucles y múltiples definiciones filetype / orugas.
• Varias correcciones de recolección de basura SpiderMonkey, libmetha no se bloquea más cuando la limpieza después de una sesión de multiproceso
• Añadido alguna información extra a la opción --info
• La opción "externo" ha sido arreglado y activar de nuevo
• Nueva opción --spread de trabajo
• Nueva API libmetha función lmetha_global_setopt () permite cambiar el error / mensaje / reportero mundial de alerta
• Añadido implementación inicial de un conjunto de pruebas para desarrolladores
• Mejor informe de errores al cargar los archivos de configuración
• Solución de error cuando un servidor HTTP no arrojó una cabecera Content-Type después de una petición HEAD
• Solución de error al ordenar las direcciones URL después de múltiples solicitudes HTTP CABEZA
• Solución de error en el convertidor de html en xml cuando la página HTML no tenía un & lt; html & gt; etiqueta
• Solución de error, la opción extless-url no funcionaba
• Solución de error, html al convertidor xml ya no se ahoga con marcas de orden de bytes u otro texto antes de que el HTML real
• Solución de error, impidió libmetha de intentar acceder a la URL de los protocolos que no son compatibles
• Solución de error cuando se apaga después de un error.
• Solución de error, URLs irresolubles no romper el bucle de reintento después de tres reintentos
• Muy experimental y soporte inestable para Win32, destinado principalmente para desarrolladores
• Nuevos archivos de configuración:
• google.conf, para realizar búsquedas de Google
• youtube.conf, youtube buscando
• meta.conf, impresiones de información meta como palabras clave y descripción sobre las páginas HTML
• title.conf, imprime el título de las páginas HTML
• ftp.conf, para el rastreo servidores FTP

¿Qué hay de nuevo en la versión 1.4.1:

• Configurar podido encontrar jsapi.h en algunos sistemas , esto debe ser resuelto ahora.
• Los archivos de configuración ahora son capaces de modificar las banderas de oruga y de tipo de archivo, añadieron las opciones 'externa' y 'external_peek'
• Solución de error, Methabot a veces bloquearse cuando la limpieza de las URL vacías después de múltiples CABEZA HTTP
• Se ha corregido un error que se producía cuando se ejecuta de forma sincrónica.
• Sistema Construir incluir solución cuando jsconfig.h no se puede conocer.

Requisitos

• encabezados SpiderMonkey
• cURL