PHPCrawl

Puede ser usado en la escritura rastreadores de búsqueda (arañas) que las páginas web de las minas de diversa información.
PHPCrawl adquiere información que se configuró a buscar y se lo pasa a las aplicaciones más potentes para su posterior procesamiento

Características :.

• Filtros para datos de URL y Content-Type
• Definir maneras de manejar las cookies
• Definir formas de manejar los archivos robots.txt
• Limite su actividad en diversas formas

Modos
• Multi-procesamiento

¿Qué hay de nuevo en esta versión:

• Solución de errores:
• Enlaces que están parcialmente urlencoded y parcialmente no te reconstruyen / codificados correctamente ahora.
• Eliminada un var_dump depuración innecesarios () desde PHPCrawlerRobotsTxtParser.class.php
• Servidor de nombre indicación en TLS / SSL funciona correctamente ahora.
• & quot; de base-href & quot;. -tags En sitios web va a interpretar correctamente ahora de nuevo

¿Cuál es nuevo en la versión 0.80 beta:

• Código fue completamente rediseñado, portado a PHP5-OO se vuelven a escribir código y una gran cantidad de código.
• Se ha añadido la capacidad de utilizar el uso de múltiples procesos a la araña un sitio web. Método & quot; goMultiProcessed () & quot; agregado.
• Nuevo método reemplazable & quot; initChildProcess () & quot; añadido para iniciar procesos hijo cuando se utiliza el rastreador en multi-proceso-mode.
• Implementet una alternativa, SQLite interna de caché en el mecanismo de URLs por lo que es posible a la araña muy grandes sitios web.
• Method & quot; setUrlCacheType () & quot; agregado.
• Nuevo método DefinirDirectorioDeTrabajo () añade para definir la ubicación de los rastreadores-directorio de trabajo temporal manualmente. Para ello el método & quot; setTmpFile () & quot; se marca como obsoleta (no tiene ninguna función más).
• Nuevo método de & quot; addContentTypeReceiveRule () & quot; reemplaza el viejo método & quot; addReceiveContentType () & quot;.
• La función & quot; addReceiveContentType () & quot; todavía está presente, pero fue marcada como obsoleta.

Requisitos :

• PHP 5 o superior
• PHP con soporte OpenSSL