Scrapy

Scrappy está escrito 100% en Python y se puede utilizar para la sencilla extracción de datos, a la supervisión página, buscadores web e incluso para las pruebas de código.
Scrapy no es un motor de búsqueda en el verdadero sentido de la palabra, sino que actúa como tal (sin la parte de indexación). Sin embargo Scrapy puede ser una gran herramienta para construir su lógica de motor de búsqueda en.
El verdadero poder de este marco se basa en la versatilidad de su núcleo, Scrapy ser un sistema en el que la construcción de las arañas de búsqueda genéricos o específicos (crawlers) sobre.
Si bien esto puede sonar muy complicado para los usuarios no técnicos, con una mirada rápida sobre la documentación y tutoriales disponibles, es bastante fácil de ver cómo Scrapy ha logrado llevar a cabo todo el trabajo duro fuera de este y reducir todo el proceso sólo unas pocas líneas de código (para más fácil, rastreadores pequeños)

¿Cuál es nuevo en esta versión:.

• Ruta a petición Unquote antes de pasar a FtpClient, ya escapar caminos.
• Incluya pruebas / a Fuente de distribución en MANIFEST.in.

¿Cuál es nuevo en la versión 1.0.1:

• ruta de solicitud Unquote antes de pasar a FtpClient, ya vías de evacuación.
• Incluya pruebas / a Fuente de distribución en MANIFEST.in.

¿Qué hay de nuevo en la versión 0.24.6:

• Añadir encabezado codificación UTF8 a las plantillas
• consola Telnet ahora se une a 127.0.0.1 de forma predeterminada
• Actualizar debian / ubuntu instalar instrucciones
• Desactivar cadenas inteligentes en evaluaciones XPath lxml
• Restaurar caché basada sistema de ficheros por defecto para el middleware de caché HTTP
• La exposicion rastreador actual en Scrapy shell
• Mejorar el banco de pruebas comparando CSV y exportadores XML
• Nuevo fuera del sitio / filtrada y estadísticas fuera del sitio / dominio
• process_links de apoyo como generador en CrawlSpider

¿Qué hay de nuevo en la versión 0.24.5:

• Añadir encabezado codificación UTF8 a las plantillas
• consola Telnet ahora se une a 127.0.0.1 de forma predeterminada
• Actualizar debian / ubuntu instalar instrucciones
• Desactivar cadenas inteligentes en evaluaciones XPath lxml
• Restaurar caché basada sistema de ficheros por defecto para el middleware de caché HTTP
• La exposicion rastreador actual en Scrapy shell
• Mejorar el banco de pruebas comparando CSV y exportadores XML
• Nuevo fuera del sitio / filtrada y estadísticas fuera del sitio / dominio
• process_links de apoyo como generador en CrawlSpider

¿Cuál es nuevo en la versión 0.22.0:

• Renombrar scrapy.spider.BaseSpider a scrapy.spider .Spider
• Promover la información de inicio de la configuración y middleware a nivel INFO
• parciales de apoyo en get_func_args util
• Permitir la ejecución de pruebas indiviual través tox
• Actualizar extensiones ignoradas por enlace extractores
• Selectores registran espacios de nombres EXSLT por defecto
• Cargadoras artículo Unificar similares a los selectores de cambio de nombre
• Haga clase RFPDupeFilter fácilmente subclases
• Mejorar cobertura de la prueba y el próximo soporte Python 3

¿Cuál es nuevo en la versión 0.20.1:

• Se requiere include_package_data construir ruedas de fuentes publicadas.

¿Cuál es nuevo en la versión 0.18.4:.

• AlreadyCalledError Fijo reemplazar una solicitud en orden de shell
• Fijo start_requests pereza y principios cuelga.

¿Cuál es nuevo en la versión 0.18.1:.

• Eliminada de importación extra añadido por la cereza recogió cambios
• Fijo arrastrándose pruebas bajo trenzado pre 11.0.0.
• py26 no puede formatear campos de longitud cero {}.
• errores Prueba PotentiaDataLoss sobre las respuestas no consolidados.
• Treat respuestas sin contenido de larga duración o Transfer-Encoding como buenas respuestas.
• no hace incluyen ResponseFailed si http11 manejador no está habilitado.

Requisitos

• Python 2.7 o superior
• Twisted 2.5.0 o superior
• libxml2 2.6.28 o superior
• pyOpenSSL