Jug

jarro es una implementación de Python del marco MapReduce (ahora una parte estándar de Hadoop ), lo que permite a los desarrolladores escribir código que puede ejecutarse en diferentes formas de paralelización.
Esto significa que el código que se puede ejecutar en paralelo en la misma máquina, o en un clúster de computación (múltiples máquinas).
Jug permite a los desarrolladores para organizar el código en pedazos más pequeños, y la selección de dónde, cómo y cuándo ejecutarlo.
Si bien esto puede ser por encima para pequeños sitios web y aplicaciones, este comportamiento puede ser muy útil en aplicaciones con una alta carga de tráfico o que manejan grandes cantidades de datos.
Jug puede trabajar y almacenar datos localmente a través de la unidad de disco duro, o puede usar el almacenamiento remoto. Para este último caso, el Redis base de datos se admite

Características :.

• almacenamiento de datos persistente apoyo
• reutiliza resultados parciales
• Soporte Concurrencia
• Almacenamiento local de datos
• almacenamiento de datos remoto
• corrector Estado de funcionamiento

¿Qué hay de nuevo en esta versión:

• correcciones de compatibilidad Python 3
• fsync (directorio) en el archivo backend
• ganchos Jug (todavía en su mayoría indocumentados, pero ya que permite la simplificación código interno)

¿Qué hay de nuevo en la versión 0.9.7:

• Fix uso de subclases numpy
• redis Fix análisis de URL
• Fix `` shell`` nuevas versiones de las IPython
• caiga correctamente de nuevo no sqlite `` status``

¿Qué hay de nuevo en la versión 0.9.6:

• decodificación más rápido
• Añadido guión jarra a ejecutar
• Agregado describir () función
• write_task_out Añadido () función

¿Cuál es nuevo en la versión 0.9.1:

• Añadido `` subcomando webstatus``
• bvalue Añadido () función
• Solución de error en `` subcomando shell`` (`` value`` no estaba en el espacio de nombres global)
• identidad mejorada ()
• Solución de error en el uso de Tasklets y --aggressive-descarga
• Solución de error con Tasklets y dormir, hasta / verificación

¿Qué hay de nuevo en la versión 0.9:

• En la presencia de una barrera (), vuelva a ejecutar la jugfile . Esto hace de barrera mucho más fácil de usar.
• set_jugdir Añadido a la API pública.
• Agregado CompoundTaskGenerator.
• Soporte subclases de tareas.
• Evite la creación de directorios en el archivo backend menos que sea necesario.
• Añadir jug.mapreduce.reduce (que imita la orden interna a reducir).

¿Qué hay de nuevo en la versión 0.8.1:

• redis Fix backend para la nueva versión del módulo de cliente
• Faster almacén de archivos para archivos de gran tamaño
• Fix `invalidate` con Tasklets
• Instalar pruebas y hacer que sean ejecutables
• método de cálculo de hash cambiado. Esto tiene un caso especial en matrices numpy
• (para la velocidad) y es más extensible a través de un gancho __jug_hash__
• Fix bug con Tasklet no dependencias están tomando debidamente en cuenta
• subcomando cáscara Fix en las versiones más recientes de ipython
• Añadir __file__ atributo a jugmodule falso

¿Qué hay de nuevo en la versión 0.8:

• Tasklets
• Fix errores en el sueño hasta y limpieza
• Fix errores con CompoundTask (hace falta para ejecutar jarra ejecutar dos veces antes).

¿Cuál es nuevo en la versión 0.8-b0:

• Tasklets - Fijar los errores en el sueño, hasta y limpieza .

¿Qué hay de nuevo en la versión 0.7.4:

• caso Fix donde hace ~ / .jug / configrc no existe.
• Imprimir nombre de host para bloquear archivos en file_store.
• refactorizado implementación de opciones.
• tareas de descarga Fix que no se han ejecutado.
• mapreduce Fix para la entrada vacía.

¿Qué hay de nuevo en la versión 0.7.3:.

• Analizar ~ / .jug / configrc
• Fix bug con los tiempos de espera.

Ahorro
• Caso particular de matrices numpy.
• Añadir sintaxis jugdir más expresivo.
• Guardar dict_store backend en el disco.

¿Cuál es nuevo en la versión 0.7.2:.

• archivos perdidos incluidos en la distribución

¿Qué hay de nuevo en la versión 0.7.1:.

• sueño hasta subcomando
• Arreglo para barrera () y la interacción MapReduce.
• mejora de documentación.

¿Qué hay de nuevo en la versión 0.7:

• Mejor `comando` shell``
• método Reescribir para jugfiles carga
• Las tareas tienen función original accesible como `f`

¿Qué hay de nuevo en la versión 0.6.9:.

• Nuevo comando de verificación
• load_all () dentro de la cáscara.

¿Qué hay de nuevo en la versión 0.5.2:.

• `comando Nueva shell`
• Compresión en backend redis.
• Mejoras en velocidad para 'invalidar' comando.

¿Qué hay de nuevo en la versión 0.5.1:

• Redis backend
• diccionario dependencias
• interfaz de línea de comandos Cambiado (comando jarra jugfile ...)

Requisitos :

• Python 2.6 o superior