Hadoopy

Se trata básicamente de una biblioteca de Python para MapReduce escrito en Cython

Características .

• interfaz similar a la API de Hadoop (patrones de diseño utilizables entre las interfaces Python / Java)
• Compatibilidad general con dumbo para permitir a los usuarios cambiar de ida y vuelta
• Utilizable en racimos de Hadoop sin Python o acceso de administrador
• conversión y procesamiento rápido
• Manténgase pequeño y bien documentado
• Sea transparente con lo que está pasando
• Programas de mango con .so complicadas, ctypes y extensiones
• El código escrito para hack-capacidad
• El simple acceso HDFS (por ejemplo, la lectura, la escritura, ls)
• Soporte (y no replica) el mayor ecosistema Hadoop (por ejemplo, Oozie, zumbido)
• automatizada paralelización trabajo 'auto-oozie' disponibles en el proyecto flujo hadoopy (mantenido fuera de la rama)
• la ejecución local de trabajo MapReduce sin modificar con launch_local
• Leer / escribir archivos de secuencia de TypedBytes directamente a HDFS de python (readtb, writetb)
• Permite la impresión a stdout y stderr en tareas de Hadoop sin causar problemas (utiliza la técnica de "tubería de salto ', ambos están disponibles en stderr de la tarea)
• Funciona en racimos sin ninguna instalación adicional, Python, o cualquier biblioteca de Python (utiliza PyInstaller que se incluye en este árbol de origen)
• funciona en OS X
• Ruta crítica está en Cython
• El simple acceso HDFS (readtb y ls) en Python, incluso dentro de los trabajos en ejecución
• interfaz de prueba Unidad

(Declaraciones e imprimir! No hay necesidad de tener miedo de ellos en Hadoopy)
• Informes de estado y el uso de contadores
• Soporta patrones de diseño en el libro de Lin y Dyer
• Typedbytes apoyo (muy rápido)
• Soporte Oozie

Requisitos

• Cython 0.13 o superior