Dapper Dataflow Engine

Dapper (Distribuido y Ejecución del Programa Paralelo Runtime) es una herramienta para domar las complejidades de desarrollar para la nube a gran escala y grid computing, lo que permite al usuario crear cálculos distribuidos desde lo esencial - el código que Execut
¿Por qué Dapper?
Vivimos en tiempos interesantes, en los que los avances en las ciencias dependen cada vez más de la creciente disponibilidad y abundancia de recursos computacionales de consumo masivo, en red. Con la ayuda de la nube o rejilla, los cálculos que de lo contrario ejecutar por día en una sola máquina de escritorio ahora se han distribuido y / o formulaciones paralelas que pueden batir a través de, en cuestión de horas, de entrada establece diez veces tan grande en un centenar de máquinas . Como atractivo como la idea de la fuerza de los números puede ser, que acaba de hardware físico no es suficiente - un programador tiene que elaborar el cálculo real que se ejecutará en ella. En consecuencia, el alto valor que en el esfuerzo humano y la creatividad requiere un entorno de programación que permite, e incluso alienta, la expresión sucinta de los cálculos distribuidos, y sin embargo, al mismo tiempo, no sacrifica generalidad.
Dapper, de pie a la Ejecución del Programa Distribuido y Paralelo Tiempo de ejecución, es una de estas herramientas para la reducción de las especificaciones de nivel alto del científico / del programador que capturan la esencia de un programa, con los mecanismos de bajo nivel que reflejan las realidades desagradables de computación distribuida y paralela. En su enfoque de flujo de datos orientada, Dapper permite a los usuarios codificar localmente en Java y ejecutar a nivel mundial en la nube o cuadrícula. El usuario escribe primero codelets, o pequeños fragmentos de código que realizan tareas sencillas y no lo hacen, en sí mismos, constituyen un programa completo. Luego, él o ella especifica cómo esos codelets, vistos como vértices en el flujo de datos, transmitir datos entre sí a través de las relaciones de borde. El gráfico de flujo de datos acíclico dirigido resultante es un programa completo interpretable por el servidor Dapper, que, al ser contactados por los clientes de los trabajadores de larga vida, pueda coordinar una ejecución distribuida.
Bajo el modelo de Dapper, el usuario ya no tiene que preocuparse de los aspectos tradicionalmente ad-hoc de la gestión de la nube o de cuadrícula, que incluyen el manejo de las interconexiones y dependencias de datos, recuperación de errores, la distribución de código, y comenzar los trabajos. Tal vez lo más importante, proporciona toda una cadena de herramientas y tiempo de ejecución basado en Java para enmarcar casi todos los cálculos distribuidos de grano grueso en un formato coherente que permita el despliegue rápido y fácil transporte a otros investigadores.

Características

• Un sistema de distribución de código que permite que el servidor Dapper para transmitir código de programa requerido por la red y tener clientes dinámicamente cargarlo. Una consecuencia de esto es que, salvo ejecutables externos, cambios a Dapper programas sólo necesitan suceder en el lado del servidor.
• Un poderoso método de incorporación subflujo para modificar dinámicamente el gráfico de flujo de datos en tiempo de ejecución.
• Un tiempo de ejecución de la vainilla de Java, un lenguaje que muchos son sin duda familiarizado. Aparte de la exigencia de una JVM reciente y opcionalmente Graphviz Dot, Dapper es autónomo.
• Un protocolo de control robusto. El servidor Dapper espera cualquier número de clientes falle, en cualquier momento, y cuenta con políticas re-ejecución y tiempo de espera personalizables para hacer frente. En consecuencia, se puede iniciar y detener (de larga duración) clientes sin temor a poner todo el sistema en un estado incoherente.
• semántica flexibles que permiten la transferencia de datos a través de archivos o TCP arroyos.
• La interoperabilidad con los servidores de seguridad. Desde su nube local o de cuadrícula, probablemente se sienta detrás de un firewall, hemos ideado semántica especial para la transmisión de las transferencias de datos.
• términos de la licencia liberales. Dapper se distribuye bajo la licencia LGPL para evitar la contaminación de su código base.
• Funcionamiento como una aplicación embebida. Un manual de usuario describe la API de programación que los usuarios pueden seguir para ejecutar el servidor Dapper dentro de una aplicación como Apache Tomcat.
• Funcionamiento como una interfaz de usuario independiente. Con ella, se puede ejecutar fuera de la plataforma de demos y aprender los conceptos básicos a partir de ejemplos visuales. Siguiendo un conjunto mínimo de convenciones, uno puede agrupar los propios programas Dapper como archivos de ejecución, y luego obtener el estado de flujo de datos en tiempo real y la retroalimentación de depuración.

¿Cuál es nuevo en esta versión:

• El método ServerLogic # closeIdleClients se ha cambiado para que coincida mejor el noción intuitiva del usuario de la ociosidad.
• Se ha añadido una opción de usuario para especificar el nombre de host del servidor.
• Redes internas se han revisado a fin de utilizar las nuevas APIs.
• El proceso de construcción se ha actualizado para apoyar a 32 y de 64 bits de Windows compilación cruzada.
• El atildado. * Jerarquía ha sido renombrado a org.dapper. *.

¿Qué hay de nuevo en la versión 0.96:

• Se ha añadido la abstracción FlowListener, por lo que los usuarios pueden ahora metadatos asociados con flujos de datos y sus nodos.
• Se ha corregido un pérdida de memoria en el servidor Dapper.
• Agregado etiquetas Doclet apiviz para que las relaciones entre las clases pueden ser mejor visualizados.
• apiviz Añadido para la visualización de las dependencias en Javadoc.
• Se ha corregido un pequeño error en BuildAndTest ejecutable.
• El proceso de construcción está ahora totalmente integrado con Apache Ivy. La distribución fuente barcos ahora más largas con la SST. En lugar de ello, las dependencias se descargan de forma automática; en su defecto, se puede descargar el código fuente SST, compilarlo y publicar en un repositorio local. Consulte el manual del usuario para obtener más detalles.
• proceso de construcción Actualizado y pasos redundantes eliminados.
• derechos de autor y de licencia normalizada avisos en todos los archivos.
• Java 1.6 ahora se requiere para construir y correr.
• Cambiar proceso para utilizar Apache Ivy, lo que significa que las dependencias externas ya no tienen que ser empaquetados con la distribución principal SST construcción.
• 'doxygen "objetivo añadido para construir el proceso para que los componentes nativos puede ser documentado.

¿Cuál es nuevo en la versión 0.95:

• Una nueva infraestructura de registro flexibles se ha añadido
• Inicializadores para las estructuras de explotación forestal han sido trasladados fuera de las clases de servidor y de cliente y en los conductores.
• máquinas de estados finitos se han actualizado a la nueva API de anotaciones impulsadas.
• El código fuente se ha normalizado a tener 8 espacios en lugar de tabuladores.

¿Cuál es nuevo en la versión 0.94:

• Opciones de línea de comandos para el cliente y el servidor están disponibles ahora, cortesía de la biblioteca Apache Commons CLI.
• El ciclo de vida del proceso de cliente se define ahora como termina cuando una desconexión del servidor pasa.
• Stem funcionalidad generación ha pasado de ser un método miembro del OutputHandleResource de ser un método estático de CodeletUtilities.
• La clase FlowNodeFactory se utiliza a favor de la creación de instancias directa de FlowNodes.
• Construcción de componentes nativos ha migrado a la CMake.
• Registro ha emigrado a SLF4J.
• Un README ha sido añadido a todas las distribuciones.

¿Qué hay de nuevo en la versión 0.93:.

• ejemplos pedagógicos enormemente mejoradas
• Manual de Actualización.
• Añadido rutinas de conveniencia en dapper.codelet.CodeletUtilities para consulta de recursos.
• Generador Eliminado, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource y FileBatchResource. Ellos han sido sustituidos por el concepto de asas abstractos de datos en forma de HandleEdge, InputHandleResource, OutputHandleResource. Consulte el manual para los cambios.
• Actualización dapper.codelet.Resource exportar flujos de entrada y de salida.

Requisitos

• Java 2 Standard Edition Runtime Environment