Apache Flume

Apache Flume fue desarrollado como un sistema intermediario que recoge los registros de una aplicación y lo entrega a otro.
Se debe trabajar con la mayoría de las aplicaciones Java y los desarrolladores deberían estar seguro, Flume protegida contra la pérdida de datos y la falta de servicio.
Datos de registro se transmite en tiempo real a través de sistemas tolerantes a fallos con soporte para muchos mecanismos de conmutación por error y recuperación.
Debido Flume ejecuta desde una ubicación central, los desarrolladores pueden fácilmente administrar y también aprovechar sus recursos para las estadísticas y propósitos de análisis.
Una característica oculta de Flume es su actual sistema de "datos agnóstica". Esto significa que puede cambiar fácilmente la fuente de un flujo de datos de una salida del registro a cualquier otra cosa y usar Flume a la información con seguridad agregada de varios tipos de servicios.
Estos pueden ser mensajes de correo electrónico, flujos de medios sociales, el tráfico de red, etc.

¿Cuál es nuevo en esta versión:.

• Extracción SSLv2Hello causa de Java 6 clientes para romper
• Habilitar SSLv2Hello para Avro Fuente y NettyAvroRpcClient
• Habilitar SSLv2Hello para HttpSource
• Añadido dev-apoyo a tarball src
• prueba Unidad TestHTTPSource.java falló con IBM JDK 1.7
• HTTP Fuente debe ser capaz de bloquear un conjunto prefijado de protocolos.
• HTTPS pruebas fallan en Java 6
• Permitir configuración de protocolos habilitados en fuente Avro y RPC cliente

¿Qué hay de nuevo en la versión 1.5.2:

• La eliminación SSLv2Hello causa de Java 6 clientes para romper
• Habilitar SSLv2Hello para Avro Fuente y NettyAvroRpcClient
• Habilitar SSLv2Hello para HttpSource
• Añadido dev-apoyo a tarball src
• prueba Unidad TestHTTPSource.java falló con IBM JDK 1.7
• HTTP Fuente debe ser capaz de bloquear un conjunto prefijado de protocolos.
• HTTPS pruebas fallan en Java 6
• Permitir configuración de protocolos habilitados en fuente Avro y RPC cliente

¿Qué hay de nuevo en la versión 1.5.0:

• Nueva función:
• Introducir algún tipo de SpillableChannel
• Permita SpoolDir pasar sólo el nombre de archivo que es la fuente de un evento
• Contexto Flume no soporta flotador o los valores de configuración de dobles.
• Actualizar morphlines a 0.7.0
• aforador-ng-log4jappender usuarios Soporte cabeceras suministrados
• Elasticsearch Sink para ES HTTP API
• Ha añadido un sumidero de Kite Conjuntos de datos
• directorio de cola de impresión no siempre debe consumir el archivo más antiguo primero.
• Mejoras:
• configuraciones de ejemplo Guía del usuario Flume es necesario fijar
• Haga SpoolDir trabajar con subdirectorios
• en cola origen de directorio debe ser capaz de reemplazar o ignorar personajes deformes
• Manejar cargas útiles más grandes a través de SyslogUDPSource
• Actualizar dependencia morphline biblioteca con un comunicado 0.5.0
• La reducción de eventos duplicados causadas por restablecimiento de conexión intervalo

¿Qué hay de nuevo en la versión 1.3.0:

• Agregado HTTP Post Fuente
• Elasticsearch Sink
• Flume adoptar mensaje del escribano local existente
• Se ha añadido una fuente syslog multipuerto
• Canal del archivo debe admitir el cifrado
• Crear una fuente SpoolDirectory y cliente
• Equilibrio de carga cliente RPC debe apoyar backoff exponencial de nodos fallidos
• Dump estado del contador de RollingFileSink cuando el agente se detiene
• Regex Extractor Interceptor

¿Qué hay de nuevo en la versión 1.2.0:

• Implementado una memoria durable Canal
• Guía desarrollador Creado para Flume GN
• Client SDK
• Se implementó un duradero FileChannel
• Interceptores Implementadas (anteriormente conocido como Decoradores) para Flume 1.x
• Implementado un fregadero HBase que soporta acceso a nivel de tabla
• Implementado Timestamp Interceptor
• asíncrona HBase Sink

Requisitos

• Java 1.6 o superior