Apache Hadoop fue inicialmente desarrollado por Yahoo y el proyecto es una combinación entre las anteriores cesiones temporales comunes de Apache Hadoop Core y Apache Hadoop.
El proyecto Hadoop ha ganado mucha notoriedad gracias a sus excelentes resultados en la implementación de un sistema de computación distribuida de varios servidores para manejar grandes cantidades de datos.
El proyecto en sí es en realidad formada por cuatro partes. Uno de ellos es Hadoop Común, el núcleo de la llamada que permite a todos los demás módulos funcionen, el segundo es su propio sistema de archivos - HDFS (Hadoop Distributed File System), el tercero es el marco HILO programación Hadoop, y finalmente está el sistema de Hadoop MapReduce para el apoyo a la computación paralela.
El uso de estos sistemas de romper el suelo, el Apache ha conseguido crear muchos otros proyectos secundarios, como:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Colmena
- Apache Mahout
- Apache Pig
- Apache Spark
- Apache Tez
- Apache ZooKeeper
Todos éstos se basan en potente motor de procesamiento de datos de Hadoop o sus características de computación distribuida, la integración de uno de sus módulos en el de su núcleo de una manera u otra.
¿Qué hay de nuevo en esta versión:
- Soporte para Almacenamiento de Archivo
- Los datos transparentes en el cifrado de reposo (beta)
- Funcionamiento DataNode seguro sin necesidad de acceso root
- unidad de intercambio en caliente: el apoyo añadir / eliminar volúmenes de nodos de datos sin necesidad de reiniciar el nodo de datos (beta)
- Soporte para el cifrado AES de alambre más rápido
- Soporte para servicios de larga ejecución en HILO
- etiquetas nodo de soporte durante la programación
- El apoyo a las reservas de recursos basados en el tiempo en el Programador de capacidad (beta)
- Global, memoria caché compartida de artefactos de aplicaciones (beta)
- Soporte ejecución de aplicaciones de forma nativa en acoplable contenedores (alfa)
¿Qué hay de nuevo en la versión 2.7.1:
- Soporte para Almacenamiento de Archivo
- Los datos transparentes en el cifrado de reposo (beta)
- Funcionamiento DataNode seguro sin necesidad de acceso root
- unidad de intercambio en caliente: el apoyo añadir / eliminar volúmenes de nodos de datos sin necesidad de reiniciar el nodo de datos (beta)
- Soporte para el cifrado AES de alambre más rápido
- Soporte para servicios de larga ejecución en HILO
- etiquetas nodo de soporte durante la programación
- El apoyo a las reservas de recursos basados en el tiempo en el Programador de capacidad (beta)
- Global, memoria caché compartida de artefactos de aplicaciones (beta)
- Soporte ejecución de aplicaciones de forma nativa en acoplable contenedores (alfa)
¿Qué hay de nuevo en la versión 2.7.0:
- Soporte para Almacenamiento de Archivo
- Los datos transparentes en el cifrado de reposo (beta)
- Funcionamiento DataNode seguro sin necesidad de acceso root
- unidad de intercambio en caliente: el apoyo añadir / eliminar volúmenes de nodos de datos sin necesidad de reiniciar el nodo de datos (beta)
- Soporte para el cifrado AES de alambre más rápido
- Soporte para servicios de larga ejecución en HILO
- etiquetas nodo de soporte durante la programación
- El apoyo a las reservas de recursos basados en el tiempo en el Programador de capacidad (beta)
- Global, memoria caché compartida de artefactos de aplicaciones (beta)
- Soporte ejecución de aplicaciones de forma nativa en acoplable contenedores (alfa)
¿Qué hay de nuevo en la versión 2.6.0:
- Soporte para Almacenamiento de Archivo
- Los datos transparentes en el cifrado de reposo (beta)
- Funcionamiento DataNode seguro sin necesidad de acceso root
- unidad de intercambio en caliente: el apoyo añadir / eliminar volúmenes de nodos de datos sin necesidad de reiniciar el nodo de datos (beta)
- Soporte para el cifrado AES de alambre más rápido
- Soporte para servicios de larga ejecución en HILO
- etiquetas nodo de soporte durante la programación
- El apoyo a las reservas de recursos basados en el tiempo en el Programador de capacidad (beta)
- Global, memoria caché compartida de artefactos de aplicaciones (beta)
- Soporte ejecución de aplicaciones de forma nativa en acoplable contenedores (alfa)
¿Qué es la nueva en la versión 2.5.0:.
- mejoras autenticación cuando se utiliza un servidor proxy HTTP
- Un nuevo disipador de Hadoop métricas que permite escribir directamente al grafito.
- Especificación para Hadoop esfuerzo del sistema de archivos compatible.
- El apoyo a los atributos extendidos de sistemas de ficheros al estilo POSIX.
- OfflineImageViewer para buscar un fsimage través de la API WebHDFS.
- mejoras en la compatibilidad y correcciones de errores a la puerta de enlace NFS.
- Web modernizado interfaces de usuario (HTML5 y Javascript) para demonios HDFS.
- Soporte API REST de HILO presentación y matar a las aplicaciones.
- La integración de Kerberos para la tienda de la línea de tiempo del hilo.
¿Qué es la nueva en la versión 2.4.0:
- Soporte para listas de control de acceso en HDFS
- Soporte nativo para las actualizaciones sucesivas en HDFS
- Uso del protocolo-buffers para HDFS FSImage para las mejoras operativas suaves
- Soporte HTTPS completa en HDFS
- Compatibilidad con conmutación automática por error del hilo ResourceManager
- Soporte mejorado para nuevas aplicaciones en hilo con historial de aplicaciones de servidor de aplicaciones y la línea de tiempo del servidor
- El apoyo a fuertes en los SLA CapacityScheduler HILO través Preemption
¿Qué hay de nuevo en la versión 2.3.0:.
- El apoyo a la jerarquía de almacenamiento heterogéneo en HDFS
- En la memoria caché para datos HDFS con la administración y gestión centralizada.
- simplificado distribución de binarios a través de MapReduce en HDFS HILO caché distribuida.
¿Qué hay de nuevo en la versión 2.2.0:
- Hilo - Un sistema de gestión de recursos de propósito general para Hadoop para permitir MapReduce y otros marcos y otros servicios de procesamiento de datos
- alta disponibilidad para el HDFS
- Federación HDFS
- HDFS instantáneas
- Acceso a los datos NFSv3 en HDFS
¿Qué hay de nuevo en la versión 2.1.0-beta:
- HDFS instantáneas
- Soporte para ejecutar Hadoop en Microsoft Windows
- estabilización API HILO
¿Qué hay de nuevo en la versión 2.0.3-alpha:
- QJM para HDFS HA para NameNode
- programación de múltiples recursos (CPU y memoria) para el hilo
- Hilo ResourceManager de reposición
- estabilidad importantes a escala de hilo (más de 30.000 nodos y 14 millones de aplicaciones hasta ahora, en el momento de la liberación)
¿Qué hay de nuevo en la versión 1.0.0:.
- Mayor seguridad
- HBase (anexar / hsynch / hflush y seguridad).
- webhdfs (con soporte completo para la seguridad).
- Rendimiento mejorado el acceso a los archivos locales para HBase.
- Otras mejoras de rendimiento, corrección de errores y características.
¿Qué es la nueva en la versión 0.20.2:
- retiene buffer de envío de servidor de RPC tamaño de la respuesta cada vez más grande enviado.
- C ++ bibliotecas no se acumulan en Debian Lenny.
- Algunos ++ c guiones no están chmodded antes de la ejecución de la hormiga.
- Transmisión:. Transformar, siempre mensajes de estado se sobrescriben cada 10 seoncds
- IllegalArgumentException cuando se utiliza como CombineFileInputFormat InputFormat trabajo.
- Múltiples errores w / archivos de Hadoop.
- Permite el almacenamiento en caché de las instancias del sistema de archivos que se deshabilita en función de cada caso.
- Falta de sincronización para defaultResources en Configuration.addResource.
- GzipCodec no debe representar BuiltInZlibInflater como decompressorType.
- NameNode de HttpServer no se puede crear una instancia InetSocketAddress: IllegalArgumentException se lanza .
- HttpServer duerme con valores negativos.
- NameNode corre de fuera de la memoria debido a la pérdida de memoria en Servidor ipc.
- IPC insecto cliente puede causar llamada RPC colgar.
- pruebas fallidas impiden que el resto de los objetivos de la prueba de la ejecución.
- pruebas Contrib están fallando Clover'ed construir.
- Las pruebas no se ejecutan en 0.20 sucursal.
- TestStreamingStatus está fallando en 0.20 sucursal.
Comentarios que no se encuentran