Pcompress

Pcompress es una utilidad de código abierto de línea de comandos compresión paralela, la descompresión y la deduplicación, dividiendo los datos de entrada en trozos.
Pcompress cuenta con compresión Delta, opción de bloque fijo, la compresión de los metadatos, soporte para múltiples algoritmos, incluyendo LZMA, LZMA-multiproceso, PPMD, Bzip2 o LZ4, fuerte integridad de los datos, filtros, Matrix transformar, encriptación, autenticación de mensajes, los metadatos, el procesamiento se superponen, la costumbre asignador, modo sólido, relleno, y mucho más

¿Cuál es nuevo en esta versión:.

• Esta es una versión principal ofreciendo apoyo archivar basado en libarchive. Técnicas avanzadas se utilizan para detectar los tipos de archivos y el uso de algoritmos adecuados para comprimir mejor. Filtros como PackJPG para Jpegs y Dispack para ejecutables se utilizan para mejorar la compresibilidad. Unos heurística ayudan a detectar datos ya comprimidos y evitar costosas etapas de compresión. Archivo entradas también se ordenan a agruparse contenido relacionado y lograr una mejor compresión. Límites de división de datos para múltiples hilos paralelos se determinan a partir de tipo de archivo y los cambios de hash rodantes. Técnicas MMAP y Zero-Copy se utilizan internamente siempre que sea posible para mejorar el rendimiento. Algunas optimizaciones también se han hecho para reducir el uso de memoria. El uso ha sido simplificado con la mayoría de las características de forma automática configurar en función de nivel de compresión.
• Con estos cambios Pcompress puede actuar como un archivador de pleno derecho, como el alquitrán o cpio y proporcionar mejores ratios de compresión y un mejor rendimiento que el modo de compresión de un solo archivo. Pcompress se compara muy favorablemente con otras utilidades principales archivador.

¿Qué hay de nuevo en la versión 2.4:

• Esta versión corrige varios problemas, entre ellos algunos fallos de casos esquina y un par de desbordamientos de búfer.
• deduplicación de datos ahora se puede hacer uso de bloques tan pequeñas como 2 KB, proporcionando una relación de deduplicación mucho más alto que prácticamente cualquier otro software de deduplicación.
• rendimiento deduplicación basada Similitud ha sido mejorada.
• Memoria libre precisión de detección también se ha mejorado.

¿Qué hay de nuevo en la versión 2.3:

• Esta versión corrige algunos errores y ofrece varias mejoras en la eficiencia y el rendimiento.
• La eficacia de detección de Similitud de similitud basada casi exacta deduplicación ha sido mejorada.
• Al mismo tiempo los requisitos de memoria para el índice se ha reducido.
• La precisión de la partición de datos entre hilos ha sido mejorada.
• Fragmentación y rendimiento de la indexación se han mejorado y el cálculo KMV Sketch es ahora más preciso.
• Este comunicado se mueve toda la funcionalidad del núcleo en una biblioteca compartida en la preparación de una interfaz API que será introducido en futuras versiones.

¿Qué hay de nuevo en la versión 2.2:.

• Esto es principalmente un comunicado de Solución de error
• Se corrige algunos fallos con entrada inválida y construir problemas en Debian6 y procesadores no SSE4 mayores.
• El juego Similitud basada Min-heap para Delta Codificación ha mejorado y es más rápido y más preciso.
• La precisión de segmentado escalable Global Deduplication se ha mejorado aún más a ser mayor del 95%.
• Se han añadido más casos de prueba.

¿Qué hay de nuevo en la versión 2.1:.

• Esta versión añade correcciones de errores y mejoras de rendimiento que muchos
• La precisión en la búsqueda de duplicados en Global deduplicación ha sido mejorada.
• SHA256 es ahora el algoritmo de hash predeterminado de bloques para la deduplicación, con la capacidad de cambiar de forma separada a partir del hash verificación trozo.
• En general, muchas mejoras de rendimiento se han realizado, con un mejor paralelismo, más vectorización SSE, y más rápido de clasificación y mejorar el manejo segmento de archivo de lista de hachís, lo que resulta en menor E / S y un menor número de accesos aleatorios.
• Errores en el cálculo en la memoria el tamaño del índice se ha corregido para evitar desbordamiento de memoria RAM libre y el intercambio en el disco.