S3QL

S3QL soporta Amazon S3, así como SFTP arbitrarias y efectivamente le proporciona un disco duro de, infinita capacidad dinámica que se puede acceder desde cualquier ordenador con acceso a internet.
S3QL está proporcionando una norma, el sistema de archivos con todas las características de UNIX que es conceptualmente indistinguible de cualquier sistema de archivos local. Además, S3QL tiene características adicionales como compresión, cifrado, la deduplicación de datos, árboles inmutables y snapshotting que lo hacen especialmente adecuado para copia de seguridad y archivo en línea.
S3QL está diseñado para favorecer la simplicidad y la elegancia sobre el rendimiento y la función de fluencia. Se ha tenido cuidado para que el código fuente tan legible y útil posible. Detección de errores y sólido manejo de errores se han incluido desde la primera línea, y S3QL viene con extensas casos de prueba automatizados para todos sus componentes.
Antes de que un sistema de archivos puede ser montado, el backend que celebrará los datos tienen que ser inicializado. Esto se hace con el comando mkfs.s3ql. Aquí estamos usando el backend Amazon S3, y nikratio s3ql-cubo es el depósito de S3 en el que el sistema de archivos se almacenan.
mkfs.s3ql s3: // nikratio-s3ql-cubo
Para montar el sistema de archivos S3QL almacenada en el nikratio_s3ql_bucket depósito de S3 en el directorio / mnt / s3ql, escriba:
mount.s3ql s3: // nikratio-s3ql-bucket / mnt / s3ql
Ahora usted puede dar instrucciones a su programa de copia de seguridad favorito para ejecutar una copia de seguridad en el directorio / mnt / s3ql y los datos se almacenarán un Amazon S3. Cuando haya terminado, el sistema de archivos tiene que ser desmontado con
umount.s3ql / mnt / s3ql

Características :

• Transparencia. Conceptualmente, S3QL es indistinguible de un sistema de archivos local. Por ejemplo, es compatible con los enlaces duros, enlaces simbólicos, los permisos de unix, atributos extendidos y tamaño de los archivos de hasta 2 TB.
• Dynamic Tamaño. El tamaño de un sistema de archivos S3QL crece y se contrae de forma dinámica según se requiera.
• Compresión. Antes del almacenamiento, todos los datos pueden comprimido con el LZMA, BZIP2 o algoritmo LZ.
• Cifrado. Después de la compresión (pero antes de cargar), todos los datos AES pueden cifrado con una clave de 256 bits. Una suma de verificación SHA256 HMAC adicional se utiliza para proteger los datos contra la manipulación.
• La deduplicación de datos. Si varios archivos tienen idéntico contenido, los datos redundantes se almacena sólo una vez. Esto funciona en todos los archivos almacenados en el sistema de archivos, y también si sólo algunas partes de los archivos son idénticos, mientras que otras partes difieren.
• Los árboles inmutables. Árboles de directorios se pueden hacer inmutable, por lo que sus contenidos no pueden ser modificados de ninguna manera. Esto puede ser usado para asegurar que las copias de seguridad no pueden ser modificadas después de que se han hecho.
• Copy-on-Write / snapshotting. S3QL puede replicar árboles de directorios completos sin utilizar ningún espacio de almacenamiento adicional. Sólo si se modifica una de las copias, la parte de los datos que ha sido modificado ocupará el espacio de almacenamiento adicional. Esto puede ser usado para crear instantáneas inteligentes que conservan el estado de un directorio en diferentes puntos en el tiempo utilizando una cantidad mínima de espacio.
• High independiente Rendimiento de latencia de la red. Todas las operaciones que no escriben ni leen el contenido del archivo (como la creación de directorios o mover, renombrar y cambiar los permisos de archivos y directorios) son muy rápidos, ya que se llevan a cabo sin ningún tipo de transacciones en la red.
• S3QL lo consigue mediante el ahorro de todo el archivo y estructura de directorios en una base de datos. Esta base de datos se almacena en caché a nivel local y la copia remota actualiza de forma asincrónica.
• Soporte para conexiones de bajo ancho de banda. S3QL divide el contenido del archivo en bloques más pequeños y guarda en caché bloques localmente. Esto reduce al mínimo tanto el número de transacciones de red necesarios para leer y escribir datos, y la cantidad de datos que tiene que ser transferido cuando se leen o escriben sólo partes de un archivo.

¿Cuál es nuevo en esta versión:

• Los intentos de actualizar un sistema de archivos que ya se encuentra en la última revisión ya no sean los metadatos locales copiar inutilizable.
• Google nombres de cubo de almacenamiento que contienen los puntos ya no causan problemas con la validación de certificados SSL.
• Corrige un accidente cuando statvfs () se llama en un sistema de archivos casi vacío.
• Hay una nueva & quot; swiftks & quot; backend para OpenStack / servidores Swift.
• Elimina una condición de carrera que podría llevar a mount.s3ql estrellarse con un & quot; KeyError en colecciones / abc.py & quot;.
• Corrige un accidente que podría ocurrir cuando se trata de limpiar después de recibir un error de conexión o el servidor al cargar un objeto.

¿Cuál es nuevo en la versión 2.2:

• S3QL ahora utiliza conexiones SSL por defecto y verifica los certificados de servidor.
• Una condición de carrera que resultó en una aparente pérdida de metadatos remoto se fijó.
• El backend S3 ahora elimina varios objetos de almacenamiento mediante una sola solicitud, si es posible, reducir la latencia, el tráfico y el número de solicitudes de S3.
• S3QL ahora es capaz de detectar los errores de servidor y redirecciones antes de que todos los datos se han enviado al servidor.
• Se agregó un nuevo backend 'espacio de rack' que permite especificar la zona de almacenamiento de objetos en la dirección URL de almacenamiento.
• La opción --compress mount.s3ql ahora permite especificar el nivel de compresión.

¿Cuál es nuevo en la versión 1.15:

• Ciclismo de copias de seguridad de los metadatos cuando se usa el backend locales ahora tarda mucho menos tiempo.
• Es ya no es necesario que S3QL y Python APSW estar vinculados a la biblioteca compartida mismo SQLite.
• En mount.s3ql, un accidente cuando se utiliza --metadata-upload-intervalo 0 se fijó.
• En lugar de desmontar por completo el sistema de archivos (y dejando el punto de montaje inaccesible) cuando los datos de backend falta o está dañado, S3QL ahora devuelve un error y cambia al funcionamiento de sólo lectura.

¿Cuál es nuevo en la versión 1.13:

• Esta versión corrige un error que hacía que los metadatos con formato incorrecto que se escribirá al utilizar versiones EGLIBC recientes.
• Se corrige problemas al intentar acceder a un directorio en la raíz del sistema de archivos que recientemente ha sido eliminado con s3qlrm.
• Soporte ostensibles ACL se ha eliminado.
• Este comunicado mejores tiradores cubos con nombres DNS válido.
• Se volverá a intentar si DNS no está disponible.

¿Cuál es nuevo en la versión 1.11.1:

• Esta versión corrige un accidente cuando se usa el backend S3 (regresión introducida en la versión 1.11), aumenta el mínimo reportado tamaño del sistema de archivos a 1 TB, y trabaja en torno a un bug df lo que el tamaño se envíe correctamente.

¿Cuál es nuevo en la versión 1.11:

• Los metadatos sobre los objetos almacenados ahora se divide en varios campos, por lo que ningún campo es más largo que 256 bytes. (Esto hace S3QL compatible con una gama más amplia de proveedores de almacenamiento.) El backend SWIFT ahora reintenta si recibe 5xx códigos de error del servidor remoto, y ya no falla al intentar cargar datos con un token de autenticación caducado.

¿Cuál es nuevo en la versión 1.10:

• Las S3S, s3cs y backends GSS se han eliminado. Utilice la nueva opción --ssl junto con los backends s3, S3C y gs lugar.
• S3QL ya no mantiene un registro de garantía de consistencia de los diferentes sistemas de apoyo.
• El creciente número de diferentes proveedores de almacenamiento que ofrecen las diferentes regiones, redundancia, y los niveles de disponibilidad hace que este ya no es factible.
• La Guía del usuario contiene una nueva sección, & quot; reglas importantes para evitar perder datos & quot;.
• La lectura es muy recomendable.

¿Cuál es nuevo en la versión 1.9:

• Esta versión hace tiempos de archivo ya no cambian al cambiar el sistema zona horaria, corrige y mejora contrib / benchmark.p, corrige los & quot; Demasiadas redirecciones & quot encadenados; error, vuelve a intentar en los errores del servidor 5xx, y añade soporte nativo experimental para servidores OpenStack / SWIFT y soporte experimental proxy.

¿Cuál es nuevo en la versión 1.8:

• A & quot; ValueError: No se puede volcar los valores NULL & quot; accidente cuando metadatos del sistema de archivo fue subido durante la actividad del sistema de archivos pesados ​​fue corregido.

Se mejoraron
• s3qlcp y listado de directorios rendimiento para directorios muy grandes.
• Una regresión rendimiento rm fue corregido.
• -. Blocksize pasó a llamarse a --max-size obj
• Algunos accidentes que ocurrieron bajo el uso del sistema de archivos muy concurrente se fijaron.
• python-llfuse 0.37 se usa ahora.

Limitaciones :

• Todavía hay un montón de errores en el código y usted debe estar preparado para hacer frente a ellos. Sin embargo, usted puede estar razonablemente seguros de que los bichos (aunque inconveniente) no pondrán en peligro los datos almacenados.