DedupeCopy

DedupeCopy es una herramienta de copia simple de múltiples subprocesos de archivos diseñado para la consolidación y reestructuración de los sistemas de archivos extensos.
El caso de uso más común es para hacer copias de seguridad de los datos en un nuevo diseño, haciendo caso omiso de los archivos duplicados.
Otros usos incluyen:
& Nbsp; 1. Conseguir un archivo .csv que describe todos los archivos duplicados
& Nbsp; 2. Comparación de diferentes sistemas de archivos
& Nbsp; 3. Reestructuración de conjuntos existentes de archivos en diferentes disposiciones (como ordenados por extensión o la última fecha de modificación)
Esta herramienta es * NO * un reemplazo Robocopy o rsync y no trata de llenar el papel los juego.
Al igual que con todo el código que camina un árbol de archivos, por favor, utilice con precaución y esperar absolutamente ninguna garantía!
Ejemplos del mandato:
& Nbsp; Generar un informe de archivos duplicados para una ruta:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifiesta
& Nbsp; Copie todos los archivos * .jpg de varias rutas a una estructura /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: fotos -p D: fotos -e jpg jpg -R: mtime -c X: fotos
& Nbsp; Copie todos los archivos de dos unidades a un solo objetivo, la preservación de la ruta de acceso para
& Nbsp; todas las extensiones:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifiesta -R *: no_change
& Nbsp; Reanudar un desplazamiento interrumpido (suponiendo "-m manifiesto" utilizado en ejecución antes):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r -i dupes_2.csv manifiesta -m manifiesta
Secuencialmente copiar diferentes fuentes en el mismo objetivo, no copiar los archivos duplicados (2 fuentes y 1 objetivo):
& Nbsp; & nbsp; & nbsp; 1.) Primer registro manifiesta para todos los dispositivos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -p dedupe_copy.py \ objetivo share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Copia cada fuente a la meta (especifique --compare tan manifiestos de
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; otras fuentes se cargan pero no se utilizan como parte del conjunto de fotocopias y
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-pie para saltar re-exploración de la fuente):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -c \ objetivo share source1_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-pie
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -c \ objetivo share source2_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-pie
Ejemplo completo:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Suponiendo que usted comienza con un conjunto de archivos establecidos de la siguiente manera:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; algunas fotos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Y ejecuta el comando:
& Nbsp; & nbsp; & nbsp; > -p Dedupe_copy.py C: fotos -p D: fotos -e jpg jpg -R: mtime -c X: fotos
Usted podría terminar con la siguiente (photo3.jpg fue un verdadero duplicado):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Este proyecto está en bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python