Redes e Internet #bash#c#linux 1 min

Buscar ficheros con el contenido duplicado en linux...

Traducción del original en catalán. Léela en: CatalàEnglish

A menudo cuesta encontrar herramientas o pequeños scripts que hagan cosas aparentemente tan estúpidas como la comentada. De hecho para windows he encontrado algunos programas que tienen buena pinta aunque todavía no los he probado. Pero para linux me ha costado un poco más hasta que he encontrado el fdupes (local). Está programado en C y realmente es muy sencillo de usar y bastante potente.

También he encontrado un pequeño script en bash que hace una búsqueda bastante rudimentaria pero útil en algunos casos:

OUTF=rem-duplicates.sh;
echo "#! /bin/sh" > $OUTF;
find "$@" -type f -print0 |
  xargs -0 -n1 md5sum |
    sort --key=1,32 | uniq -w 32 -d --all-repeated=separate |
    sed -r 's/^[0-9a-f]*( )*//;s/([^a-zA-Z0-9./_-])/\\\1/g;s/(.+)/#rm \1/' >> $OUTF;
chmod a+x $OUTF; ls -l $OUTF

La página donde he encontrado este script es Unix shell script for removing duplicate files.

1 comentario

Los comentarios del blog antiguo, tal como se escribieron. Los comentarios están cerrados.

  1. —

    Jo utilitzo la comanda 'repeats' per buscar fitxers duplicats, està inclosa dins de littleutils, que encara no está a gentoo. Vaig fer l'ebuild fa temps però encara no l'han inclos al portage. Pots veure'l aquí:

    http://bugs.gentoo.org/show_bug.cgi?id=109072...