ZFS deduplication

Con l'uscita della build 128a di OpenSolaris viene aggiunta una nuova ed importante funzionalità a ZFS: la "deduplication" (evito di tradurre la parola...). Grazie a questa nuova funzionalità il filesystem è in grado di riconoscere eventuali blocchi duplicati e scriverli una volta solo... risparmiando così spazio su disco! I blocchi vengono riconosciuti grazie ad una chiave di hash generata da un algoritmo (selezionabile) e verificata prima di ogni scrittura.
Prima di entrare nel dettaglio mettiamo subito alla prova tale feature; creiamo tre dischi "su file" (da 150 Mega ciascuno) che andranno a comporre il nostro pool:

$ mkfile 150m disk1 disk2 disk3

ora creiamo il nuovo pool, chiamandolo con molta fantasia "dedup":

$ pfexec zpool create dedup \
    /export/home/luca/tmp/disk1 \
    /export/home/luca/tmp/disk2 \
    /export/home/luca/tmp/disk3

controllandone le caratteristiche vediamo subito che la dimensione è pari a 435 Megabyte e notiamo che il rapporto di "deduplication" è pari a uno (visto che ancora non abbiamo scritto nulla):

$ zpool get all dedup
NAME   PROPERTY       VALUE       SOURCE
dedup  size           435M        -
dedup  capacity       0%          -
dedup  altroot        -           default
dedup  health         ONLINE      -
dedup  guid           598651376828683765  default
dedup  version        22          default
dedup  bootfs         -           default
dedup  delegation     on          default
dedup  autoreplace    off         default
dedup  cachefile      -           default
dedup  failmode       wait        default
dedup  listsnapshots  off         default
dedup  autoexpand     off         default
dedup  dedupratio     1.00x       -
dedup  free           435M        -
dedup  allocated      79.5K       -

ora andiamo ad abilitare la "deduplication" a livello di filesystem:

$ pfexec zfs set dedup=on dedup

da questo momento in poi, per ogni nuovo blocco che ZFS andrà a scrivere effettuerà il controllo di duplicazione: copiamo alcuni file nel nuovo filesystem e controlliamo. Per il test ho scelto di copiare alcuni MP3 presenti sul mio disco fisso, vediamo l'occupazione dei file prescelti:

$ du -h /export/home/luca/Documents/Music/aavv_80/
72M    /export/home/luca/Documents/Music/aavv_80/

ora creiamo tre cartelle nel nostro filesystem su cui andremo a copiare i file

$ cd /dedup
$ pfexec mkdir d1
$ pfexec mkdir d2
$ pfexec mkdir d3
$ pfexec mkdir d4

e copiamo i file:

$ pfexec cp /export/home/luca/Documents/Music/aavv_80/* d1
$ pfexec cp /export/home/luca/Documents/Music/aavv_80/* d2
$ pfexec cp /export/home/luca/Documents/Music/aavv_80/* d3
$ pfexec cp /export/home/luca/Documents/Music/aavv_80/* d4

ora controlliamo lo spazio occupato:

$ du -h .
72M    ./d1
72M    ./d2
72M    ./d3
72M    ./d4
287M    .

i conti tornano; su tutte e quattro le cartelle sono presenti 72 Megabyte di MP3... mmmm... e la "deduplication" che fine ha fatto... non ha funzionato?!?!??? Controlliamo meglio:

$ zpool list dedup
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
dedup   435M  72.5M   363M    16%  4.00x  ONLINE  -

ecco svelato il mistero!!! Il comando "du" (come anche ls e molti altri) agendo a livello user "vede" la dimensione reale del file (la stessa cosa accade per i filesystem compressi), ma se controlliamo meglio lo spazio allocato a livello di pool vediamo che in realtà sono stati utilizzati "solo" 72.5 Megabyte e il rapporto di "deduplication" è salito a 4; ora i conti tornano alla perfezione!!!

Bene, dopo la pratica torniamo a parlare di teoria, analizzando le varie opzioni legate a questa nuova caratteristica. In precedenza abbiamo semplicemente attivato la deduplication, accettando così le impostazioni di default, tuttavia esistono diverse opzioni settabili per la proprietà dedup:

• off: dedup disattivata;


• on: dedup attivata, il blocchi vengono controllati con l'algoritmo SHA256;


• verify: come sopra l'algoritmo di hash è sempre SHA256, ma in caso di rilevamento di un blocco uguale, viene verificata l'esattezza bit a bit;


• fletcher4,verify: viene usato l'algoritmo di hash "fletcher4", che risulta essere molto più veloce ma che produce con maggiore probabilità delle duplicazioni di chiavi e quindi è per questo che la verifica è obbligatoria.

Non è detto che in futuro vengano implementati anche altri algoritmi per la verifica delle duplicazioni dei blocchi, il consiglio è quello di attivare la deduplication con l'opzione verify per stare tranquilli :)