Open Source Deduplizierung

Workshop - Deduplizierung mit lessfs unter Linux

15.12.2011
Von Thomas Steudten

Zusatz-Features

Für die Funktion nicht unbedingt notwendig, jedoch je nach Anwendungsfall nützlich, sind folgende Möglichkeiten von lessfs:

  • Daten- und Metadaten-Verschlüsselung

  • Master-Slave Betrieb

Wurde lessfs bei configure mit "--with-crypto" übersetzt, dann wird auch noch die openssl-Bibliothek mit eingebunden und es besteht die Möglichkeit, die Ursprungs- und Metadaten noch zu verschlüsseln. Dazu gibt es die zwei Optionen "ENCRYPT_DATA=on" und "ENCRYPT_META=on". "mklessfs" erwartet dann ein Passwort bei der Dateisystem Erzeugung und ebenso die anderen Tools zur Bestätigung des korrekten Passworts.

Bereits seit Version 1.1.6 gibt es den synchronen, seit Version 1.1.9 den asynchronen Master-Slave-Betrieb. Beide befinden sich noch im Alpha-Stadium. In der synchronen Betriebsart sendet der Master alle Schreib-I/O-Daten zum Nur-Lese-Slave und blockiert, wenn der Slave nicht erreichbar ist.

Werden die nachfolgenden Zeilen in der Konfigurationsdatei aktiviert, dann repliziert lessfs jeglichen I/O-Verkehr vom Master- zum Slave-System im asynchronen Modus und sichert diese Netzwerkpakete per CRC32-Prüfsumme:

REPLICATION=masterslave

REPLICATION_PARTNER_IP=192.168.2.2

REPLICATION_PARTNER_PORT=201

REPLICATION_ROLE=master

REPLICATION_ENABLED=on

Sowohl auf dem Master, als auch auf dem Slave kann per "echo 1 > MYMOUNT/.lessfs/replication/enabled" die Replikation jederzeit aktiviert oder mit dem Wert 0 deaktiviert werden. Während die Replikation nicht aktiv ist, schreibt der Master jeglichen Schreib-I/O in ein so genanntes Backlog, dessen Status unter MYMOUNT/.lessfs/replication/backlog eingesehen werden kann.