scansbackup:optimisationbackup

Ceci est une ancienne révision du document !


Optimisation des BACKUP

La taille des scans variant énormément, l'idée est d'optimiser au maximum les BACKUPs :

  • Un BACKUP comporte généralement plusieurs SCANS
  • Un BACKUP peut nécessiter plusieurs bandes LTO
  • Moins il y a de bandes LTO utilisées pour un BACKUP, mieux c'est pour ensuite débackuper.
  • Plus le jeu de LTO est rempli (>90%), mieux c'est.

Exemple avec ces trois scans :

SCAN #14035 Go
SCAN #2732 Go
SCAN #31029 Go


Impossible ici d'utiliser une seule bande LTO-6 pour le SCAN #1
Sa taille dépasse drastiquement sa capacité totale : 2400 Go,
Il faut donc en utiliser une deuxième (2x LTO-6 2400 Go = 4800 Go).

Cependant avec SCAN #1 (4035 Go) tout seul, ce jeu de deux bandes LTO (4800 Go) ne sera pas suffisamment bien rempli :
→ environ 84% utilisé, 765 Go d'espace restant (peut mieux faire)

Il faut donc combler l'espace restant !


Dans cet exemple SCAN #2 convient parfaitement :

SCAN #14035 Go +
SCAN #2732 Go
————————————————————————
total4767 Go

Ce BACKUP (2x LTO-6 2400 Go = 4800 Go) est désormais rempli à 99%
(seulement 33Go d'espace restant)
Parfait !

Bin Packing LTO est un petit script (écrit en python) pour aider à la répartition d'un maximum de SCAN dans un minimum de LTO, pour un minimum de BACKUP.
Il calcule la taille des dossiers donnés et de les répartit ensuite dans différents BACKUP.

  • Calcul de la taille sur LTO d'un ou plusieurs dossiers
  • Répartition optimisée des dossiers (de Scans)
  • Liste les fichiers pour inscrire les catalogues dans FileMaker

Attention, il ne réalise cependant aucun déplacement réel des fichiers.
Cette opération reste manuel, pour éviter tout problème ou perte de fichiers.



Installation

Pré-requis:
cd ~/Downloads/
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python get-pip.py
sudo pip install inquirer
Script + Workflow :
cd ~/Library/Services/
git clone http://ftp-lobsterfilms.com:8000/Martin/bin-packing-LTO.git
mv "bin-packing-LTO/BinPacking LTO.workflow" "BinPacking LTO.workflow"



En pratique





  • scansbackup/optimisationbackup.1562581904.txt.gz
  • Dernière modification : 08/07/2019 10:31
  • de Martin