Incremental backups with duplicity, plus Nagios monitoring

The idea is to setup daily encrypted incremental backups.

This scheme involves 3 machines: the main server to be backed up (www.test.com), the backup server (backup.test.com) and a nagios server (nagios.test.com) for monitoring the backups. There can be as many servers and folders to be backed of as needed of course.

All the following was done on Linux Ubuntu machines. There’s not much details, use at your own risk.

 

Initial setup

On Your system administrator machine

1. Prepare the GPG key to be used (adapt as needed)

   $ gpg --gen-key
   $ gpg --export D68E26B0 > sysadmin.public.gpg.asc
   

2. Keep the private key safe, you’ll need it to restore backups.

 

On servers to be backed up

1. Install/Upgrade duplicity

   $ sudo add-apt-repository ppa:duplicity-team/ppa
   $ sudo apt-get update
   $ apt-get install duplicity
   

2. Copy the public gpg key, import it as root, and trust it (ultimate):

   # gpg --import sysadmin.public.gpg.asc
   # gpg --edit-key D68E26B0
   gpg> trust
   

3. Test backup

   # LANG=en_US.UTF-8 duplicity --encrypt-key D68E26B0 /etc sftp://user@backup.test.com/duplicity/www.test.com/etc
   # LANG=en_US.UTF-8 duplicity collection-status sftp://user@backup.test.com/duplicity/test/etc
   

4. Setup backup cron

   @daily LANG=en_US duplicity --encrypt-key D68E26B0 /etc sftp://user@backup.test.com/duplicity/www.test.com/etc
   

 

Nagios monitoring

The idea is to setup a probe using the duplicity’s collection-status command to test the backup freshness.

1. Create a SSH key for nagios user (ssh-keygen). Since nagios user has no shell associated it must be created for another user and then copied to nagios’ home .ssh/ The .ssh/known_hosts file must also be setup to contain the backup machine key certificate.
2. Setup Nagios on nagios.test.com to monitor your main server using the simple script below. This implies you are doing a daily backup, adapt as needed.
   • /usr/local/nagios/libexec/check_duplicity_backup

     #!/bin/bash                                                                                                                                                                      
     #Verifying if the backup plan is working or not                                                                                                                                  
     export LANG=en_US
     BACKUP_BASE_DIR=sftp://user@backup.test.com/duplicity/
     Host=$1
     Folder=$2
     TMP=$(mktemp)
     
     duplicity collection-status $BACKUP_BASE_DIR$Host/$Folder > $TMP 2> /dev/null
     exitcode=$?
     
     TODAY=$(LANG=en_US date +"%a %b %d")
     YESTERDAY=$(LANG=en_US date +"%a %b %d" -d yesterday)
     Latest=$(egrep "^Chain end time:" $TMP)
     
     rm -f $TMP
     if [[ $1 == "" ]]; then echo "Critical - Configuration Broken"; exit 2; fi
     if [[ $exitcode != 0 ]]; then echo "Critical - Check command failed"; exit 2; fi
     if [[ $Latest == "" ]]; then echo "Critical - No backup found at $BACKUP_BASE_DIR$Host/$Folder"; exit 2; fi
     if [[ $Latest == *$TODAY* ]]
     then
         echo "OK - $Latest" 
         exit 0
     elif [[ $Latest == *$YESTERDAY* ]]
     then
         echo "Warning - $Latest" 
         exit 1
     else
         echo "Critical - $Latest" 
         exit 2
     fi
     

   • commands.cfg

     define command{
             command_name    check_duplicity_backup
             command_line    $USER1$/check_duplicity_backup $ARG1$ $ARG2$ 
             }
     

   • http://www.test.com.cfg

     define service{
             use                             generic-service         ; Name of service template to use
             host_name                       www.test.com
             service_description             Backup /etc/
             check_command                   check_duplicity_backup!www.test.com!etc
             first_notification_delay 0
             }
     

 

Publicités

L’Homo Facebookus a-t-il encore un cerveau?

3 événements distincts m’ont vraiment fait peur cette semaine. Peut-être plus que les derniers attentats à Paris,  parce que j’étais directement concerné.

Ces événements on allumé une grosse sonnette d’alarme dans mon esprit.

« Dis papa, il y a plus de musulmans que de français en France? »

Ça a commencé par ma fille de 8 ans, qui m’a posé cette question. Impossible de savoir où elle a pu entendre ça: sa réponse a été que c’est son cerveau qui le lui avait dit.  Mais ça m’a permis de lui expliquer que la question en elle-même n’avait pas de sens, que nationalité et religion étaient des choses bien différentes. Sans doute avait-elle entendu cela dans la cours de l’école, répété par un autre enfant qui n’avait pas bien compris lui-même, bref, rien d’alarmant, mais un malaise face à cette nouvelle illustration du repli sur soi engendré par la peur. (Ou était-ce la peur engendrée par le repli sur soi?)

Le plus important est que je lui fasse comprendre que son cerveau c’est elle qui le contrôle et qu’elle ne peut pas laisser les autres lui dicter ce que son cerveau pense. Là j’ai eu froid dans le dos.

© Istockphotos

Homo Facebookus

Les deux autres événements se sont produits sur FaceBook. J’avais toujours refusé d’y créer un compte, mais je m’y suis mis récemment en créant un compte professionnel.

Une de mes connaissances avait fait suivre, pour résumer,  un appel aux Australiennes pour sortir nues dans la rue: comme les musulmans doivent se suicider s’ils voient une femme nue autre que leur femme, cela permettrait d’éliminer les terroristes. Outre la stupidité d’une telle proposition, ce qui m’a le plus révolté c’est ce raccourci entre musulmans et terroristes. Et enfin, comment un adulte éduqué peut-il propager dans son réseau de telles énormités, sans un commentaire?

À sa décharge, il est vrai qu’une photo avec une femme nue accélère les réactions.. et a permis que je lise cet article.

Du rendement du cerveau

Le troisième et dernier de ces événement pour la journée, est venu d’un vrai ami, et c’est sans doute pour cela que ça m’a tant alerté. Il a fait suivre sur FaceBook un de ces très nombreux articles sur Internet qui présentent une machine qui fabrique de l’énergie (rendement 250%!), et qui accuse le grand complot mondial d’étouffer toute initiative qui pourrait nuire au secteur pétrolier.

Un simple coup d’œil à l’article me montre qu’il est encore pire que les autres: un ramassis d’inepties techniques et d’arguments écolo-militants sans queue ni tête. Après discussion avec cet ami, il me dit qu’il avait fait suivre cet article sans le lire, simplement car il venait d’une personne en qui il faisait confiance.

Cela m’a beaucoup attristé venant d’une personne que je connais et à qui j’attribue une grande éthique. Comme les événements précédents, cette désinformation ne peut que nourrir les extrêmes, ce qui est particulièrement dangereux en période électorale.

Les réseaux sociaux permettent de propager très vite des idées, les pires comme les meilleures, et c’est une formidable opportunité pour propager les meilleures et bloquer les pires. Finalement dans le flot d’informations qui nous parvient, qu’est-ce qui a vraiment de l’importance?

Encore faut-il utiliser son cerveau.

Ne faites suivre ce message que si vous êtes d’accord.

A Free Software Tool Chain for Online presentations

I’m always having problems having clients access our remote online presentations. Be it IT administrators preventing users from installing applications or firewall issues, it’s a real PITA.

I finally found a neat combination allowing users to simply use their browser to access my local desktop view, through a server directly connected to the Internet. So to sum-up: the final viewer (A) connects with his Web Browser to a Web page located on a server on the Internet (B: my.server.com) which in turns redirects Video connection to my remote desktop (C) on a private network behind a router.
This is a short HOWTO for Linux, it should work fine under Windows too.

1. Install x11vnc on your local computer (C).
2. install novnc on the Internet Server (B) in /var/www/html make sure Apache is running
3. Run X11VNC on (C):
   /usr/bin/x11vnc -shared -forever -passwd test -viewpasswd view -ncache 10 -ncache_cr
4. Run novnc on (B):
   /var/www/html/novnc/utils/launch.sh
5. Redirect VNC port from (B) to (C) by launching this command in (C):
   ssh my.server.com -R 5900:localhost:5900
6. Direct your contact to connect to:
   http://my.server.com/novnc/vnc_auto.html?host=my.server.com&port=6080&password=view

That’s it, make sure to adapt passwords for your needs.

In case your computer (C) has an Internet reachable address, you can install novnc on it, and ignore step 5.

I tested it from France to New Zealand, and it worked great; even taking remote control; lagging but usable. If you need voice too, what tools would you recommend?

Installer Mandriva sur une dedibox

Ayant une dedibox originale (processeur Via C7) qui était devenue poussive, je me suis dit qu’il était temps de migrer vers une configuration un peu plus costaud.

« Buggar!! » comme dirait un ami à moi: plus de Mandriva sur les nouvelles Dedibox!

Me voilà donc parti pour plusieurs jours de galère pour essayer de migrer mon ancienne configuration. Ayant réussi à démarrer sur un kernel Mandriva, voici la méthode que j’ai utilisée. Un grand merci à Antoine Ginies pour son aide.

Attention: réservé aux utilisateurs Linux avertis! Utilisez cette procédure à vos risques et périls!

1. Installer Fedora sur la nouvelle Dedibox
2. Passer la dedibox en système de secours grâce à la console de gestion noter l’identifiant (ID) le mot de passe et l’adresse (IP)
3. Utiliser le script suivant pour monter le disque dur et passer en chroot

   ssh ID@IP
   sudo mount /dev/sda1 /mnt/
   cd /mnt
   sudo mount -o bind /dev /mnt/dev
   sudo mount -t proc none /mnt/proc
   sudo chroot /mnt /bin/bash
   su - root

4. À partir d’une machine sous Mandriva transférer le système vers la nouvelle Dedibox:

   tar cf - bin/  boot/   etc/  home/  initrd/  lib/   media/  mnt/  opt/   root/  sbin/   tmp/  usr/  var/ | ssh ID@IP "dd of=/mnt/mandriva.tar"

5. Supprimer ensuite la Fedora pour la remplacer par la Mandriva (depuis le chroot de la nouvelle dedibox):

   rm -rf selinux/ bin/  boot/   etc/  home/  initrd/  lib/   media/  mnt/  opt/   root/  sbin/   tmp/  usr/  var/
   tar xf mandriva.tar

6. Voilà la partie la plus délicate: il s’agit de regénérer un initrd qui fonctionne sur la nouvelle dedibox. J’ai utilisé cette commande, mais cela peut varier selon le noyau que vous utilisez:

   mkinitrd --with=ext3 /boot/initrd-2.6.29.2-tmb-server-3mdv.img 2.6.29.2-tmb-server-3mdv

7. S’assurer que /etc/lilo.conf est correctement configuré pour booter par défaut sur le initrd généré et le vmlinuz correspondant
8. lancer « lilo »
9. S’assurer que le module de la carte réseau est présent dans/etc/modprobe.conf:

   alias eth0 r8169

10. s’assurer que l’interface réseau est en DHCP (drakconnect)
11. repasser la dedibox en mode normal par la console de gestion et croiser les doigts

Bonne chance!

Receta para pan casero

¿Un pan con verdadero sabor a infancia, que se conserva por màs de 12 horas, que de buen olor a toda la casa?

¡Es posible!

Los Ingredientes

• Levadura Fresca [1] (20g)
• Harina (500g) (Puede ser cualquier tipo de harina o mezclas: blanca, negra, con semillas…)
• Agua tibia
• Sal (una cucharita rebosante)
• Aceite de Oliva (algunas cucharas, opcional)

La receta

1. Diluir la levadura con un poco de agua tibia, de harina, y una pizca de azúcar (opcional).
2. Dejar reposar la levadura en un lugar tibio hasta que haga burbujas.
3. Mezclar los ingredientes (harina(s), sal, levadura).
4. Ahora viene lo mas delicado en mi experiencia: se trata de añadir justo la cantidad de agua que haga falta, y no se puede saber de antemano porque depende mucho del tipo de harina. Lo que hago es añadir el agua tibia poco a poco mientras voy amasando la masa. Al final hay que tener mucho cuidado, esperando que el agua este bien incorporada antes de añadir más. Al final la masa debe ser bien blanda, pero no debe pegar a las manos. Si se pega añade harina.
5. Siga amasando la masa por lo menos 10 minutos, preferiblemente sin « romper » la masa. Lo que hago es « plegar » la masa de un lado y otro. Esta operación sirve para liberar un componente de la harina que va a dar consistencia al pan. Si no se deshace.
6. Separar la masa en varios trozos si quiere hacer panecillos en vez de un pan grande.
7. Haga una(s) bola(s) con la masa, coloque en un (o varios) recipiente grande y cubrir con un paño húmedo, dejar reposar… algunas horas, hasta que haya duplicado el volumen. Va mas rápido si hace calor (>25°C)
8. Amasar suavemente la masa (sin cortarla) sólo para suprimir las burbujas de aire que se formaron adentro.
9. Formar el pan, si la masa es lo suficiente firme no se necesita molde, sobre una placa para el horno
10. Dejar leudar por última vez el pan, en atmósfera húmeda y tibia. Lo que hago es ponerlo todo ya dentro del horno, con un recipiente pequeño con agua hirviendo. El pan debe crecer de manera significativa, aproximadamente 3 veces su volumen. Cuidado de no esperar demasiado, sino la levadura se muere, huele malo, y el pan cae.
11. hacer unos cortes en el pan
12. Cocinar a temperatura alta (210°C) hasta que esté bien dorado. El tiempo y la temperatura dependen del horno y del peso de cada pan.
13. Dejar enfriar antes de comer aunque huela demasiado bueno 😉

Como se da cuenta, muchos parametros no se pueden controlar. Se trata mucho de practica. Me llevó muchos años poder lograr pan bueno, de manera consistente… ¡Pero vale la pena!

Buen Provecho.

[1] En vez de lavadura, yo uso levadura madre casera. Es mucho mejor (para mi gusto) y barata que levadura industrial. Para el modo de preparacion vea http://www.gebirg.com/Panaderia/PREPARACION%20DE%20MASA%20MADRE.htm En este caso se usa màs (como dos cucharas grandes) y no se necesita diluir, se agrega a la harina directamente.

XSL Customizations Easy at Last?

From Word Processing to XML Writing

Editing XML for writing technical documentation has become easier recently thanks to efficient WYSIWYM (What You See is What You Mean) editors like XXE, XMLSpy, Serna, etc.

This has allowed the diffusion of XML writing to non XML savvy populations, that were glad to get away from word processor limitations and headaches. The problem came at publication time.

It is sometimes difficult to introduce the notion of « styles » in a word processor, so explaining people they have to learn XSLT and XSL-FO, plus manually edit the XSL by hand… go figure.

How to Control Presentation

Some (proprietary) tools provide helpers:

• Oxygen for example presents the list of parameters so that modifying a customization layer (DocBook for example) is easier. However all parameters are listed in no order and no check is made on parameter value.
• Arbortext provides a word processor like interface allowing to precisely control of the rendering of each XML element.

Otherwise you are doomed to learn XSL, XSL-FO, plus the documentation for each of the XML languages customizations layer you indent to use.

Towards a Standard Way of Writing Customizations Layers

I believe that, if we have a standard and structured way of writing a customization layer and its documentation, it would be easy to have tools able to:

1. parse the customization layer structure and elements
2. build a graphical interface based on this information
3. guide the user in defining the parameters
4. generate a customization layer containing the user defined data

Customization Element Types

There are probably not much element types:

1. Specific parameters, whose value is constrained by a specific type (Boolean, numeric, choice list, etc.)
2. Specific XSL-FO attributes for:

• page sequence masters
• blocks (attribute-set)
• inline

The idea is not to allow the user to define all possible rendering variable, but provide him with a structured, documented, set of parameters so he can easily make changes on the parameters defined in the « meta »-customization layer.

In Practice

2 possible implementations occur to me:

1. Meta Customization: use a meta-customization XML vocabulary for defining parameters, organizing them in sections, setting the type, the possible values, etc. So that an application can parse it, build a graphical interface, generate XSL code.
2. Add the required information for each parameter in a different namespace so the stylesheet itself can be used by the XSLT processor, and at the same time be parsed and modified by the graphical interface.

Conclusion

With such a standard, every tool that supports it would be able to show its users a nice way of customizing the transformation of all the vocabularies that would provide compatible customization layers (DocBook, DITA, TEI, …).

I am convinced it would make the life of many users easier, and many experts too 🙂

WebDAV mounting under Linux

There is a tool that allows to locally mount remote DAV repositories under Linux, so it appears in the local directory tree. http://dav.sourceforge.net/

I had a really hard time trying to sort out how to make it work, given the scarce information, somethimes in contradiction with the actual system behavior. So this is a minimalistic procedure to get it running.

Note: This was on Mandriva Linux 2007. Our tutorial is aimed at mounting WebDAV URL https://dav.test.com/share/ by a simple user (« username ») so that he can actually upload files on server.

In procedures below we use # to note commands to be run as root and $ for UserName’s commands.

Preparation

1. Install davfs2 package
2. # modprobe coda

Test root mounting

1. # mkdir /mnt/DAV
2. # mount.davfs2 https://dav.test.com/share/ /mnt/DAV
3. You should now be able to browse the /mnt/DAV and alter files in there. If not verify your server configuration.
4. # umount /mnt/DAV

Important: There must be no « / » at end of URL. Note that if you use an alias on the http server for this WebDAV repository, it must not have an ending « / » on the server configuration file….
Allow users to mount the repository

1. Add username to the users group, and relog it if needed
2. $ mkdir ~/.davfs2/ ~/mnt/DAV/
3. # cp /etc/davfs2/secrets ~username/.davfs2/
4. # chown username: ~username/.davfs2/secrets
5. Add the credentials to ~username/.davfs2/secrets following comments in there:
   https://dav.test.com/share username SeCret
6. As root add the following line in /etc/fstab:
   https://dav.test.com/share /home/username/mnt/DAV/ davfs2 user,noauto 0 0

That done, UserName should be able to mount the repository using:

mount /home/username/mnt/DAV/

Automating Flickr upload

More automating 🙂

I was fed up by having to resize and then manually upload all images to flickr web interface by hand…

So I wrote the little script below, that calls the JFlickrUploader http://sourceforge.net/projects/jflickruploader

That script transforms images found in current dir! (use copies!):

flickrize.sh -family

by default images are reduced to 800×800.

#!/bin/bash

# http://sourceforge.net/projects/jflickruploader
JFU=/usr/local/bin/jflickruploader-1.0-rc3/JFlickrUploader
max_size=800x800
echo "Resizing images to $max_size maximum...."
files=$(find . -maxdepth 1 -type f |grep -Ei 'jpg$|jpeg$|gif$|png$' |sort -r)
for i in $files; do echo $i; mogrify -geometry $max_size "$i";done
$JFU $* -files $files

Note that first time the script is used you’ll have to register the uploading tool to flickr. Follow instructions.

Enjoy!

Black & White Photography?

Modern cameras allow to take B&W pictures, but the pity is that you lose the opportunity to have the color one, unless you save as RAW as well.

Furthermore quality is not excellent in JPEG format.

However converting from color to B&W is not simple as this article explains.

Wildman found a very nice way to achieve excellent B&W pictures from raw ppm files:

convert inputColor.ppm -fx ‘(u.g*0.66+u.r*0.33+u.b*0.01)’ outputBW.tif

Ergonomy vs. features?

The endless dilema.

Though I am convinced it is possible to achieve highly complex actions through very little effort.

The problem rose again when I had to convince a newbie it was actually easy to use the photos out of my new dSLR camera. Generally the process to extract photos through a dedicated interface is long and tedious. However it is possible to achieve all that efficiently in a single click.

Look at the code below. Thanks to that I can:

1. download photos from camera and sort them by date of day in folders
2. remove possible duplicates if I did not erase camera images since last download
3. convert RAW images to a usable format

All this in one single click!

#!/bin/bash

# Change this to where to store Photos
target=/home/multimedia/Images
camera= »USB PTP Class Camera »
date=$(date –iso-8601)
mkdir -p $target/$date/tmp
cd $target/$date/tmp
# Get all photos from camera
gphoto2 –quiet –camera $camera –port usb: -P
# Do not replace photos that were already uploaded this same day
cp -u $target/$date/tmp/* $target/$date
rm -rf $target/$date/tmp
cd $target/$date
# auto-rotate using exif info
exifautotran *.JPG
# If photos were not erased from camera since last upload, remove duplicates
for i in *.{JPG,CR2}; do
for f in $(find $target -name $i ! -samefile $target/$date/$i); do
if md5sum $f | sed -e « s, .*/, , » | md5sum –check; then
rm -f $i;
fi
done
done
# decode RAW images if not already done ?
# for i in *.CR2; do if [ ! -e $(basename $i .CR2).ppm ]; then dcraw -w $i; fi; done
# Show them!
gimv -d $target/$date