Partage Type SAN avec ATA Over Ethernet
AoE Serveur
Configuration du serveur de fichier faisant office de SAN.
Vérification si le kernel à bien été configuré avec option AoE, vérifier sa présence dans le ficher .config
host:/# grep ATA_OVER /boot/config-`uname -r` CONFIG_ATA_OVER_ETH=m
Pour l’activé à la compilation
Device Drivers --> |- Block Devices ---> |- <m> ATA over Ethernet support
Si l’option est présente chargé le module
modprobe aoe
Vérifier dans les logs
grep aoe /var/log/syslog Jul 7 16:31:12 Nada kernel: aoe: aoe_init: AoE v22 initialised. Jul 7 16:59:57 Nada kernel: aoe: aoe_init: AoE v22 initialised.
Installation des outils serveur
apt-get install vblade
Pour exporter /dev/sdb1
vbladed 0 1 eth1 /dev/sdb1
Chaque périphérique AoE device est identifier par une couple numérique Majeur / Mineur. Le majeur est dans la plage 0-65535 et le mineur dans la plage 0-255. Dans l’exemple du dessus nous avons
* Majeur O * Mineur 1 * Via l'interface eth1 * Le partition physique /dev/sdb1
Vérification
ps -ax [...] 1316 tty1 S 0:00 sh -c /usr/sbin/vblade 0 1 eth1 /dev/sdb1 < /dev/null 2>&1 | logger -t vbladed 1318 tty1 S 0:00 /usr/sbin/vblade 0 1 eth1 /dev/sdb1 1319 tty1 S 0:00 logger -t vbladed [...]
Pour qu’il soit lancer au démarrage du serveur, a défaut de faire une script dans /etc/init.d/ on le colle dans /etc/inittab
echo "e0:1:respawn:/usr/sbin/vblade 0 1 eth1 /dev/sdb1" >> /etc/inittab init q
Installer OCFS2
Installer les outils sur les serveurs du node cluster, c.a.d les deux machines hôte xen dom0. Ils ne sont pas nécessaire sur le serveur offrant la ressource disque.
apt-get install ocfs2-tools
Sur chaque serveur du mode cluster configuré OCFS2 via le fichier /etc/ocfs2/cluster.conf. Dans exemple l’exemple suivant nous avons deux nœuds (Bella et Brutus ) et l’espace disque est nommé oscf2.
node: ip_port = 7777 ip_address = 192.168.0.10 number = 0 name = Bella cluster = ocfs2 node: ip_port = 7777 ip_address = 192.168.0.11 number = 1 name = Brutus cluster = ocfs2 cluster: node_count = 2 name = ocfs2
Recopie de /etc/ocfs2/cluster.conf vers les autres noeuds et configurer le démarrage de ocfs2 dans le fichier /etc/default/o2cb
vi /etc/default/o2cb # O2CB_ENABLED: 'true' means to load the driver on boot. O2CB_ENABLED=true
Lancer de démon ocfs2
/etc/init.d/o2cb start
Vérifier le fonctionnement du démon
/etc/init.d/o2cb status !!!!Configuration de AoE Client Configuration des deux __machines hôtes xen Dom0__ client du serveur de fichier faisant office de __SAN__. Installation des outils client ///[bash] apt-get install aoetools
Si vous n’utiliser par udev il est possible que les node dans /dev ne soit pas créé automatiquement. Pour forcer cela la commande suivante exite
aoe-mkdevs /dev/etherd
Maintenant écoutons le réseau pour découvrir les volumes disponible
client:/# aoe-discover
Affichons ce qui a été découvert
client:/# aoe-stat e0.1 1.048GB eth1 up
Il est maintenant possible d’utiliser ce périphérique
Utiliser le périphérique
Le formater la partition cluster en OCFS2
mkfs -t ocfs2 -L DATA /dev/etherd/e0.1
Le monter et l’utiliser
mount -t ocfs2 /dev/etherd/e0.1 /home
Attention, le serveur de fichier faisant office de SAN, donc serveur AoE, ne peux pas être client de lui même.
machines virtuel xen
Il ne vous reste plus qu’a installer et lancer depuis une des machines hôtes des machines virtuel xen sur des disque virtuel dans un fichier image. Disque virtuel eux même stocker sur la partition présenté en AoE et partager en cluster OCFS2.
Xen relocation
Pour faire de la réallocation de machine virtuel du machine hôte (dom0) à une autre il faut monté la même ressource AoE sur chacune des machines hôte sur le même point de montage. Dans mon exemple machine hôte à la partition AoE/OCFS2 monté dans /home. Cette partition n’a été formaté qu’une fois depuis l’une des deux machines hôtes.
xend-config.sxp
Pour activé la possibilité de réallocation entre machine hôte xen voici les différente option activé dans les /etc/xen/xend-config.sxp des deux serveur.
Sur Bella, j’active la réallocation et j’autorise Brutus à envoyé des VM
(xend-relocation-server yes) (xend-relocation-port 8002) (xend-relocation-address '192.168.0.10') (xend-relocation-hosts-allow '') (network-script 'bella-network-bridge') (vif-script vif-bridge) (dom0-min-mem 196) (dom0-cpus 0) (vncpasswd '')
Sur Brutus, j’active la réallocation et j’autorise Bella à envoyé des VM
(xend-relocation-server yes) (xend-relocation-port 8002) (xend-relocation-address '192.168.0.11') (xend-relocation-hosts-allow '') (network-script 'brutus-network-bridge') (vif-script vif-bridge) (dom0-min-mem 196) (dom0-cpus 0) (vncpasswd '') xm migrate
Depuis la machine hôte (dom0) hébergeant vos machines virtuel xen pour déplacer une VM à chaud il suffit d’utiliser la commande suivante
Depuis Bella
xm migrate --live VM-test Brutus