Karlesnine.com - Commentaires

Sauvegarder ces bases de données Mysql sur un espace Amazon S3 - karles

karles — Tue, 09 Mar 2010 17:41:12 +0100

Ratatouille

Oui je comprend l'idée, mais c'est une solution qui n'est pas applicable avec 80 serveurs :)

Sauvegarder ces bases de données Mysql sur un espace Amazon S3 - ratatouille

ratatouille — Mon, 08 Mar 2010 18:14:49 +0100

ok pour gmail, si t'as un bout de script pour envoyer le mail + pièce jointe, n'hésite pas à le publier.

Sinon pour EC2 au dela de la base de données, je pensais vraiment à l'intégralité d'un site web, donc en gros allumer le serveur pour faire un rsync de tous les fichiers du site, éventuellement aussi quelques fichiers de config... puis l'éteindre une fois que tout est à jour.
Sinon oui en cas de gros pépin il faudra changer le dns.

J'utilise déjà cette solution par exemple avec un pc qui tourne 24/24 chez moi (chaque nuit un rsync des fichiers web, bases de donnéees, ...), ça me permet d'avoir une dupli fonctionnelle intégrale de mon site. Par contre en cas de crash de mon serveur principal, si je bascule le DNS vers ma freebox, elle va avoir du mal à fournir la bande passante nécessaire au site. Par contre une instance chez Amazon oui, d'où cette idée.

Sauvegarder ces bases de données Mysql sur un espace Amazon S3 - karles

karles — Mon, 08 Mar 2010 17:25:34 +0100

Bonjour ratatouille

L'option Gmail est parfaitement possible, je l'ai utilisé pour ce blog pendant longtemps d'ailleurs. Reste que c'est solution bidouille peu utilisable en entreprise.

Ton idée d'avoir un serveur de backup sur amazon est bonne. Mais tu manque d'expérience. Tu peux écrire sur une bucket S3 dans passer par une instance amazon. Tu peux sauvegarder ton instance dans une image système appelé ami. En conséquence pas besoin de lancer cette instance régulièrement.

Reste que tu devra jongler avec tes DNS.

Sauvegarder ces bases de données Mysql sur un espace Amazon S3 - ratatouille

ratatouille — Mon, 08 Mar 2010 16:12:07 +0100

Merci pour ces infos, c'est très futé d'utiliser s3 pour ce genre de choses.

Du coup ça m'évoque 2 autres idées :
- pour des bases pas trop grosses, pourquoi ne pas utiliser gmail (email avec pièce jointe), c'est gratuit. Je crois que c'est 25 mo le maxi, donc zippé on doit pouvoir mettre une base de taille correcte (pas un gros site de e-commerce on est d'accord).

- essayer de "scripter" un serveur de backup chez Amazon (EC2) sur le principe suivant :
1/ On démarre l'instance amazon
2/ on lance ses scripts de backup/ synchro & co vers amazon
3/ on arrête l'instance amazon,
4/ si besoin (je n'ai pas trop d'expérience) éventuellement après avoir arrêté l'instance, faire un snapshot et le stocker sur s3

L'idée c'est d'avoir le serveur amazon prêt à démarrer (il ne coûte que s'il tourne) mais allumé le moins de temps possible tant qu'on n'en a pas besoin.

Aucune idée de comment faire par contre

MySQL Innodb nouvelle notes de configuration et d'optimisation - Gui

Gui — Wed, 24 Feb 2010 15:34:31 +0100

J'ai pris une version 5.1.43 de MySQL comme référence. version amd64 de Dotdeb.

L'instance, c'est une c1.xlarge donc 7Go de RAM, 20 unités CPU EC2, et de bonnes I/O. Je n'ai pas du tout optimisé la configuration pour tirer au maximum parti de la machine, notamment la RAM. Le query_cache et le buffer_pool ne sont pas correctement exploités.

Le gain est certes impressionnant, juste avec un point de configuration, mais il y a encore moyen de gagner des perfs.

Je suis disponible pour vous faire une petite mission de conseil, si vous voulez :-p En attendant, je pousse un peu plus loin mes benchs.

Comment convertir une chaine en majuscule ou minuscule avec bash? - karles

karles — Mon, 22 Feb 2010 18:05:41 +0100

Raaa Sylvain, genial, un binaire de moins , des i/o disque en moins

Comment convertir une chaine en majuscule ou minuscule avec bash? - Sylvain

Sylvain — Mon, 22 Feb 2010 18:03:33 +0100

Y'a mieux :

min -> maj
$ a=toto
$ echo ${a^^*}

maj -> min
$ a=TOTO
$ echo${a,,*}

Comment convertir une chaine en majuscule ou minuscule avec bash? - karles

karles — Mon, 22 Feb 2010 13:37:35 +0100

oups un pb de mise en page JB. Voila qui est corrigé.

Comment convertir une chaine en majuscule ou minuscule avec bash? - JB

JB — Mon, 22 Feb 2010 13:23:15 +0100

Je pense que des crochets manquent dans le code.

Personnellement j'avais pris l'habitude de faire plutôt : tr 'a-z' 'A-Z' ; y a-t-il une différence ? (apparemment que ce soit l'une ou l'autre méthode les lettres accentuées ne sont pas traitées)

MySQL Innodb nouvelle notes de configuration et d'optimisation - karles

karles — Mon, 22 Feb 2010 11:32:47 +0100

Impressionnant Gui. Des info sur la plateforme svp ? T'a compilé Mysql ?

MySQL Innodb nouvelle notes de configuration et d'optimisation - Gui

Gui — Fri, 19 Feb 2010 01:11:36 +0100

Démonstration de mes précédents propos : comparaison tpc-c entre la version embarquée de InnoDB et le plugin InnoDB sur une instance Amazon c1.xlarge et du MySQL 5.1.43. Pas de tuning particulier, donc il y a encore à gagner...

http://twitpic.com/140sy9

en abscisses, le temps : 20 minutes de mesure avec 10 minutes de chauffe
en ordonnées, le nombre de transactions

+100% !!!

MySQL Innodb nouvelle notes de configuration et d'optimisation - Olivier

Olivier — Thu, 18 Feb 2010 23:49:24 +0100

Et les visiteurs de ton blog, ils ne comptent pas ? ;)

MySQL Innodb nouvelle notes de configuration et d'optimisation - karles

karles — Thu, 18 Feb 2010 14:09:21 +0100

Olivierje paye pas ma tourné j'ai rendez vous avec un ancien padawan et j'invite un ancien fournisseur...nuance :p

MySQL Innodb notes de configuration et d'optimisation - Olivier

Olivier — Wed, 17 Feb 2010 21:31:22 +0100

@ratatouille : je n'ai jamais eu de problème entre MySQL et PHP, tout en UTF-8.
Dans ton code PHP, fais :
echo ini_get('default_charset');echo mb_regex_encoding();echo mb_internal_encoding();
Si tout est bien configuré, les trois doivent te renvoyer UTF-8.
À part ça, il faut absolument que tes sources soient encodées en UTF-8, sinon tu auras des problèmes...
Tes pages html doivent aussi contenir : <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> ou l'équivalent dans l'en-tête envoyée par le serveur, mais je préfère que ça soit dans la page (tu peux faire les deux : dans la page et dans l'en-tête).

Si tu as encore des problèmes, je peux surement t'aider. Si tu utilises eclipse, cvs, svn,... méfis-toi qu'il ne te mettent pas du windows-1252 de partout : il y a pleins de paramètres planqués de tous les côtés.

Avant, où je bossais, on me faisait coder en java et les gros c*** me faisaient ch*** à mettre leur base en latin1, c'était l'enfer, yavait toujours pleins de problèmes de partout. J'avais même dû internationaliser un site et on avais dû laisser tomber pleins de langues à cause de la base de données foireuse. À chaque nouveau projet, je leur disais de me faire une base en utf-8, mais à chaque fois ils recommençaient à faire n'importe quoi... c'est bien beau de se dire dba oracle, mais quand on ne comprend même pas les histoires d'encoding, c'est pas la peine de bosser.

Maintenant je suis libre (démissionné :-P ) : c'est du bonheur en PHP5.3 et MySQL, tout en utf-8 :-)

MySQL Innodb nouvelle notes de configuration et d'optimisation - Olivier

Olivier — Wed, 17 Feb 2010 19:43:24 +0100

Merci karles pour ces astuces, si tu en as d'autres, n'hésites pas :)
Bon, comme tu payes ta tournée, je peux venir aussi ? Et si j'abuse pas trop, tu peux me payer le train ? Je n'habite pas à côté ;)

MySQL Innodb nouvelle notes de configuration et d'optimisation - karles

karles — Tue, 16 Feb 2010 16:33:19 +0100

Oui gui, 64bits obligatoire, j'abonde.

Mysql 5.1 ok, pour le reste je suis au fraise.

Pour la biere passe demain midi si tu veux, y'a Kathryl déjà qui s'invite.

MySQL Innodb nouvelle notes de configuration et d'optimisation - Gui

Gui — Tue, 16 Feb 2010 15:17:23 +0100

C'est sur des systèmes avec un noyau Linux 32bits qu'on ne peut pas allouer plus de 2Go par processus. Aucun souci avec du 64bits, et bien meilleures perfs.

Karles, si ça t'intéresse, j'ai pas mal d'optis InnoDB.

Déjà : 64 bits, MySQL 5.1, plugin InnoDB plutôt que la version built-in, compilation avec les atomiques gcc, utilisation de tcmalloc. C'est un minimum vital pour ne pas être à la ramasse.

Ensuite, pour tout le tuning InnoDB, il faudra me payer un café ou une bière :)

MySQL Innodb nouvelle notes de configuration et d'optimisation - karles

karles — Tue, 16 Feb 2010 12:36:26 +0100

Nicolas tu a raison, je viens de relire mes ~~notes~~ gribouille et de vérifier mes serveurs, j'ai fais une erreur de transcription au pire j'ai la variable vide donc avec le paramètre par défaut fdatasync. Je vois pas ou l'ai pris CODE_FS, une fuite mémoire sans doute.

MySQL Innodb nouvelle notes de configuration et d'optimisation - Nicolas Steinmetz

Nicolas Steinmetz — Tue, 16 Feb 2010 12:20:35 +0100

Hmm c'est louche quand je fais une recherche Google sur CODE_FS, j'ai rien du tout qui remonte hormis ton billet ;-)

Merci pour le retour d'XP sur innodb_buffer_pool_size :-)

MySQL Innodb notes de configuration et d'optimisation - karles

karles — Tue, 16 Feb 2010 11:12:15 +0100

Exactement Nicolas, innodb_file_per_table est contre productif quand il y à beaucoup d'inserts/deletes/updates selon ce billet de Umang Gopani.

En toute franchise je suis sur le cul :p