Archives pour l'étiquette Squid

Voici.fr et Gala.Fr utilisant eZ Publish ont survécu à la mort de Michael Jackson

La mort de Michael Jackson submerge Internet

La mort de Michael Jackson à enflammé le web mondial au point que certains services et sites ont eu du mal à soutenir l’audience comme le rapporte TF1, Le Parisien ou encore Le monde Informatique.

Même pas mal !

A force d’un travail constant de recherche de performance tant par la remonté d’information, de log et de question aux développeurs que par l’étude de configuration fine des reverse proxy squid, des apaches et des mysql nous avons encaissé la vague médiatique de la mort de Michael Jackson

Les records d’audience avec eZ publish

Je vous parlais récemment du score fait par un de nos sites en eZ 4. Or ce site est hébergé sur une plate-forme d’hébergement mutualisée de notre conception (ou presque). Ce jour de score la plate-forme entière à également battue son record : lundi 22/06/2009 1 397 524 pages vues

Depuis avec la mort de Michael Jackson nous avons eu deux nouveaux record d’audience sur la même plate-forme. le vendredi 26/06/2009 avec 1 623 589 de pages vue et le lundi 29/06/2009 avec 1 829 122 de pages vues.

Attention, je parle bien de pages vue pour l’ensemble de la plate-forme qui accueil en toute et pour tout 3 sites eZ 3.x, 3 sites eZ 4.x et une poignet de blog WP. Certains sites font 2K page vues en 24h d’autre 600K. Seul deux de ces sites on connue le pic d’audience généré par la mort de Michael Jackson.

Tenir cette charge avec eZ

Même pas mal. Cette audience est événementielle et s’applique sur un nombre de page / article réduit ce qui ne consomme pas des ressources sur l’intégralité de la plate-forme. Les pages en question n’ont pas à être fréquemment calculé par eZ car elle ne change pas beaucoup. De ce fait les frontaux et base de donnée sont sollicité mais pas de façon proportionnel à la monté de l’audience. Par contre les reverse proxy sont eux très fortement sollicité pour distribué massivement les quelques pages demandées (60 Mb/s en sortie). La configuration des trois serveurs squid en mode reverse proxy à été essentiel. L’infrastructure réseau doit être capable d’accepter un grand nombre de connexion tcp (je pense au routeur et répartiteur de charge). Dans un cas la bande passante est passé de 68Mb/s à 170Mb/s en cinq petites minutes avec l’effet slash dot de google actu et yahoo actu !

170MbsDeBP.jpg

PageVuePlateForme.jpg

SlashDotAvecYahooActu.jpg

Voici.fr : Voila un score

Et hop 650 000 pages vue en 24h hier pour le site people. Ceci avec un maximum de 350 requètes seconde sur les trois reverse proxy squid. Ces trois squid étant load balancé tout simplement par LVS. La particularité de pool de reverse proxy squid est dans la configuration. Avant toute interrogation des frontaux ils s’échangent entre eux les pages dont le temps de vie du cache n’est pas écoulé. Et si aucun n’a la pages en cache, un seul d’entre eux vient interroger les frontaux avant de mettre ces congénères à jour. Je ne cache pas qu’il a été nécessaire de modéliser cette architecture à l’échelle 1 avec des instances virtuel xen pour trouver le bon réglage.

Derrière les reverse proxy cinq serveurs apache 1.3 constituent le pool de production php5 et hébergent les instances eZ 4.x. La répartitions entre les frontaux ce faisant pas round robin, le plus faible (Xeon E5310 à 1.60GHz) est monté à 25% d’utilisation de cpu alors que le plus puissant ( Xeon X5355 à 2.66GHz) et monté lui à 15%. Les instances eZ sont en eZFS avec un montage NFS sur un FAS 3070.

Oui avec le 3070 on atteins l’étage lourde de l’architecture. Jusqu’a cette étage les logiciels libres dominaient et assuraient le charge de travail avec une poignée de multi-core et deux brouettes de Ram. Là, obligation de passer par du lourd en effet.