Archives pour la catégorie Actu Pro

Aperotech Oxalide : Dev/Ops

J’ai participé le 8 octobre à un Apérotech Oxalide sur le thème : Culture DevOps et retours d’expérience.

Un chouette moment dans un cadre sympathique ou j’ai partagé mon expérience chez Mondadori au coté de personne du Monde, de Ekino et de Sagem. Voici la bande annonce de Oxalide pour promouvoir ces rencontres.

Vous trouverez un compte rendu de nos témoignage complet chez Oxalide . Vous y trouvez également des enregistrements sonores montés de façon à pouvoir accéder séparément à chaque question de l’animateur et aux réponses formulées.

Je vous livre ici la sélection de mes propos faite par Oxalide érigé ici en aphorismes :

  • « Chez Mondadori, DevOps participe à la vélocité de mise en production des sites du groupe.»
  • « Nous sommes ainsi en mesure de répondre aux nouvelles idées lancées par les métiers le plus vite possible et actualiser nos sites web en continu.»
  • « La culture DevOps hérite de celle du logiciel libre.»
  • « DevOps, c’est ainsi beaucoup de générosité, de solidarité et d’empathie, autant de qualités propres aux communautés de l’open source. Ces traits culturels sont essentiels dans le décloisonnement des Devs et des Ops, ils vont faciliter le partage du premier objectif commun à atteindre : satisfaire le business.»
  • « Nos Devs étaient un peu rétifs au début. Je me suis alors mis à côté d’eux avec mon portable, et j’ai créé un outil de déploiement maison qui répond à leurs attentes. C’est devenu un outil emblématique de l’équipe IT. Nous utilisons aussi l’outil de monitoring Zabbix qui permet de superviser tout type d’indicateur, et de produire des tableaux de bord.»
  • « Tous sont équipés d’ordinateurs portables et donc pas figés à leur bureau, les Devs et les Ops se réunissent autour de ces dashboards en cas d’incident pour en comprendre l’origine. C’est un bon moyen de faire collaborer ces deux populations. »

Je pense sincèrement que l’approche Dev / Ops est l’enfant de la culture open source. Ce n’est pas une création managérial ou une méthode organisationnelle créé ex nihilo par un manager mais une émanation conjointe de Développeur et d’Administrateur Système reconnaissant réciproquement leurs compétences. Et dans la culture du logiciel libre on ouvre toujours la porte à la compétence, mais si elle vous fait sentir moins bon ou du moins non compétent.

Note: Je n’ai aucun contact professionnel avec Oxalide, je ne suis ni client, ni fournisseur. Mon frère travail pour eux mais je ne suis pas encore sur que cela soit à leur bénéfice ^_^

Closermag, Nabilla et cache http

Le vendredi 7 novembre 2014 du fait de l’actualité people autour de la starlette Nabilla la plateforme hébergent le site Closermag.fr que j’administre enregistre +63% de requête supplémentaire. Je parle bien de requête http et non pas de visiteur unique qui est une donnée commercial qui ne représente en rien l’effort de production. Quand au page vue … elles sont constituées de plusieurs requête http d’un nombre variable, donc je n’utilise pas non plus cette mesure.

Il en ressort que le cache http est correctement configuré couplé avec l’utilisation de varnish  est une solution puissante pour absorber les pics d’audiences

Le challenge est la gestion des images. La photo à une part importante dans la mise en page et la ligne éditorial de closermag.fr . En conséquence les images sont nombreuses et de taille importantes. Différent choix ont été fait :

  • Isoler leur distribution dans un silo dédié basé sur varnish en frontend et nginx en backend. Le varnish bien que disposant d’un cache mémoire important de 8Go ne peux contenir l’intégralité des images, en conséquence avec nginx nous assurons son alimentation de façon performante.
  •  Les images de design du site on une durée de validité pour mise en cache d’une journée et celle d’illustration d’une année. Nginx ajoute des entêtes d’instruction du cache http.
  • Nous avons en outre fait le choix d’utiliser de multiple sous domaine afin de paralléliser les appels au maximum et de contourner les limites de certains navigateurs
  • Les images sont traitées afin d’en limiter le poids par la suppression des données Exif . Dans le processus d’alimentation en photos de Closermag l’utilisation de nombreux logiciel avait tendance à hypertrophier le volume de ces données.

Le 7 novembre 2014 un unique serveur varnish a assuré :

  • Un taux de réponse de 95% avec son cache, donc seul 5% des requêtes on du être demandé au backend ngnix.
  • Le pic de bande passante  de 149,91 Mb/s.
  • La réponse à une moyenne de 2660 req/s

CaliOpen : un projet d’interêt publique à suivre

Un projet de messagerie respectueux de la vie privée des utilisateurs et étendu aux emails, SMS, à l’IRC, aux messages privés de Twitter,  au WebRTC.

Un logiciel libre, que n’importe quel administrateur système puisse installer aussi facilement que wordpress.

CaliOpen Capture écran
CaliOpen

Avec le soutiens de Gandi et de la quadrature du net

Le projet avance sur GitHub et la FAQ vient d’être mise en ligne en plusieurs langues . En outre une maquette est déjà visible.

La quadrature du Net

Site web média et presse : Le stockage et l’espace disque

Question matutinal

Si je reformule les deux interrogations  du matin je poserais la question suivante : Quel est l’impact financier le plus important du stockage (news et archive) pour un site web de presse ou média. Est-ce l’espace disque pour le stockage lui même ou la bande passante pour exploiter ce qui à été stocké ?

Je n’ai pas le temps ni l’envie de faire des statistiques, des benchmarck ou de compiler des données. Je vais donc donner mon humble avis en me basant sur mes souvenirs de Prisma-Presse, sur mon actualité chez Mondadori et plus largement sur mon expérience.

L’espace disque

L’espace disque brut en 2014 n’est plus un problème. Je parle bien d’espace disque brut, c’est à dire le disque lui même et pas forcément les moyens de l’exploiter.

Sur Amazon Web Service, qui de par sa position de leader donne la température, 13To de disque magnétique de performance moyen coût légèrement moins de 800$ HT par mois. Chez OVH, leader en France, un NAS incluant les moyens de partager l’espace disque et de l’administrer (cif / nfs / etc) c’est 1000€ HT par mois

13To c’est à peu moins d’un tiers de l’espace disque total nécessaire à un groupe presse de la taille de Prisma Presse ou Mondadori pour faire fonctionner l’ensemble des services.

On vois que les coûts d’espace disque brut sans être négligeable ne sont pas insurmontable.

La bande passante

La bande passante en 2014 n’est pas un problème sauf ponctuellement et encore.

Si ont rependre comme référence Amazon Web Service , OVH ou d’autre (ikoula, Oxalid, iliad etc..) vous aurez à votre disposition des gros tuyaux capable de compenser le pire des complexes phalliques du plus minable des machistes. Bref de l’énorme.

Sur Amazon Web Service, sans optimisation des coûts, 10Go de transfert vers l’internet par jour vous coûtera  35$ par mois. C’est un peu près le volume de donnée pour trois sites web féminin majeur français (je ne cite personne)

Ponctuellement, un scoop, un buzz, un événement peux engendrer une surcharge à l’entré du tuyau :

  • Si vous êtes encore dans une infrastructure dédier et cantonné dans un data center en général la couche firewall et / ou répartiteur de charge est taillé pour assurer à 120 ou 130% de consommation courante.  Payé 30% de plus de capacité et ne pas l’utiliser 99% temps est, financièrement, une sécurité suffisamment coûteuse pour la plupart des dirigeants.  Donc, 24h ou 48h par ans, un scoop tombe et engendre un pic d’audience. Malgré le cache http et les CDN vous n’avez pas la qualité de service optimum et ça râle à l’édito. Vous rappeler le prix du service up a 100% quel que soit les conditions, tout le monde tousse et on passe à la question suivante.
  • Et encore si êtes dans un vrai cloud type IaaS (et pas juste de la virtualisation) vous avez la capacité d’être élastique, agile et réactif. Vous augmenterez votre capacité le temps de la tempête médiatique. Cela peux coûter un peu, mais cela dure juste le temps de la vague.

Il est ou le vrai coût du stockage ?

Le vrais coût du stockage est dans le stack applicatif utilisant le stockage, c.a.d votre site web.

Si votre développement ne sais que écrire ou lire dans un répertoire sans la moindre intelligence vous ne pourrez jamais tirer parti des systèmes de stockages qu’invente les acteurs de l’hébergement web, du cloud et des évolutions en général.

Une stack applicatif capable de changer de backend de storage pour passer d’un disque, à un NAS, puis à du AWS S3 cela a un coût bien supérieur au volume de disque ou à la BP brute. C’est du travail d’architecte web et de développeur, du jus de cerveaux qui à un coût. Soit ponctuellement par un grand big bang pour changer de paradigme de stockage, soit en continu.

Une stack applicatif applicative qui n’est pas économe des ressources de stockage. Qui ne prend pas en compte son propre auto-nettoyage. Qui ne vide pas automatiquement la poubelle, ne supprime pas les versions obsolètes. Un stack applicative de ce type va entasser. En dernier lieu plus personne ne maîtrise, personne ne veut prendre le risque de supprimer du contenu et c’est l’explosion du stockage.

Un autre partie, très souvent négligé, c’est les opérations d’exploitation et de sysadmin. Plus votre stockage augmentent et reste monolithique (cf: lire et écrire dans un répertoire)  plus sa manipulation  devient problématique. Déplacement, duplication, backup, restaurations, migration, synchronisation prendrons un temps précieux et tuerons toute réactivité.

La également votre  stack applicatif doit être capable d’adresser les objets stocker de façon répartie et modulaire (sharding, hachage, migration continue etc.), un peu sur disque et beaucoup dans le cloud. Et nous en revenons au jus de cerveaux et au code.

Le stockage ne coûte plus grand chose. Le tuyau de bande passante, moyen d’origine pour utiliser le stockage ne coûte pas non plus beaucoup. Mais le moyen d’utiliser les différents stockages, voir plusieurs en même temps; de passer de l’un l’autre, de façon répartie et modulaire repose sur le code de votre application. Et ça c’est du jus de cerveau qui à un prix.

Autant du stockage brut doit être considéré comme un coût. Un peu comme de l’essence pour une voiture. Autant la création d’une voiture capable d’utiliser indifféremment carburant est un investissement. Même chose pour vos applications.

PROPAGANDA : La Presse et le Native Advertising

Le business model de la presse, papier comme online, basé sur la publicité connais un nouvel avatar avec le Native Advertising. Seulement un tel type de publicité n’est pas sans poser des problèmes de déontologie puis d’audience une fois la crédibilité perdu. John Oliver illustre très bien la problématique avec humour

D’un point de vue citoyen quid de l’utilisation du Native Advertising par les groupes de pression et lobby afin d’influencer l’opinion ?

Le native advertising est à mettre en perspective avec l’utilisation de plus en plus massive d’AdBlocker par les internautes.