Commençons par la fin : tous nos services sont intégralement rétablis depuis ce matin 😅 !
Analysons ce qui s’est passé.
Il y a quelques semaines, en anticipation de la montée de charge qui nous attend cette saison (vous êtes de plus en plus nombreux à utiliser nos services, un grand merci !), nous avons fait évoluer notre infrastructure. Plus de serveurs, plus de capacité, plus de… bugs 😭
Attention, ça va être technique ! Certaines mises à jour ont entraîné une charge de plus en plus importante sur les disques durs. Au début c’était indétectable, et puis ça a fini par exploser d’un coup. Nos serveurs de bases de données ont passé petit à petit en mode lecture seule, ce qui a mené vers les lenteurs observées le 4 octobre vers 20h. Nos équipes se sont rapidement mobilisées, des correctifs ont été apportés, mais le cœur du problème n’était pas encore évident. Il a fallu mener notre enquête pour arriver au vrai problème, et pendant ce temps-là la situation n’arrêtait pas d’empirer.
Le 5 au matin, nous avons décidé d’arrêter complètement nos services pour remplacer correctement les versions de logiciels défaillantes.
L’opération a été très longue, car beaucoup de nos sous-systèmes étaient impactés. Nous avons passé près de 24h dessus, pour tout remettre sur pied et tout relancer ce matin vers 9h. Ouf ! C’était l’occasion de tester nos sauvegardes, mais on s’en serait bien passés 😅 !
Nous avons fait vraiment de notre mieux pour nous assurer qu’aucune donnée n’a été perdue suite à cet épisode. Merci beaucoup pour tous les messages de soutien que nous avons reçus depuis hier, ça nous a donné beaucoup de courage ! Il se peut que certains réglages dans vos galeries ou projets photos aient été perdus entre 20h et 23h, désolés par avance s’il y en a parmi vous qui sont concernés, contactez-nous sur contact@lumys.photo pour que nous puissions trouver une solution. Nous allons prolonger d’une semaine tous les abonnements mensuels ou annuels, que vous ayez été impactés ou non.
Bon, faut toujours essayer de trouver du positif, n’est-ce pas ? Voici ce qu’il ressort de tout ça :
- nos sauvegardes fonctionnent… 😒
- on saura vous communiquer les choses encore plus vite la prochaine fois
- on en a profité pour améliorer plein de choses, les deux services sont plus rapides qu’avant, et notamment les uploads de photos 🚀 !
En tout cas, on vous confirme que la saison des photos est bel et bien là, on vous souhaite de faire les plus belles photos !
Daniel Luedemann
Directeur Général & CTO
