Bonsoir à tous, aujourd'hui nous avons subit un lourd incident entrainant
plusieurs indisponibilité répété du service réseau sur LC1.

Dans les jours qui viennent une explication complète sera communiquée, mais en
attendant le problème n'est pas encore fixé même si le service est pour
l'instant rétabli pour plus de 95% des clients.

Pour faire simple, pour comprendre le site LC1 tel qu'il est aujourd'hui :

- La plateforme de routage bgp est actuellement à marseille (mais dans les 3
prochains mois, des opérateurs dont sfr seront présent directement sur le site
sans avoir à emprunter les fibres La Ciotat / Marseille)

- Les serveurs sont hébergés dans un datacenter tier 4 sur le site de La
Ciotat connectés à des commutateurs réseau de niveau 2.

Dans les Datacenter modernes, l'ensemble des connexions entre acteurs et
opérateurs de ce même Datacenter se passe dans une salle appelée la meetmeroom
: l'opérateur local, ici le Datacenter, concentre toutes les connexions
réseaux des opérateurs et hébergeurs présents sur le site.

Le problème qui à affecté une partie de notre réseau ce jour concerne justement
le réseau situé entre nos commutateurs niveau 2 et la meetmerrom du
Datacenter.

Subitement courant de la journée, nous constatons que le port principal
d'interconnexion à la meetmeroom est down : pas de panique, les équipements
switchent alors sur le port de secours, ce qui se fait généralement de manière
quasi transparente.

Au bout de quelques minutes, même problème : les ports sont physiquement
éteints : Nous vérifions nos équipements réseau : tout fonctionne bien en
interne. Nous nous rapprochons alors de l'opérateur local.

Les câbles sont mis en doute, ainsi un nouveau câble est tiré de toute urgence
et cela fonctionne à nouveau. 1H00 après, même problème à nouveau.

Le problème vient à priori d'un bug affectant les cisco 6509 utilisés en
meetmeroom : après avoir reçu un signal bien particulier, le port se met en
erreur et aucun moyen de le remonter, d'après Cisco la seule solution consiste
à rebooter le module ou à changer l'équipement... Seul problème : le symtome
est le même sur le cisco de spare.

Les derniers tests laissent penser qu'il pourrait y avoir un problème de
compatibilité entre le système de flow control des cisco, utilisés pour
"lisser" le trafic des baies ISCSI et les commutateurs layer2 que nous
utilisons entrainant un plantage des cisco du Datacenter (tandis que nos
switchs continuent de fonctionner normalement).

Le service a été rétabli mais le problème n'est pas encore fixé, et nous
travaillons avec le Datacenter afin de trouver une issue rapide et définitive à
ce problème. Si ce problème devait persister et/ou se renouveler, nous avons
décidé d'éliminer le problème en supprimant le dialogue de type layer 2 avec
l'opérateur local en rajoutant des équipements de routage directement sur ce
site.

Nous attendons plus d'information des différents acteurs impliqués (Cisco,
Datacenter & Opérateur) afin de prendre la meilleure décision qui nous
permettra de préserver l'indépendance et la sécurité de notre système
d'information.

Plus d'information dans les prochains jours ou les prochaines heures.