雲服務商 OVH因EMC VNX 5400 存儲子系統崩潰，5萬多個網站受到影響！

OVH Group近日披露，它在法國巴黎的其中一個存儲托架EMC VNX 5400無法啟動，結果影響了其眾多客戶，大約50000多個網站。

這家法國公司是規模最大的歐洲託管服務提供商之一，共有20個數據中心、100多萬個客戶和300萬個託管網站，遍布四大洲138個國家。2016/2017年收入將近4億歐元。這家公司剛融資4億歐元，以支持業務發展。

這家公司在官網上聲稱自己「確保旗下所有品牌為客戶提供穩定而可靠的產品和服務。」

這家託管服務公司聲稱，EMC技術不是事件的根源。OVH的技術主管奧克塔夫·克拉巴（Octave Klaba）說：「我們的數據中心無法適應這種類型的事件。只有一些機房是專門針對這種類型的託管服務準備的，但這個托架並非如此，這可以解釋問題的根源。」

Our data centers are not adapted for this type of incident. Only some rooms are especially prepared pour this type of hosting but not this bay, which explains the origin of the problem."

這家託管服務公司在2016年也遭到了迄今為止最嚴重的DDoS攻擊，當時峰值攻擊流量超過1Tb/s。

Details

Bonjour,

Pour héberger les 3 millions de sites web en hébergement mutualisé

nous utilisons 2 datacentres: le DC historique à Paris (P19) et

le nouveau DC à Gravelines (GRA1). Sur P19, nous utilisons

différentes technologies pour stocker les données pour les sites

web et les bases de données. Dans la majorité de cas nous

utilisons notre technologie NAS ou NAS-HA basée sur le ZFS.

Aussi sur P19, dans certains cas nous utilisons les baies

de stockage propriétaires d EMC VNX 5400 avec les disques

SSD. Il s agit d une solution que nous avons mis en place

en 2012 pour palier aux problèmes de performances de stockage

que nous avons eu en 2012 sur les bases de données. Depuis

nous avons fixé la performance sur nos NAS-HA et sur GRA

nous n utilisons plus que nos solutions interne.

Le jeudi 29 juin à 18h30, nous avons eu un incident sur

l une de baies de stockage EMC VNX 5400 que nous utilisons

pour stocker une partie de bases de données de hébergement

mutualisé à P19. Il s agit d un ensemble composé de 96

disques SSD configurés en active/active sur plusieurs

baies physiques. L ensemble ne veut plus redémarrer. Nous

avons contacté le constructeur et nous essayons de trouver

une solution pour récupérer les données hébergés sur cette

baie.

La technologie d EMC n est pas à l origine de l incident.

Nos datacentres ne sont pas adaptés pour héberger ce type

d infrastructure. Seules certaines salles sont spécialement

préparées pour ce genre d hébergement, mais cette baie de

stockage n y a pas été hébergé ce qui est l origine du

problème. Nous remercions EMC de nous aider à résoudre cet

incident.

Cette baie de stockage est utilisée pour héberger les bases

de données d hébergement mutualisé. Aussi toutes les bases de

données sont backupés tous les 24 heures sur d autres systèmes

de stockage qui sont dans un autre DC à Roubaix: RBX1.

Nous avons 2 actions en cours:

1) nous sommes en contact avec EMC avec qui nous avons

essayé de redémarrer le système. une équipe de RBX a pris

une baie de stockage EMC VNX 5400 que nous avons eu en

spare à Roubaix pour la transporter à P19. La baie est

arrivée à P19 vers 3H du matin et nous essayons de

redémarrer les disques dans cette nouvelle baie de stockage.

Nous avons demandé l intervention d EMC sur le site pour

nous aider à la redémarrer au plus vite. Nous ne savons

pas encore combien de temps va prendre le redémarrage de

la baie et si nous arriverons à récupérer les données.

Nous n avons pas d ETA. Le technicien d EMC devrait être

sur le site vers 10H00. Nous aurons plus d information à

ce moment là.

2) c est pourquoi nous avons lancé la restauration de bases de

données à partir de backup. Cette restauration a commencé

vers minuit du matin. Ce matin à 9h, environ 15% de bases de

données ont été remises en route en mode "lecture seule"

c est à dire que les sites web peuvent lire les données

dans les bases de données mais ne peuvent pas encore les

modifier. Nous continuons la restauration qui va prendre

jusqu à environ ce soir 20h. L ensemble de process est

désormais automatisé et nous avons assez de stockage pour

deployer toutes ces bases de données sur P19.

Next step. Il y a 2 choix. Le plan A et le plan B.

A) si nous arrivons à récupérer les données de la baie

nous allons immédiatement redémarrer toutes les bases

de données. aucune perte de données.

b) si nous n arrivons pas à redémarre la baie. Dans

ce cas là nous allons activer le mode "lecture et

écriture" sur les bases de données qui ont été

restaurées à partir du backup qui aura un retard de

minimum 1H et maximum 22H sur la version de bases

de données à l heure de la panne.

Pour suivre les tasks de travaux sur la restauration

de bases de données:

http://travaux.ovh.net/?do=details&id=25697

113 VM avec les bases de données ont été impactées.

Nous sommes sincèrement désolés pour cette panne. La

dernière panne de cette ampleur date de 2006 et à

l』époque nous avons remis en question toutes les

technologies de stockage que nous utilisons chez Ovh.

Cette panne est une le?on de plus et nous allons vous

communiquer les changements qui vont s』opérer dés la

fin de cet incident pour éviter de revivre la prochaine

panne de cette ampleur dans 10 ans encore.

Amicalement

Octave

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！