信用卡發行商Visa公司數據中心出現故障 業務中斷10小時

日前據悉，信用卡發行商Visa公司的數據中心本月早些時候由於交換機出現故障，6月早些時候歐洲各地的數百萬客戶受到影響，導致信用卡業務處理中斷了10小時。遭遇停機，不知道是否還有人記得2011年臭名昭著的為期四天的停電?當時發生了什麼?以及Visa公司為避免再次停機採取了什麼措施?

作為對英國財政部要求自行解釋的要求，Hogg向英國國會議員跨黨派委員會發出了一封詳細信函中的數據中心問題。

停電發生在6月1日，停機事件發生在英國夏令時14:35，並於00:45結束。英國數據中心運營團隊意識到處理系統功能已經存在「部分退化」，據說已經制定了相應的協議來處理這個問題。

其第一步是召開技術響應團隊評估會議。隨後，這一問題升級為危機管理協議，並就此問題發布了媒體聲明。

該公司在英國經營著兩個數據中心，其中任何一個據稱都能夠在歐洲處理Visa公司的100%交易。在「正常情況下」，系統是同步的，任何一個數據中心停電，另一個可以立即接管。Hogg說，每個中心都內置了設備和控制的多種備份形式。

每個數據中心都配置了兩台核心交換機，一台主要的交換機和一台次要的交換機。如果主要交換機發生故障，在「正常運行」狀態下，備用交換機將接管。在這種情況下，主要數據中心交換機中的某個組件出現「非常罕見的部分故障」，從而導致備份交換機無法啟動。

因此，該公司花費比通常在主要數據中心隔離系統更長的時間。主要數據中心的故障系統繼續嘗試與輔助數據中心同步消息。這在輔助數據中心創建了消息積壓，這反過來又減緩了該站點處理傳入事務的能力。

數據中心工作人員採取了一些關鍵措施來嘗試緩解問題，其中包括關閉主站點的軟體應用程序，並通過人工和自動方式清理輔助數據中心的消息積壓。

直到19:10左右才完全停用導致主要數據中心事務失敗的系統。到那時，輔助數據中心已經開始正常處理幾乎所有的交易。到20:15，其影響「基本解決」，6月2凌晨00:45處理水平正常。

事件發生時，整個系統都沒有中斷。相反，在整個中斷期間，未能處理的交易百分比「波動」。

Hogg說：「我們尚不清楚為什麼交換機在當時出現故障，但我們正在與]製造商合作對交換機進行取證分析。」

她補充說：「根據他們的初步調查結果，我們被告知這是非常罕見的失敗。製造商向我們提供了有關軟體的建議，用於在發生類似的故障時自動監控和關閉交換機。而在運行時，該計劃將不斷審查交換機中的關鍵組件，以跟蹤其可用性。如果檢測到相同的錯誤，程序將自動接收組件或切換操作。」

她表示，Visa公司還在內部開展工作、開發和安裝其他新功能，以便以「更加自動化和及時的方式」將處理環境中的故障組件隔離並刪除。

該公司還正在對其測試和運營以及事件響應流程進行審查。Visa公司已將其歐洲處理遷移至其全球處理系統VisaNet。此遷移計劃於2018年底前完成。VisaNet基於與歐洲系統不同的技術架構，擁有多個數據中心並服務於多個地區。

VisaNet有四個雙活圖像協同工作，與歐洲的系統相比，它具有更大的容量和規模。

Hogg說：「VisaNet在檢測和恢復6月1日影響歐洲系統的部分故障時具有更強的適應能力。」

Hogg表示，「它可以用一個命令隔離和刪除失敗的組件，只需幾分鐘時間即可從處理環境中刪除故障組件。通過這樣做，我們在其他數據中心的操作系統可以忽略故障系統並繼續無縫運行。」

Hogg證實，6月1日的停機事件與這次移徙沒有任何關係，而其移徙事件自2月份以來一直在進行。

在很多方面，Visa公司歐洲分公司運營中斷在2011年臭名昭著的為期四天的全球黑莓智能手機中斷事件中發生，當英國數據中心的網路交換機出現故障，並且備份系統未能完全啟動時，由於狹窄設計的網路陷入癱瘓，導致日誌堵塞。當然，黑莓手機當時並沒有從事件中恢復過來，這加速了用戶向iPhone和Android設備的遷移。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！