當前位置:
首頁 > 知識 > 硬碟寫到一半時斷電,文件系統里會發生什麼?

硬碟寫到一半時斷電,文件系統里會發生什麼?

來源:知乎

硬碟寫到一半時斷電,文件系統里會發生什麼?


知乎問題:


斷電時文件系統發生了什麼?硬碟又發生了什麼?下一次開機時寫到一半的文件在系統層面還在嗎?在底層還在嗎?


更進一步的, 文件系統如何保證事務性, 會不會存在某種極端情況導致例如最後幾個bit還沒寫完, 文件系統卻認為它成功了的情況?


回答不限任何文件系統,謝謝!

作者「北極」的回答:


斷電的一瞬間,很多事情是無法確定的:


1.你無法確定你試圖向設備驅動發送的寫指令是否成功,驅動程序本身一般都有緩存;


2. 即使寫指令正常返回,你也無法確定設備實際上是否寫成功,因為設備本身可能也有緩存。目前沒有設備能保證寫指令返回的情況下,所有數據一定成功的保存在介質上(但部分廠商能保證少量數據一定能成功寫入),對存儲設備的flush操作並非絕對可靠;


3. 哪些成功哪些失敗可能是亂序的,換句話說,如果先發送寫請求A,再發送寫請求B,並且都成功返回,掉電時請求A可能丟失,但B成功(NCQ功能);

4. 機械式磁碟可能會出現丟失半截數據的情況(比如,一個512位元組扇區只寫入了100位元組,也就是題主說的bit級錯誤),但這種一般都會通過校驗位檢測出來。


因為有以上這麼多的限制,實際上文件系統一般沒辦法保證數據一定不丟失,甚至哪些丟失哪些能恢復也是不確定的。


一般來說,文件系統有以下的幾種策略:


1. 完全不管錯誤的事情,錯了就錯了;


2. 打標記位的方式,如果懷疑有錯,通過磁碟檢測功能恢復;

3. 在設計上保證文件系統結構上可恢復,但不保證用戶數據可恢復;


4. 能在用戶數據層面上保證數據的絕對正確。


第一種和第二種策略現在比較少見,FAT文件系統算是屬於這類;主流文件系統基本上都能保證第三種,比如NTFS之類的;第四種比較難,一般都要配合存儲驅動一起,多見於Flash介質的專屬文件系統。


保證數據不損壞,具體的方案一般有:

方案1:Copy-On-Write,寫數據的時候不在原來的位置寫,而是先讀一份,然後寫到另外一個位置,當確認寫成功時,把文件系統的指針指向新的位置。如下圖:

硬碟寫到一半時斷電,文件系統里會發生什麼?



實際應用中,比這個情況複雜,因為Data2寫入的過程中,File1本身的一些信息(修改時間等)也發生了變化,所以CopyOnWrite產生的影響不止這一個塊,而是很多。


方案2:日誌(Journal)技術。使用日誌記錄meta-data甚至是數據塊的變化情況(NTFS就是這種策略),一旦出現掉電情況,在日誌中反推到一個正確的狀態上,就可以保證meta-data不損壞。


常見的方案就這兩種,當然還有別的更複雜的技術,可以參考這個鏈接(Comparison of file systems),但不管用什麼方案,本質上都是以犧牲性能為代價換取結構上的穩定。


最後回到題主的問題,文件系統如何保證數據的正確性?如果是指文件的數據部分,是無法保證的,因為文件系統無法確定數據到底寫沒寫進去,絕大多數文件系統只能保證自身結構是正確的,但這個正確可能是回滾之後的狀態,具體回滾多少內容,文件系統自己也不能保證。


這事說起來挺複雜的,不同文件系統,不同設備,不同介質,效果都是有區別的。


作者「馬濤」的回答:


文件系統的設計一般是性能和數據完整性的妥協,如果你想要最高完整性,那麼性能會差一些,如果你想要最高性能,那麼數據完整性會差一些,僅此而已。當然這些都是針對數據而言的,對於文件系統自身的元數據,一般設計者為了自身數據完整性的考慮都會有日誌系統(比如ext4使用jbd2),從而盡量保證文件系統在斷電時沒有問題或者問題很少(需要使用fsck來解決),但是用戶數據是否完備是由用戶選擇和配置的,而文件系統會根據不同配置選擇不同的策略。


我們以Linux最通用的ext4為例,他有三種模式供用戶選擇data=writeback/ordered/journal,對應的是數據落盤的三種方式,writeback是指元數據更新的時候數據不考慮是否落盤,所以掉電以後可能會看到一些亂七八糟的數據,ordered的意思是元數據更新在數據更新之後(如果你沒有更改元數據那就沒有辦法保證數據了),還有一種是journal意思是數據也先寫journal再寫文件(double write),這種數據安全性最高,當然性能也最差。詳細的介紹可以參加mount(8)。


說完文件系統,我們再說硬碟,硬碟在文件系統下面,所以文件系統是重度依賴硬碟來實現數據完整性的,而硬碟也提供了一些命令來保障文件系統數據完整性的語義。比如硬碟會提供flush命令,保證只要上層文件系統調用了這個命令,那麼文件系統之前寫到硬碟裡面的內容必須落盤了(一般的硬碟有內存cache,為了提高寫入性能會緩存一部分數據,flush會命令硬碟將cache內容落盤。當然如果硬碟如果有電容可以保證cache即使掉電也會落盤,那麼他也可以欺騙上層的文件系統 :) ),這樣文件系統在寫入一些關鍵數據以後必須調用flush,在得到硬碟的flush反饋以後再進行後面的工作。當然現代硬碟還有一些FUA(Force Unit Access)之類的操作,這些是為了加速某類磁碟落盤的操作,本質上即使硬碟不提供文件系統可以改成write+flush來實現(只是性能差一些),如果感興趣大家可以自行google之。


說完底層,還有一層要說一下,就是你的應用是怎麼寫文件和硬碟的,如果是buffer write(應用只寫到操作系統的內存,由操作系統延遲回寫到硬碟),那麼很大可能你在掉電之前一段時間寫入的數據都會不見了(操作系統還沒有回寫),如果應用是direct IO(應用繞過操作系統內存,直接寫硬碟),那麼可能只有掉電時刻正在寫入的數據不見了,當然這裡可能還涉及到direct IO的語義以及不同文件系統的具體實現,和文件系統相關,就需要具體問題具體分析了。


本文編號2286,以後想閱讀這篇文章直接輸入2286即可。


輸入m可以獲取到文章目錄


更多推薦15個技術類公眾微信


涵蓋:程序人生、演算法與數據結構、黑客技術與網路安全、大數據技術、前端開發、Java、Python、Web開發、安卓開發、iOS開發、C/C++、.NET、Linux、資料庫、運維等。


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 程序猿 的精彩文章:

Google開源新演算法,可將JPEG文件縮小35%
Java工程師技能表
拯救程序員的自尊心 我建議他去伯克利
技術的熱門度曲線
九個問題從入門到熟悉HTTPS

TAG:程序猿 |

您可能感興趣

系統開不了機,又是電源問題,找到原因竟然這麼簡單!
在這個電子技術時代,我們的電力系統為什麼不改為直流供電系統?那樣不是更方便嗎。不
電腦系統和配置都是一樣的,速度卻是不一樣怎麼辦
系統不一樣,怎麼搞對象?
太好了!手機刷了這個系統基本就能扔掉電腦了
安卓手機刷蘋果ios系統,會發生什麼?
這款遊戲的捏臉系統神了 路飛啥時候變包子臉了?
「直播」想找到系統的短桿方法,這一課不可錯過!
肝不好,生殖系統就會發出這3個信號,一個也不能忽視,不要等後悔了就晚了
文在寅樂開了花,再部署4套系統,這一行業將助自己走到頂峰
電腦裝一個系統不爽?是時候該給你的電腦找個小三了!
電腦用久了系統就會非常卡,應該這樣清理系統垃圾
如何像蠑螈那樣,再生腎臟?幹細胞修復系統!
怎麼將電腦系統時間玩出花?
這個鏈接敢點嗎系統通知發送的
蘇27飛眼鏡蛇機動竟要斷開電傳系統?純屬謠言!真斷了就要摔!
你的手機系統里這些文件,一定要刪除,不然危害非常大
為什麼?手機系統幾乎都是定製版的而非原生系統!
教你電腦開不開機系統崩潰怎麼保存桌面和我的文檔里的重要文件