數據蔣堂 數據分段討論

來源：數據蔣堂

作者：蔣步星

本文共1600字，建議閱讀5分鍾。

本文和大家討論了關於資料庫怎麼高效的將數據分段。

現代計算機一般都有多CPU核，而日益廣泛應用的固態硬碟也有較強地並發能力，這些硬體資源都為並行計算提供了有力的保證。不過，要實現並行計算還需要有較好的數據分段技術，也就是能方便地把待計算的數據拆分成若干部分，讓每個線程（或進程，這裡以多線程為例討論，多進程情況是類似的）分別處理。

設計數據分段方案時，有這麼幾個目標：

1. 每段的數據量基本相同

並行任務的最終耗時是以那個最慢的線程為準的，而同一機器中各線程的處理能力基本相當，因此數據分段要能做到盡量平均，使各線程的計算時間基本相同。

2. 分段數可靈活動態指定

在數據準備階段經常並不清楚實際計算用機器的CPU數，而且即使知道，線程數也不能簡單地按機器CPU核數去算，因為硬碟的並發能力常常小於CPU；並且，在有並發計算時，能有多少CPU核用到本計算任務也不能事先預知。實際計算用的線程數最好是根據當時場景動態決定，範圍從幾個到幾十個都有可能，這要求能夠按隨意的數量將數據分段。

3. 每個分段是連續緊湊存儲的

因為硬碟不適合頻繁隨機訪問（即使固態硬碟也不適合頻繁小量的隨機訪問），為了保證遍歷性能，我們希望每個線程要處理的數據在硬碟上要盡量連續存儲，而不是頻繁跳躍。

4. 允許數據追加

數據並不是固定不變的，會隨著時間不斷增長，我們當然希望每次追加數據時不必重新整理所有數據，只需要把追加的數據補上即可。

使用文本文件存儲數據時，可以同時保證這4個目標。只要簡單地按總位元組數把文件分成多段，每個線程讀取其中一段即可。

文本中用回車作為記錄（行）的分隔符，文本記錄的數據本身中不可能出現回車字元，所以用它用為記錄的分隔符不會產生歧義。按文件位元組數分段時，分段點可能會落到某一行的中間，這時使用去頭補尾的方法進行調整，即就是每個分段從分段點繼續讀到一個回車符才開始，而越過下一個分段點繼續讀到一個回車符時才結束，這樣就可以保證每個分段都只包含完整的記錄（行），這也是HADOOP常用的方法。

但是，文本本身的解析實在太慢了，我們還是要考慮二進位的存儲方案。

二進位數據中沒有回車這種可用於分隔記錄的字元，任何位元組數值都可能是數據本身，這時就無法識別出記錄何時結束。如果一定要人為製造一個分隔符，那就要足夠長才能避免和數據本身重複的可能性，每條記錄上都增加這麼一段位元組，會增加大量無意義的數據量、降低性能；而且，這也只能降低出錯率而不能徹底杜絕。

改進的方法是使用區塊，把數據存入若干相同大小的區塊，分段時以區塊為單位，只要總區塊數量足夠多，每個線程分配到的區塊數量也就相對比較平均，也就能滿足目標1和目標2了。不過目標3卻有些問題，區塊大小是存儲數據之前就確定的，不大可能正好和記錄長度匹配，如果要求每個區塊中都存儲完整的記錄，就可能造成區塊中的空間浪費（剩餘空間存不下一條完整記錄時只能作廢）。在區塊較小且記錄欄位較多時這個浪費會很嚴重，影響目標3希望的緊湊性。如果允許一條記錄被拆分到兩個區塊，那又不能按區塊為單位來分段了，否則可能造成某個分段將只處理半條記錄的情況。

這時候可以借鑒文本的去頭補尾方案，允許同一記錄拆分到兩個區塊，在讀取分段的第一個區塊時跳過第一條（可能是半條）記錄，而讀取最後一個區塊時再繼續讀下一個區塊把當前區塊中最後的記錄讀完整，這樣可以保證數據的緊湊性了。這種方法要求在區塊中有個標記表明本區塊中第一條記錄是否是上一區塊記錄的延續以及最後一條記錄是否完整，空間成本不算高，但在遍曆數據時總要被這些標記打斷，處理起來麻煩不少，會影響性能。

資料庫一般也使用區塊方案，但由於資料庫將所有表的數據存儲在一起，它的區塊分配演算法不會去保證同表數據所佔用的區塊之間的連續性。而為提高數據的連續性，就要讓區塊更大，這和區塊多又有點矛盾。如果再考慮到數據的可追加性，則還需要一個不斷變大的索引表來管理這些區塊，在區塊數量很多時，這個索引表本身的連續性也不容易得到保證（它的長度事先不知道，在數據追加過程中動態增長）。

專欄作者簡介

潤乾軟體創始人、首席科學家

清華大學計算機碩士，著有《非線性報表模型原理》等，1989年，中國首個國際奧林匹克數學競賽團體冠軍成員，個人金牌；2000年，創立潤乾公司；2004年，首次在潤乾報表中提出非線性報表模型，完美解決了中國式複雜報表製表難題，目前該模型已經成為報錶行業的標準；2014年，經過7年開發，潤乾軟體發布不依賴關係代數模型的計算引擎——集算器，有效地提高了複雜結構化大數據計算的開發和運算效率；2015年，潤乾軟體被福布斯中文網站評為「2015福布斯中國非上市潛力企業100強」；2016年，榮獲中國電子信息產業發展研究院評選的「2016年中國軟體和信息服務業十大領軍人物」；2017年, 自主創新研發新一代的數據倉庫、雲資料庫等產品即將面世。

數據蔣堂

《數據蔣堂》的作者蔣步星，從事信息系統建設和數據處理長達20多年的時間。他豐富的工程經驗與深厚的理論功底相互融合、創新思想與傳統觀念的相互碰撞，虛擬與現實的相互交織，產生出了一篇篇的瀝血之作。此連載的內容涉及從數據呈現、採集到加工計算再到存儲以及挖掘等各個方面。大可觀數據世界之遠景、小可看技術疑難之細節。針對數據領域一些技術難點，站在研發人員的角度從淺入深，進行全方位、360度無死角深度剖析；對於一些業內觀點，站在技術人員角度闡述自己的思考和理解。蔣步星還會對大數據的發展，站在業內專家角度給予預測和推斷。靜下心來認真研讀你會發現，《數據蔣堂》的文章，有的會讓用戶避免重複前人走過的彎路，有的會讓攻城獅面對扎心的難題茅塞頓開，有的會為初入行業的讀者提供一把開啟數據世界的鑰匙，有的甚至會讓業內專家大跌眼鏡，產生思想交鋒。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！