国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区

掃一掃
關注微信公眾號

XFS:大數據環境下Linux文件系統的未來?
2012-02-07    51CTO.com

Linux有好多種件系統,但往往最受關注的是其中兩種:ext4和btrfs。XFS開發者Dave Chinner近日聲稱,他認為更多的用戶應當考慮XFS。他談到了為了解決XFS中最嚴重的可擴展性問題所做的工作,還談到了他認為將來的發展走向。如果他說的一點都沒錯,接下來幾年我們在XFS方面有望看到更多的動靜。

XFS經常被認為是適合擁有海量數據的用戶的文件系統。Dave表示,XFS非常適合扮演這個角色;它對許多工作負載而言向來表現不俗。以前往往問題出在元數據寫入方面;對生成大量元數據寫入操作的工作負載缺少有力的支持歷來是該文件系統的薄弱環節。簡而言之,元數據寫入速度很慢,擴展性欠佳,甚至只能適用于單個處理器。

速度到底有多慢?Dave制作了幾張幻燈片,顯示XFS與ext4相比的fs-mark結果。哪怕在單個處理器上,XFS的表現也要差得多(速度只有ext4的一半);如果線程數量多達8個,情況完全變得更糟;但線程數量超過8個后,ext4也遇到了瓶頸,速度慢下來。就元數據頻繁變化的輸入/輸出密集型工作負載(解開tarball文件就是個例子)而言,Dave表示ext4的速度可能比XFS快20倍至50倍。速度這么慢足以表明XFS確實存在嚴重問題。

延遲的日志

結果表明問題其實出在日志的輸入/輸出上。針對元數據的變化,XFS會生成大量的日志流量。在最糟糕的情況下,幾乎所有的實際輸入/輸出流量都用于日志——而不是用于用戶試圖想要寫入的數據。多年來人們試圖采用多種辦法來解決這個問題,比如對算法進行重大改變,另外進行許多重大的優化和調整。不需要的一點是任何一種磁盤上格式變化,不過這在將來可能由于其他原因而在籌劃之中。

元數據密集型的工作負載最后可能會在很短的時間內多次改變同一個目錄塊;那些改變每一次都會生成一個記錄,記錄必須寫入到日志中。這正是導致巨大日志流量的根源。解決這個問題的辦法從概念上來說很簡單:延遲日志更新,并且將針對同一目錄塊的變更合并到一個條目中。這些年來,以一種可擴展的方式實際落實這個概念頗費周折,但是現在取得了進展;延遲的日志(delayed logging)將是3.3內核中唯一得到支持的XFS日志模式。

實際的延遲日志技術主要由ext3文件系統借鑒而來。由于這種算法已知切實可行,證明它同樣適用于XFS所需的時間則短得多。除了性能上的優點外,這一變化最終促使代碼數量減少。有誰想詳細了解其工作原理,應該會在內核文檔樹中的filesystems/xfs-delayed-logging.txt找到所需內容。

延遲日志是一大變化,但絕不是唯一的變化。日志空間預留快速路徑是XFS中非常熱門的路徑;現在它是無鎖的,不過慢速路徑現階段仍需要全局鎖。異步元數據寫回代碼形成了非常分散的輸入/輸出,結果大幅降低了性能?,F在,元數據寫回在寫出之前已被延遲和分類。用Dave的話來說,這意味著文件系統在做輸入/輸出調度程序的工作。但是輸入/輸出調度程序處理的請求序列通常限制在128個條目,而XFS的延遲元數據寫回序列可以有數千個條目,所以有必要在輸入/輸出提交之前在文件系統中完成分類操作。“活動日志項”(Active log item)這種機制可以累計變化,并批量運用變化,以此改進(龐大的)分類日志項列表的性能。元數據緩存也被移到了頁面緩存器的外面,頁面緩存器往往會在不合適的時間收回頁面。等等。

諸文件系統相比如何?

那么,現在XFS的擴展性如何?如果是一兩個線程,XFS的速度仍比ext4慢一點,但是它可以線性擴展,支持多達8個線程,而ext4的情況比較糟,btrfs的情況要糟得多。對XFS來說擴展性方面的局限性如今出現在虛擬文件系統層核心中的鎖定上,根本不是出現在針對特定文件系統的代碼上?,F在即使對一個線程來說,目錄遍歷速度也更快,對8個線程來說,速度快得多。他表示,這些并不是btrfs開發人員可能展示給人的那種結果。

現在空間分配方面的可擴展性要比ext4快“幾個數量級”。這是由于3.2內核中添加了“bigalloc”特性而引起的變化,如果使用了足夠大的塊,這項特性可以將ext4在空間分配方面的可擴展性提高兩個數量級。遺憾的是,該特性還將小文件的空間使用量增加了同樣數量,以至于需要160GB來存放內核樹。bigalloc并不是很適合ext4的另外一些選項,而且需要管理員回答復雜的配置問題;在創建文件系統時,管理員必須考慮文件系統在整個使用壽命期間將如何使用。Dave表示,ext4存在架構方面的不足——尤其是使用位圖來用于跟蹤空間,這是上世紀80年代的文件系統存在的典型問題。它根本無法擴展,成為真正超大的文件系統。

btrfs中的空間分配甚至比ext4還要來得慢。Dave表示,問題主要出在閑置空間緩存的走查,目前這是處理器密集型的操作。這不是btrfs中的架構問題,所以它應該有望得到解決,但需要做一番優化工作。

Linux文件系統的未來

這方面有何進展?現階段,XFS中的元數據性能和可擴展性可以被認為是已得到解決的問題?,F在性能瓶頸出現在虛擬文件系統(VFS)層,所以需要在這方面開展下一輪工作。但是未來面臨的一大挑戰在于可靠性方面;這可能需要XFS文件系統作出一些相當大的變化。

可靠性不僅僅是不丟失數據這么簡單——但愿XFS在這方面已經做得很到位,這在將來其實是個可擴展性問題。讓數千兆兆字節(PT)的文件系統下線、運行一款文件系統檢查和修復工具,這根本不切實際;將來,這項工作其實需要在線進行。這就需要把成熟可靠的故障檢測機制融入到文件系統當中,以便可以實時驗證元數據正確無誤。其他一些文件系統也在實施驗證數據的機制,但是這似乎超出了XFS的范圍。Dave表示,數據驗證工作最好是在存儲陣列層面或應用程序層面完成。

“元數據驗證”意味著,讓元數據自我描述,保護文件系統,防范被存儲層指錯方向的寫入。添加校驗和技術還不夠——核驗和只能證明現有的是被寫入的。以適當方式自我描述的元數據能夠檢測寫入到錯誤地方的塊,并且幫助重新組裝完全壞掉的文件系統。它還能防止“"reiserfs問題”,即文件系統的修復工具被過時的元數據或存儲在待修復的文件系統中的文件系統映像里面的元數據搞糊涂。

讓元數據可以自我描述需要作出許多變化。每個元數據塊將包含文件系統的UUID;每個塊中還有塊和索引節點(inode)的編號,那樣文件系統就能驗證元數據來自預期的地方。將來會有檢驗和機制,用來檢測受到損壞的元數據塊,還會有所有者標識符,用來將元數據與歸屬的索引節點或目錄關聯起來。反向映射分配樹將讓文件系統可以迅速確認任何某個塊屬于哪個文件。

不用說,目前的XFS磁盤上格式并不提供存儲所有這些額外數據的機制。這意味著磁盤上格式會有變化。據Dave聲稱,不打算提供任何形式的向前或向后格式兼容;格式變化將是真正重大的變化。開展這項工作是為了便于完全自由地設計一種長期服務于XFS用戶的新格式。雖然正在改變格式來添加上述的可靠性功能,但是開發人員也會為目錄結構中的d_type、NFSv4版本計數器、索引節點創建時間以及可能更多對象添加空間。最大的目錄大?。壳爸挥袇^區32GB)也會得到提高。

這一切將帶來許多優點:主動檢測文件系統受損情況、定位和更換缺乏聯系的塊以及更好的在線文件系統修復。Dave表示,這意味著在將來很長一段時間,對Linux環境下的大數據應用程序而言,XFS仍將是最出色的文件系統。

從btrfs的角度來看,這一切又意味著什么呢?Dave表示,btrfs顯然不是針對處理元數據密集型工作負載的文件系統而優化;有一些嚴重的可擴展性問題成為了攔路虎。對于處于早期開發階段的一款文件系統來說,這完全在意料之中。其中一些問題需要借以時日才能克服,但可能存在這種情況:其中一些問題可能無法得到解決。另一方面,btrfs中的可靠性功能開發得很完善,這款文件系統完全能夠提供在接下來幾年預期的存儲功能。

而ext4存在架構可擴展性問題。據Dave的結果顯示,它不再是速度最快的文件系統。有幾個方案可用來改進可靠性,其磁盤上格式顯露了老態。ext4支持在不遠將來的存儲需求有難度。

考慮到這點,Dave在最后拋出了一個問題。由于其豐富功能,btrfs不日將取代ext4,成為許多Linux發行版中的默認文件系統。與此同時,ext4在處理大多數工作負載方面性能不如XFS,包括它在傳統上表現更強勁的應用領域。一些可擴展性問題甚至出現在了更小的服務器系統上。“匯聚半完成的項目”并不總是能取得很好的效果;Dave表示,ext4并不如人們想象的那么穩定或久經測試。于是他問道:為什么我們仍需要ext4?

有人可能認為,ext4開發人員會想出很好的辦法來回答這個問題,但是目前還沒有人回答得了。

英文原文鏈接:http://lwn.net/Articles/476263/

原文鏈接:http://os.51cto.com/art/201202/315553.htm

 

熱詞搜索:

上一篇:蘋果被“咬”:或將面臨過百億罰單
下一篇:2012年微軟Windows Azure云計算路線圖

分享到: 收藏
国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区
91成人看片片| 在线视频一区二区三区| 丝袜亚洲另类欧美综合| 亚洲精品免费在线播放| 亚洲午夜精品久久久久久久久| 亚洲精品欧美激情| 五月激情综合婷婷| 欧美aa在线视频| 国产一区二区三区综合| 国产在线精品不卡| 成人午夜精品一区二区三区| 91免费视频网| 欧美精品在线视频| 欧美精品一区二区在线播放| 国产亚洲综合在线| 亚洲精品网站在线观看| 午夜成人免费电影| 国产综合一区二区| 色综合久久综合中文综合网| 欧美日韩国产首页在线观看| 51精品久久久久久久蜜臀| 26uuu精品一区二区| 国产欧美一区二区精品忘忧草 | 亚洲精品成a人| 天天亚洲美女在线视频| 韩国v欧美v日本v亚洲v| 99久久免费国产| 欧美一级黄色录像| 国产精品乱人伦中文| 亚洲地区一二三色| 风间由美一区二区三区在线观看| 91婷婷韩国欧美一区二区| 91精品国产91热久久久做人人 | 97久久超碰国产精品| 精品视频色一区| 中文成人综合网| 亚洲成人av电影在线| 国产91精品久久久久久久网曝门| 在线观看视频91| 国产偷国产偷亚洲高清人白洁| 亚洲精品成人少妇| 丁香桃色午夜亚洲一区二区三区| 欧美三级视频在线观看| 中文字幕精品三区| 蜜臀精品一区二区三区在线观看 | 亚洲码国产岛国毛片在线| 午夜激情综合网| 成人av电影在线播放| 日韩欧美中文一区二区| 亚洲精品成人a在线观看| 国产精品自在欧美一区| 3atv一区二区三区| 一区二区高清在线| 成人午夜大片免费观看| 欧美精品一区二区高清在线观看| 亚洲丶国产丶欧美一区二区三区| www.亚洲色图| 中文字幕欧美区| 国产大陆a不卡| 日韩三级视频在线看| 午夜视频在线观看一区二区| 色综合久久99| 一区二区三区免费| 91美女在线观看| 欧美激情一区三区| 国产精品综合一区二区三区| 欧美videos中文字幕| 美日韩黄色大片| 欧美日韩精品一二三区| 午夜亚洲国产au精品一区二区| 在线一区二区视频| 五月开心婷婷久久| 欧美日本一道本在线视频| 一区二区三区精品在线| 91搞黄在线观看| 亚洲最大色网站| 91国产免费看| 五月天视频一区| 91精品在线麻豆| 人禽交欧美网站| 欧美精品一区二区在线播放| 久久aⅴ国产欧美74aaa| 精品国产免费一区二区三区四区 | 日韩久久久久久| 久久精品av麻豆的观看方式| 欧美成人精品3d动漫h| 毛片不卡一区二区| 久久久久久久国产精品影院| 国产九色sp调教91| 亚洲日本中文字幕区| 欧美性猛交xxxx黑人交| 日本aⅴ亚洲精品中文乱码| 久久综合色8888| 91亚洲精华国产精华精华液| 一区二区三区在线视频观看 | av一二三不卡影片| 樱桃国产成人精品视频| 555夜色666亚洲国产免| 国产高清精品在线| 亚洲欧美日韩电影| 欧美日韩国产一级| 国产福利精品一区| 亚洲综合在线观看视频| 日韩欧美国产一区二区三区| 国产精品一区二区视频| 一区二区三区视频在线看| 欧美成人一级视频| 色婷婷综合激情| 激情伊人五月天久久综合| 亚洲欧美日韩系列| 91精品国产综合久久久久久久久久| 久久99热国产| 一区二区三区四区在线播放| 日韩美一区二区三区| 色就色 综合激情| 国内精品久久久久影院色| 亚洲激情一二三区| 久久综合色8888| 欧美老肥妇做.爰bbww视频| 国产99久久久国产精品 | 欧美一区二区久久| 波多野结衣91| 精品无人区卡一卡二卡三乱码免费卡| 国产精品美女视频| 精品理论电影在线观看 | 在线观看av一区二区| 国产在线精品一区二区三区不卡| 亚洲伊人伊色伊影伊综合网| 国产精品网站一区| 精品国产成人在线影院| 欧美久久久久中文字幕| 在线免费视频一区二区| 成人黄色综合网站| 国产91对白在线观看九色| 久久97超碰色| 日韩电影在线一区二区三区| 一区二区三区中文字幕精品精品 | 欧美系列在线观看| av不卡一区二区三区| 国产夫妻精品视频| 国产一区二区在线电影| 久久精品国产亚洲a| 久久国产精品99精品国产| 日韩精品一区第一页| 亚洲高清免费观看| 亚洲福利电影网| 一个色在线综合| 亚洲一区免费观看| 亚洲国产色一区| 亚洲一线二线三线久久久| 亚洲午夜久久久久| 亚洲成人www| 美女网站色91| 国内一区二区在线| 国产精品一区二区不卡| 国产福利不卡视频| 99国产麻豆精品| 日本道精品一区二区三区| 在线观看日产精品| 欧美精品粉嫩高潮一区二区| 欧美男男青年gay1069videost| 欧美日韩一区精品| 91精品国产色综合久久久蜜香臀| 3atv一区二区三区| 久久久久久久久久久久久久久99 | 国产亚洲一区二区三区四区| 国产亚洲欧美一级| 中文字幕不卡在线观看| 一区二区三区日韩精品视频| 偷拍与自拍一区| 久久99热这里只有精品| 懂色一区二区三区免费观看| 色综合一区二区三区| 在线成人免费观看| 久久综合九色综合97婷婷| 国产精品久久午夜夜伦鲁鲁| 亚洲一区二区三区自拍| 精一区二区三区| 91麻豆国产福利精品| 91精品国产色综合久久不卡电影| 久久伊99综合婷婷久久伊| 18成人在线观看| 日韩黄色片在线观看| 国产不卡一区视频| 欧美午夜视频网站| 国产日韩欧美精品在线| 亚洲精品国产a| 亚洲高清免费观看高清完整版在线观看| 免费不卡在线视频| 9i在线看片成人免费| 在线综合视频播放| 国产精品三级av| 日韩av中文字幕一区二区| av电影天堂一区二区在线观看| 欧美日韩国产成人在线91| 国产精品丝袜黑色高跟| 五月天激情综合网| 色94色欧美sute亚洲线路一久| 精品成人免费观看| 天堂av在线一区|