隨著我們業(yè)務數據量越來越大，在一個操作系統(tǒng)管轄的范圍內存不下了，那么就需要分配到更多的操作系統(tǒng)管理的磁盤中。但是這給我們帶來的一個問題就是，更多的操作系統(tǒng)非常不方便集中管理和維護。這時迫切需要一種系統(tǒng)來管理多臺機器上的文件，這就產生了分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。
HDFS(Hadoop Distributed File System)，它是一個分布式文件管理系統(tǒng)。一是，用于存儲文件，通過目錄樹來定位文件;其次，它是分布式的，由很多服務器聯(lián)合起來實現(xiàn)其功能，并且集群中的服務器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS的設計適合一次寫入，多次讀出的場景，但不支持文件的修改。HDFS適合用來做數據分析，并不適合用來做網盤應用。
下面我們來看下HDFS的優(yōu)缺點吧。
HDFS優(yōu)點：
(1) 高容錯性
a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;
b)如果某個副本丟失，HDFS還可以自動恢復。
(2) 適合大數據處理
(a)數據規(guī)模：能夠處理數據規(guī)模達到GB、TB、甚至PB級別的數據;
(b)文件規(guī)模：能夠處理百萬規(guī)模以上的文件數量，數量相當之大。
(3) 流式數據訪問，它能保證數據的一致性。
(4) 可構建在廉價機器上，通過多副本機制，提高可靠性。這一點也是HDFS的突出優(yōu)勢，高性能的集群無需采用價格高昂的服務器，而是構建在廉價的機器上呢。
HDFS缺點：
(1) 不適合低延時數據訪問，比如毫秒級的存儲數據，是做不到的。
(2) 無法高效的對大量小文件進行存儲。
a) 存儲大量小文件的話，它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的，因為NameNode的內存畢竟是有限的。
b) 小文件存儲的尋址時間會超過讀取時間，它違反了HDFS的設計目標。
(3) 不支持并發(fā)寫入、文件隨機修改。
a) 一個文件只能有一個寫，不允許多個線程同時寫;
b) 僅支持數據append(追加)，不支持文件的隨機修改。
>>本文地址：http://m.littlerockbway.com/zhuanye/2021/67401.html
聲明:本站稿件版權均屬中公教育優(yōu)就業(yè)所有，未經許可不得擅自轉載。
1 您的年齡
2 您的學歷
3 您更想做哪個方向的工作？
大前端
大數據
互聯(lián)網營銷
Java
Linux
Python
嵌入式
全域電商運營
軟件測試
室內設計
平面設計
電商設計
網頁設計
UI設計
VR/AR
網絡安全
新媒體
直播帶貨
智能機器人
中公教育IT培訓品牌
400-650-7353
Copyright©1999-
北京中公教育科技有限公司 .All Rights Reserved
京ICP備10218183號-88
京ICP證161188號
京公網安備11010802020723號
投訴建議：400-650-7353
Java培訓
軟件測試培訓
Web培訓
Linux培訓
Python培訓
互聯(lián)網營銷培訓
UI培訓
大數據培訓
官方公眾號 回復"大禮包"享福利 
領學習資料 分享IT知識 
閱讀()
分享
手機端入口
