網站首頁 美容小常識 享受生活 東方時尚 識真假 高奢 資訊 遊戲攻略 搞笑段子
當前位置:品位站 > 享受生活 > 心理

hadoop版本演變

欄目: 心理 / 發佈於: / 人氣:5.16K
hadoop版本演變

Apache Hadoop的四大分支構成了三個系列的Hadoop版本。

(1)0.20.X系列

0.20.2版本發佈後,幾個重要的特性沒有基於trunk而是在0.20.2基礎上繼續研發。值得一提的主要有兩個特性:Append與Security。其中,含Security特性的分支以0.20.203版本發佈,而後續的0.20.205版本綜合了這兩個特性。需要注意的是,之後的1.0.0版本僅是0.20.205版本的重命名。0.20.X系列版本是最令用户感到疑惑的,因而它們具有的一些特性,trunk上沒有,反之trunk上有的一些特性0.20.X系列版本卻沒有。

(2)0.21.0/0.22.x系列

這一系列版本將整個Hadoop項目被分割成三個獨立的模塊,分別是 Common、HDFS和MapReduce。HDFS和MapReduce都對Common模塊有依賴,但是MapReduce對HDFS並沒有依賴,這樣,MapReduce可以更容易運行在其他的分佈式文件系統之上,同時,模塊間可以獨立開發。具體各個模塊的改進如下:

Common模塊:最大的新特性是在測試方面添加了Large-Scale Automated Test Framework和fault injection framework。

HDFS模塊:主要增加的新特性包括支持追加操作與建立符號連接、Secondary NameNode改進(secondary namenode被剔除,取而代之的是checkpoint node同時添加一個backup node的角色,作為NameNode的冷備)、允許用户自定義block放置算法等。

MapReduce模塊:在作業API方面,開始啟動新MapReduce API,但仍然兼容老的API。

0.22.0在0.21.0基礎上修復了一些bug並進行了部分優化。

(3)0.23.X系列

0.23.X是為了克服Hadoop在擴展性和框架通用性方面的不足而提出來的,它包括基礎庫Common、分佈式文件系統HDFS、資源管理框架YARN和運行在YARN上的MapReduce四部分,其中,新增的可對接入的各種計算框架(如MapReduce、spark等)進行統一管理,該發行版自帶MapReduce庫,而該庫集成了迄今為止所有的MapReduce新特性。

(4)2.X系列

同0.23.x系統一樣,2.X系列屬於下一代Hadoop,與0.23.X相比,2.X增加了NameNode HA和Wire-compatibility等新特性。

Tags:hadoop 演變