本文將介紹如何在基于Ubuntu的系統(tǒng)上安裝多節(jié)點(diǎn)Hadoop 3.1.1集群，作者將在Ubuntu 18.04.1上安裝一個包含HDFS的三節(jié)點(diǎn)Hadoop集群。

首先，我們需要為集群創(chuàng)建三個虛擬機(jī)，創(chuàng)建一個具有4個vCPU，4 GB內(nèi)存和40 GB硬盤空間的Hadoop Master服務(wù)器；為每個節(jié)點(diǎn)創(chuàng)建兩個帶有4個vCPU，8 GB內(nèi)存和40 GB硬盤空間的Hadoop節(jié)點(diǎn)。

本文的三臺服務(wù)器安裝了Ubuntu Server 18.04.1，安裝了所有更新并重新啟動，一定要確保使用靜態(tài)IP地址和內(nèi)部DNS解析配置每個服務(wù)器，或?qū)⒚總€服務(wù)器添加到/ etc / hosts文件。

準(zhǔn)備運(yùn)行Hadoop服務(wù)器

首先，我們需要安裝Oracle Java 8，因?yàn)閺腢buntu 18.04.1開始，Java 8不再可用。

# add-apt-repository ppa:webupd8team/java
# apt update
# apt install -y oracle-java8-set-default

接受許可條款，并下載Hadoop二進(jìn)制文件

# wget http://apache.claz.org/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

解壓縮歸檔并將其移至/ usr / local /

# tar -xzvf hadoop-3.1.1.tar.gz
# mv hadoop-3.1.1 /usr/local/hadoop

更新默認(rèn)環(huán)境變量以包含JAVA_HOME和Hadoop二進(jìn)制目錄。

首先，我們需要知道Java的安裝位置，運(yùn)行以下命令查找。

# update-alternatives –display java
java – manual mode
  link best version is /usr/lib/jvm/java-8-oracle/jre/bin/java
  link currently points to /usr/lib/jvm/java-8-oracle/jre/bin/java
  link java is /usr/bin/java
  slave java.1.gz is /usr/share/man/man1/java.1.gz
/usr/lib/jvm/java-8-oracle/jre/bin/java – priority 1081
  slave java.1.gz: /usr/lib/jvm/java-8-oracle/man/man1/java.1.gz

如上所示，JAVA_HOME應(yīng)設(shè)置為/ usr / lib / jvm / java-8-oracle / jre。

打開/etc/environment并更新PATH行以包含Hadoop二進(jìn)制目錄。

PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/hadoop/bin:/usr/local/hadoop/sbin”

為JAVA_HOME變量和YARN_RESOURCEMANAGER_OPTS變量添加一行。

vim
YARN_RESOURCEMANAGER_OPTS=”–add-modules=ALL-SYSTEM”

確保該目錄與上面的update-alternatives選項減去bin/java部分的輸出相匹配。

接下來，我們將添加一個hadoop用戶并為他們提供正確的權(quán)限。

# adduser hadoop
# usermod -aG hadoop hadoop
# chown hadoop:root -R /usr/local/hadoop
# chmod g+rwx -R /usr/local/hadoop

以hadoop用戶身份登錄并生成SSH密鑰，只需要在Hadoop Master上完成此步驟。

# su – hadoop
# ssh-keygen -t rsa

接受ssh-keygen的所有默認(rèn)值。

現(xiàn)在以hadoop用戶身份登錄并將SSH密鑰復(fù)制到所有Hadoop節(jié)點(diǎn)。 同樣，只需要在Hadoop Master上完成此步驟。

# su – hadoop
$ ssh-copy-id hadoop@hadoop1.admintome.lab
$ ssh-copy-id hadoop@hadoop2.admintome.lab
$ ssh-copy-id hadoop@hadoop3.admintome.lab

配置Hadoop主服務(wù)器

打開/usr/local/hadoop/etc/hadoop/core-site.xml文件并輸入以下內(nèi)容：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop1.admintome.lab:9000</value>
  </property>
</configuration>

保存并退出。

接下來，打開/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件并添加以下內(nèi)容：

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/data/nameNode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/data/dataNode</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

保存并退出。

打開/usr/local/hadoop/etc/hadoop/workers文件并添加以下兩行（每個Hadoop節(jié)點(diǎn)一行）

hadoop2.admintome.lab
hadoop3.admintome.lab

保存并退出。

將配置文件從Hadoop Master復(fù)制到每個Hadoop節(jié)點(diǎn)。

# scp /usr/local/hadoop/etc/hadoop/* hadoop2.admintome.lab:/usr/local/hadoop/etc/hadoop/
# scp /usr/local/hadoop/etc/hadoop/* hadoop3.admintome.lab:/usr/local/hadoop/etc/hadoop/

格式化HDFS文件系統(tǒng)

$ source /etc/environmnet
$ hdfs namenode -format

現(xiàn)在可以啟動HDFS：

hadoop@hadoop1:~$ start-dfs.sh
Starting namenodes on [hadoop1.admintome.lab]
Starting datanodes
Starting secondary namenodes [hadoop1]
hadoop@hadoop1:~$

通過在所有Hadoop服務(wù)器上以Hadoop用戶身份運(yùn)行jps命令來驗(yàn)證所有內(nèi)容是否正確啟動。

在Hadoop Master上你應(yīng)該可以看到如下結(jié)果：

hadoop@hadoop1:~$ jps
13634 Jps
13478 SecondaryNameNode
13174 NameNode

在每個Hadoop節(jié)點(diǎn)上，你應(yīng)該可以看到：

hadoop@hadoop2:~$ jps
8672 Jps
8579 DataNode
HDFS Web UI

HDFS Web UI

現(xiàn)在，我們可以通過瀏覽到Hadoop主服務(wù)器端口9870來訪問HDFS Web UI。

http://hadoop1.admintome.lab:9870

可以看到如下UI：

如上所示，我們的HDFS文件系統(tǒng)上有近60 GB的空閑空間。

開始運(yùn)行Yarn

現(xiàn)在HDFS正在運(yùn)行，我們已準(zhǔn)備好啟動Yarn調(diào)度程序。

Hadoop本身需要運(yùn)行任務(wù)，因此我們需要Yarn以在Hadoop集群上合理安排任務(wù)。

export HADOOP_HOME=”/usr/local/hadoop”
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME

運(yùn)行以下命令以啟動Yarn：

$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers

我們可以通過以下命令來驗(yàn)證是否可以正確啟動：

$ yarn node -list
2018-08-15 04:40:26,688 INFO client.RMProxy: Connecting to ResourceManager at hadoop1.admintome.lab/192.168.1.35:8032
Total Nodes:2
        Node-Id      Node-State  Node-Http-Address  Number-of-Running-Containers
hadoop3.admintome.lab:35337          RUNNING  hadoop3.admintome.lab:8042                            0
hadoop2.admintome.lab:38135          RUNNING  hadoop2.admintome.lab:8042                            0

沒有任何正在運(yùn)行的容器，因?yàn)槲覀冞€沒有開始任何工作。

Hadoop Web UI

我們可以通過以下URL來查看Hadoop Web UI：

http://hadoop1.admintome.lab:8088/cluster

替換Hadoop Master主機(jī)名：

運(yùn)行Hadoop任務(wù)示例

我們現(xiàn)在可以運(yùn)行Hadoop任務(wù)示例并在集群上安排它，我們將運(yùn)行的示例是使用MapReduce來計算PI。

運(yùn)行以下命令來運(yùn)行作業(yè)：

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar pi 16 1000

完成整個過程將需要幾分鐘的時間。完成后，應(yīng)該可以看到它已經(jīng)開始計算PI：

Job Finished in 72.973 seconds
Estimated value of Pi is 3.1425000000000000000