2.2.2 Hadoop单机安装

在安装Hadoop环境之前,我们先创建一个用户,并且让此用户具有root操作的权限,然后安装Java JDK,最后再安装Hadoop。

1.创建用户

创建用户的相关命令如下:


    #创建用户
useradd 用户名
#为用户设置密码
passwd 密码

范例如下:


    [root@hadoop101/]#useradd clay     //创建名为clay的用户
[root@hadoop101/]#passwd clay      //为用户clay创建密码
Changing password for user clay.
New password:                              //输入密码
BAD PASSWORD: The password is shorter than 8 characters
Retype new password:                       //再次输入密码
passwd: all authentication tokens are updated successfully.
[root@hadoop101/]#su clay          //切换到clay用户

2.设置用户拥有root权限

设置clay用户具有root权限,以方便后期添加sudo执行root权限的命令。执行如下命令:


    vim /etc/sudoers

执行上面的代码修改/etc/sudoers文件,在“%wheel”行下面添加一行语句,如下所示:


    \##Allow root to run any commands anywhere
root ALL=(ALL) ALL
\##Allows people in group wheel to run all commands
%wheel  ALL=(ALL) ALL
clay ALL=(ALL) NOPASSWD:ALL

需要注意的是,“clay ALL”行不要直接放到“root ALL”行下面,因为所有用户都属于wheel组,如果先配置了clay具有免密登录功能,程序执行到“%wheel”行时,该功能会被覆盖掉而回到需要密码。因此,“clay ALL”行要放到“%wheel”行下面。

3.安装Java JDK

因为Hadoop是依赖于Java环境的,所以首先安装Java JDK。

(1)下载Java JDK安装包

步骤01 进入Java官网,选择对应的JDK版本,如图2-5所示。

图2-5 Java JDK下载界面

步骤02 单击JDK Download按钮,根据实际情况选择对应系统的安装包,如图2-6所示。

图2-6 Java JDK对应系统的安装包

步骤03 选择安装程序的目录并设置相对应的权限,之后的安装操作都会在此目录中进行。在/opt目录下创建子目录module和software,并修改目录的所有者和所属组。

范例如下:


   #在/opt 目录下创建 module和software 子目录
[root@hadoop101~]#mkdir /opt/module
[root@hadoop101~]#mkdir /opt/software
#修改 module、software目录的所有者和所属组均为clay用户
[root@hadoop101~]#chown clay:clay /opt/module
[root@hadoop101~]#chown clay:clay /opt/software

上述准备工作完成后,开始安装Java JDK。需要特别注意的是,后续所有的操作都选择使用前面创建的clay用户来进行。

(2)上传并解压安装包

步骤01 通过xftp等工具上传已经下载好的Java JDK安装包,并把安装包上传到/opt/software/目录中。

步骤02 解压Java JDK安装包,执行如下命令:


    #切换到Java JDK安装包所在目录
cd /opt/software/
#解压安装包
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module/

范例如下:


    [root@hadoop101/]#su clay              //切换到clay用户
[clay@hadoop101/]$ cd /opt/software/  //切换到安装程序包所在的目录
[clay@hadoop101 software]$ tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module/                         //解压安装包

(3)配置环境变量

步骤01 通过clay用户执行下面的命令进行环境变量的配置:


    sudo vim /etc/profile.d/my_env.sh

步骤02 在文件中添加如下变量:


    #JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_73
export PATH=$PATH:$JAVA_HOME/bin

步骤03 执行下面的命令以使环境变量生效:


    source /etc/profile

步骤04 执行下面的命令以检查是否设置成功:


    java -version

上面命令的执行结果如图2-7所示时,表示Java JDK已经配置完成。

图2-7 Java JDK版本信息

4. Hadoop安装

(1)下载安装包

步骤01 进入Hadoop官网,选择对应的JDK版本,如图2-8所示。

图2-8 Hadoop下载界面

步骤02 选择对应版本的源码发布包按钮以下载Hadoop安装包,如图2-9所示。

图2-9 Hadoop安装包下载界面

(2)上传并解压安装包

步骤01 通过xftp等工具上传已经下载好的Hadoop安装包,并把安装包上传到/opt/software/目录中。

步骤02 解压Hadoop安装包,执行如下命令:


    #切换到Hadoop安装包所在的目录
cd /opt/software/
#解压安装包
tar -zxvf hadoop-3.3.1-src.tar.gz -C /opt/module/

范例如下:


   [root@hadoop101/]#su clay                       //切换到clay用户
[clay@hadoop101/]$ cd /opt/software/          //切换到安装程序包所在的目录
[clay@hadoop101 software]$ tar -zxvf  hadoop-3.3.1-src.tar.gz
-C /opt/module/                              //解压安装包

(3)配置环境变量

步骤01 通过clay用户执行下面的命令以进行环境变量的配置:


    sudo vim /etc/profile.d/my_env.sh

步骤02 在文件中添加如下变量:


    #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

步骤03 执行下面的命令以使环境变量生效:


    source /etc/profile

步骤04 执行下面命令以检查是否设置成功:


    hadoop-version