Hadoop 多节点集群

本章介绍了分布式环境中Hadoop多节点集群的设置。

由于整个集群无法演示，我们将使用三个系统（一个主节点和两个从节点）解释Hadoop集群环境;下面给出他们的IP地址。

  • Hadoop Master：192.168.1.15（hadoop-master）
  • Hadoop Slave：192.168.1.16（hadoop-slave-1）
  • Hadoop Slave：192.168.1.17（hadoop-slave-2）

按照以下步骤进行Hadoop多节点群集设置。

安装Java

Java是Hadoop的主要先决条件。首先，您应该使用“java -version”验证系统中是否存在java。 java版本命令的语法如下。

  1. $ java -version

如果一切正常，它会给你以下输出。

  1. java version "1.7.0_71" 
  2. Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
  3. Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果系统中没有安装java，请按照给定的步骤安装java。

步骤1

通过访问以下链接下载java（JDK - X64.tar.gz）http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

然后 jdk-7u71-linux-x64.tar.gz 将下载到您的系统。

第2步

通常你会在下载文件夹中找到下载的java文件。使用以下命令验证它并解压缩jdk-7u71-linux-x64.gz文件。

  1. $ cd Downloads/
  2. $ ls
  3. jdk-7u71-Linux-x64.gz
  4. $ tar zxf jdk-7u71-Linux-x64.gz
  5. $ ls
  6. jdk1.7.0_71 jdk-7u71-Linux-x64.gz

第3步

要使java可用于所有用户，您必须将其移动到位置“/ usr / local /”。打开根目录，然后键入以下命令。

  1. $ su
  2. password:
  3. # mv jdk1.7.0_71 /usr/local/
  4. # exit

第4步

要设置PATH和JAVA_HOME变量，请将以下命令添加到〜/.bashrc文件。

  1. export JAVA_HOME=/usr/local/jdk1.7.0_71
  2. export PATH=PATH:$JAVA_HOME/bin

现在如上所述从终端验证java -version命令。按照上述过程并在所有集群节点中安装java。

创建用户帐户

在主系统和从系统上创建系统用户帐户以使用Hadoop安装。

  1. # useradd hadoop 
  2. # passwd hadoop

映射节点

您必须在所有节点上的/ etc / folder中编辑hosts文件，指定每个系统的IP地址，后跟其主机名。

  1. # vi /etc/hosts
  2. enter the following lines in the /etc/hosts file.
  3. 192.168.1.109 hadoop-master 
  4. 192.168.1.145 hadoop-slave-1 
  5. 192.168.56.1 hadoop-slave-2

配置基于Key的登录

在每个节点中设置ssh，以便它们可以彼此通信，而不需要提示输入密码。

  1. # su hadoop 
  2. $ ssh-keygen -t rsa 
  3. $ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
  4. $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
  5. $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
  6. $ chmod 0600 ~/.ssh/authorized_keys 
  7. $ exit

Hadoop安装

在主服务器中，使用以下命令下载并安装Hadoop。

  1. # mkdir /opt/hadoop 
  2. # cd /opt/hadoop/ 
  3. # wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
  4. # tar -xzf hadoop-1.2.0.tar.gz 
  5. # mv hadoop-1.2.0 hadoop
  6. # chown -R hadoop /opt/hadoop 
  7. # cd /opt/hadoop/hadoop/

Hadoop配置

您必须通过进行以下更改来配置Hadoop服务器。

core-site.xml

打开core-site.xml文件并进行编辑，如下所示。

  1. <configuration>
  2.    <property> 
  3.       <name>fs.default.name</name> 
  4.       <value>hdfs://hadoop-master:9000/</value> 
  5.    </property> 
  6.    <property> 
  7.       <name>dfs.permissions</name> 
  8.       <value>false</value> 
  9.    </property> 
  10. </configuration>

hdfs-site.xml

打开hdfs-site.xml文件并进行编辑，如下所示。

  1. <configuration>
  2.    <property> 
  3.       <name>dfs.data.dir</name> 
  4.       <value>/opt/hadoop/hadoop/dfs/name/data</value> 
  5.       <final>true</final> 
  6.    </property> 
  7.  
  8.    <property> 
  9.       <name>dfs.name.dir</name> 
  10.       <value>/opt/hadoop/hadoop/dfs/name</value> 
  11.       <final>true</final> 
  12.    </property> 
  13.  
  14.    <property> 
  15.       <name>dfs.replication</name> 
  16.       <value>1</value> 
  17.    </property> 
  18. </configuration>

mapred-site.xml中

打开mapred-site.xml文件并进行编辑，如下所示。

  1. <configuration>
  2.    <property> 
  3.       <name>mapred.job.tracker</name> 
  4.       <value>hadoop-master:9001</value> 
  5.    </property> 
  6. </configuration>

hadoop-env.sh

打开hadoop-env.sh文件并编辑JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下所示。

注意：根据系统配置设置JAVA_HOME。

  1. export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在从属服务器 Slave上安装Hadoop

按照给定的命令在所有从属服务器 Slave上安装Hadoop。

  1. # su hadoop 
  2. $ cd /opt/hadoop 
  3. $ scp -r hadoop hadoop-slave-1:/opt/hadoop 
  4. $ scp -r hadoop hadoop-slave-2:/opt/hadoop

在主服务器上配置Hadoop

打开主服务器并按照给定的命令配置它。

  1. # su hadoop 
  2. $ cd /opt/hadoop/hadoop

配置主节点

  1. $ vi etc/hadoop/masters
  2. hadoop-master

配置从节点

  1. $ vi etc/hadoop/slaves
  2. hadoop-slave-1 
  3. hadoop-slave-2

格式命名Hadoop Master上的节点

  1. # su hadoop 
  2. $ cd /opt/hadoop/hadoop 
  3. $ bin/hadoop namenode –format
  1. 11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ 
  2. STARTUP_MSG: Starting NameNode 
  3. STARTUP_MSG: host = hadoop-master/192.168.1.109 
  4. STARTUP_MSG: args = [-format] 
  5. STARTUP_MSG: version = 1.2.0 
  6. STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
  7. STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
  8. ………………………………………………….
  9. ………………………………………………….
  10. …………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: 
  11. SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/

启动Hadoop服务

以下命令用于启动Hadoop-Master上的所有Hadoop服务。

  1. $ cd $HADOOP_HOME/sbin
  2. $ start-all.sh

在Hadoop集群中添加新的DataNode

下面给出了将新节点添加到Hadoop集群时需要遵循的步骤。

网络配置

通过一些适当的网络配置向现有Hadoop集群添加新节点。假设以下网络配置。

对于新节点配置： 

  1. IP address : 192.168.1.103 
  2. netmask : 255.255.255.0
  3. hostname : slave3.in

添加用户和SSH访问

添加用户

在新节点上，通过使用以下命令将“hadoop”用户和Hadoop用户的密码添加到“hadoop123”或任何您想要的密码。

  1. useradd hadoop
  2. passwd hadoop

设置从主机到新从属机的密码关联性低。

在主站上执行以下操作

  1. mkdir -p $HOME/.ssh 
  2. chmod 700 $HOME/.ssh 
  3. ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
  4. cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
  5. chmod 644 $HOME/.ssh/authorized_keys
  6. Copy the public key to new slave node in hadoop user $HOME directory
  7. scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

在从站上执行以下操作

登录到hadoop。如果没有，登录到hadoop用户。

  1. su hadoop ssh -X hadoop@192.168.1.103

将公共密钥的内容复制到文件“$ HOME / .ssh / authorized_keys”中，然后通过执行以下命令更改其权限。

  1. cd $HOME
  2. mkdir -p $HOME/.ssh 
  3. chmod 700 $HOME/.ssh
  4. cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
  5. chmod 644 $HOME/.ssh/authorized_keys

检查主机的ssh登录。现在检查是否可以ssh到新节点没有主密码。

  1. ssh hadoop@192.168.1.103 or hadoop@slave3

设置新节点的主机名

您可以在文件/etc /sysconfig /network中设置主机名

  1. On new slave3 machine
  2. NETWORKING=yes 
  3. HOSTNAME=slave3.in

要使更改生效，请重新启动计算机或运行hostname命令到具有相应主机名的新计算机（重新启动是一个好的选项）。

在slave3节点机器上：

主机名 slave3.in

使用以下行在集群的所有计算机上更新/etc/hosts：

  1. 192.168.1.102 slave3.in slave3

现在尝试用主机名ping机器，以检查它是否正在解析到IP。

在新节点机器上：

  1. ping master.in

在新节点上启动DataNode

使用$HADOOP_HOME / bin / hadoop-daemon.sh script手动启动datanode守护程序。它将自动联系主节点（NameNode）并加入集群。我们还应该将新节点添加到主服务器中的conf / slaves文件。基于脚本的命令将识别新节点。

登录新节点

  1. su hadoop or ssh -X hadoop@192.168.1.103

使用以下命令在新添加的从属节点上启动HDFS

  1. ./bin/hadoop-daemon.sh start datanode

在新节点上检查jps命令的输出。它看起来如下。

  1. $ jps
  2. 7141 DataNode
  3. 10312 Jps

从Hadoop集群中删除DataNode

我们可以在运行时从群集中删除节点，而不会有任何数据丢失。 HDFS提供了一个停用功能，确保安全地执行删除节点。要使用它，请按照下面的步骤：

第1步：登录master

登录到安装了Hadoop的主机用户。

  1. $ su hadoop

第2步：更改集群配置

必须在启动集群之前配置排除文件。将名为dfs.hosts.exclude的键添加到我们的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中。与此键相关的值提供了NameNode本地文件系统上文件的完整路径，该文件包含不允许连接到HDFS的计算机列表。

例如，将这些行添加到etc/hadoop/hdfs-site.xml文件。

  1. <property> 
  2.    <name>dfs.hosts.exclude</name> 
  3.    <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
  4.    <description>DFS exclude</description> 
  5. </property>

第3步：确定要停用的主机

要停用的每台计算机都应添加到由hdfs_exclude.txt标识的文件中，每行一个域名。这将阻止他们连接到NameNode。如果要删除DataNode2，“/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容如下所示。

  1. slave2.in

第4步：步骤4：强制配置重新加载

运行命令“$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”，不带引号。

  1. $ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这将强制NameNode重新读取其配置，包括新更新的“excludes”文件。它将在一段时间内停止节点，从而允许将每个节点的块的时间复制到被调度为保持活动的机器上。

在slave2.in上，检查jps命令输出。一段时间后，您将看到DataNode进程被自动关闭。

第5步：关闭节点

在停用过程完成后，停用的硬件可以安全关闭进行维护。运行report命令dfsadmin以检查停用的状态。以下命令将描述退役节点和连接到集群的节点的状态。

  1. $ $HADOOP_HOME/bin/hadoop dfsadmin -report

第6步：编辑再次排除文件

一旦计算机已停用，它们可以从“excludees”文件中删除。再次运行“$ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes”会将excludees文件读回NameNode;允许DataNodes在维护完成后重新加入群集，或者在群集中再次需要额外的容量等。

特别注意：如果遵循上述过程，并且tasktracker进程仍在节点上运行，则需要关闭它。一种方法是断开机器，就像我们在上面的步骤。

tasktracker可以在任何时间点通过以下命令即时运行/关闭。Master将自动识别过程，并宣布为死亡。没有必要遵循相同的过程来删除tasktracker，因为它与DataNode相比并不重要。DataNode包含要安全删除的数据，而不会有任何数据丢失。

tasktracker可以在任何时间点通过以下命令即时运行/关闭。

  1. $ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker