Hadoop - 多节点群集 Hadoop - 流媒体 本章介绍分布式环境中Hadoop多节点群集的设置。 由于整个集群不能被证明，我们正在使用三个系统（一个主站和两个从站）解释Hadoop集群环境; 下面给出的是他们的IP地址。 Hadoop Master：192.168.1.15（hadoop-master） Hadoop从站：192.168.1.16（hadoop-slave-1） Hadoop从站：192.168.1.17（hadoop-slave-2） 按照以下步骤进行Hadoop多节点群集设置。 安装Java Java是Hadoop的主要先决条件。首先，您应该使用“java -version”来验证系统中是否存在java。java version命令的语法如下所示。 $ java -version 如果一切正常，它会给你以下输出。 java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode) 如果您的系统中未安装java，请按照给定的步骤安装java。 步骤1 下载java（JDK - X64.tar.gz）通过访问以下链接http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 然后将 jdk-7u71-linux-x64.tar.gz 下载到您的系统中。 第2步 通常，您会在Downloads文件夹中找到下载的java文件。验证它并使用以下命令提取 jdk-7u71-linux-x64.gz 文件。 $ cd Downloads/ $ ls jdk-7u71-Linux-x64.gz $ tar zxf jdk-7u71-Linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-Linux-x64.gz 第3步 要使所有用户都可以使用Java，必须将其移动到“/ usr / local /”位置。打开根目录，然后输入以下命令。 $ su password: # mv jdk1.7.0_71 /usr/local/ # exit 步骤4 要设置 PATH 和 JAVA_HOME 变量，请将以下命令添加到 〜/ .bashrc 文件中。 export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH=PATH:$JAVA_HOME/bin 现在如上所述从终端验证 java -version 命令。按照上述过程并在所有群集节点中安装java。 创建用户帐户 在主系统和从系统上创建系统用户帐户以使用Hadoop安装。 # useradd hadoop # passwd hadoop 映射节点 您必须在所有节点上的 / etc / 文件夹中编辑 主机 文件，指定每个系统的IP地址及其主机名。 ** # vi /etc/hosts enter the following lines in the /etc/hosts file. 192.168.1.109 hadoop-master 192.168.1.145 hadoop-slave-1 192.168.56.1 hadoop-slave-2 配置基于密钥的登录 在每个节点中设置ssh，以便它们可以在没有提示输入密码的情况下彼此通信。 # su hadoop $ ssh-keygen -t rsa $ ssh-copy-id -i ~/.ssh/id_rsa.pub codingdict@hadoop-master $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 $ chmod 0600 ~/.ssh/authorized_keys $ exit 安装Hadoop 在主服务器中，使用以下命令下载并安装Hadoop。 # mkdir /opt/hadoop # cd /opt/hadoop/ # wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz # tar -xzf hadoop-1.2.0.tar.gz # mv hadoop-1.2.0 hadoop # chown -R hadoop /opt/hadoop # cd /opt/hadoop/hadoop/ 配置Hadoop 您必须通过进行以下更改来配置Hadoop服务器。 核心的site.xml 打开 core-site.xml 文件并编辑它，如下所示。 <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop-master:9000/</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> HDFS-site.xml中 打开 hdfs-site.xml 文件并进行编辑，如下所示。 <configuration> <property> <name>dfs.data.dir</name> <value>/opt/hadoop/hadoop/dfs/name/data</value> <final>true</final> </property> <property> <name>dfs.name.dir</name> <value>/opt/hadoop/hadoop/dfs/name</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mapred-site.xml中 打开 mapred-site.xml 文件并进行编辑，如下所示。 <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop-master:9001</value> </property> </configuration> hadoop-env.sh 打开 hadoop-env.sh 文件并编辑JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下所示。 注意： 根据您的系统配置设置JAVA_HOME。 export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf 在从服务器上安装Hadoop 按照给定的命令在所有从服务器上安装Hadoop。 # su hadoop $ cd /opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop hadoop-slave-2:/opt/hadoop 在主服务器上配置Hadoop 打开主服务器并按照给定的命令进行配置。 # su hadoop $ cd /opt/hadoop/hadoop 配置主节点 $ vi etc/hadoop/masters hadoop-master 配置从节点 $ vi etc/hadoop/slaves hadoop-slave-1 hadoop-slave-2 Hadoop Master上的格式名称节点 # su hadoop $ cd /opt/hadoop/hadoop $ bin/hadoop namenode –format 11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hadoop-master/192.168.1.109 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.0 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits …………………………………………………. …………………………………………………. …………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/ 启动Hadoop服务 以下命令将启动Hadoop-Master上的所有Hadoop服务。 $ cd $HADOOP_HOME/sbin $ start-all.sh 在Hadoop集群中添加新的DataNode 下面给出了将新节点添加到Hadoop集群的步骤。 联网 使用一些适当的网络配置将新节点添加到现有Hadoop群集。假定以下网络配置。 对于新节点配置： IP address : 192.168.1.103 netmask : 255.255.255.0 hostname : slave3.in 添加用户和SSH访问 添加一个用户 在新节点上，添加“hadoop”用户，并使用以下命令将Hadoop用户的密码设置为“hadoop123”或任何您想要的内容。 useradd hadoop passwd hadoop 设置从主机到新的从机的密码连接性。 在主设备上执行以下操作 mkdir -p $HOME/.ssh chmod 700 $HOME/.ssh ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keys Copy the public key to new slave node in hadoop user $HOME directory scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/ 在从站上执行以下操作 登录到hadoop。如果没有，请登录到hadoop用户。 su hadoop ssh -X hadoop@192.168.1.103 将公钥的内容复制到文件 “$ HOME / .ssh / authorized_keys”中 ，然后通过执行以下命令更改相同的权限。 cd $HOME mkdir -p $HOME/.ssh chmod 700 $HOME/.ssh cat id_rsa.pub >>$HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keys 检查来自主机的ssh登录。现在检查你是否可以在没有密码的情况下进入新节点。 ssh hadoop@192.168.1.103 or hadoop@slave3 设置新节点的主机名 您可以在文件 / etc / sysconfig / network中 设置主机名 ** On new slave3 machine NETWORKING=yes HOSTNAME=slave3.in 要使更改生效，请重新启动计算机或运行hostname命令到具有相应主机名的新计算机（重新启动是个不错的选择）。 在slave3节点机器上： 主机名slave3.in 使用以下命令行更新集群所有机器上的 / etc / hosts ： 192.168.1.102 slave3.in slave3 现在尝试用主机名ping机器以检查它是否解析为IP。 在新节点机器上： ping master.in 在新节点上启动DataNode 使用 $ HADOOP_HOME / bin / hadoop-daemon.sh脚本 手动启动datanode守护进程。它会自动联系主站（NameNode）并加入集群。我们还应该将新节点添加到主服务器中的conf / slaves文件中。基于脚本的命令将识别新节点。 登录到新节点 su hadoop or ssh -X hadoop@192.168.1.103 使用以下命令在新添加的从节点上启动HDFS ./bin/hadoop-daemon.sh start datanode 检查新节点上jps命令的输出。它看起来如下。 $ jps 7141 DataNode 10312 Jps 从Hadoop集群中删除DataNode 我们可以在运行时从群集中移除节点，而不会丢失任何数据。HDFS提供了退役功能，可确保安全地移除节点。要使用它，请按照以下步骤操作： 第1步：登录到主 登录到安装了Hadoop的主机用户。 $ su hadoop 第2步：更改群集配置 在启动群集之前，必须配置排除文件。将一个名为dfs.hosts.exclude的密钥添加到我们的 $ HADOOP_HOME / etc / hadoop / hdfs-site.xml 文件中。与此关联的值提供了NameNode本地文件系统上文件的完整路径，其中包含不允许连接到HDFS的机器列表。 例如，将这些行添加到 etc / hadoop / hdfs-site.xml 文件中。 <property> <name>dfs.hosts.exclude</name> <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> <description>DFS exclude</description> </property> 步骤3：确定要退役的主机 每台要退役的机器应添加到由hdfs_exclude.txt标识的文件中，每行一个域名。这将阻止他们连接到NameNode。的内容 “/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt” 文件如下所示，如果你想删除DataNode2。 slave2.in 第4步：强制配置重新加载 运行不带引号的命令 “$ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes” 。 $ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes 这将强制NameNode重新读取其配置，包括新更新的“排除”文件。它将在一段时间内解散节点，从而允许将每个节点的块复制到计划保持活动状态的计算机上。 在 slave2.in上 ，检查jps命令输出。过了一段时间，你会看到DataNode进程自动关闭。 第5步：关闭节点 退役过程完成后，退役的硬件可以安全关闭进行维护。运行report命令到dfsadmin以检查停用状态。以下命令将描述停用节点以及连接节点与集群的状态。 $ $HADOOP_HOME/bin/hadoop dfsadmin -report 第6步：编辑再次排除文件 一旦机器已经退役，他们可以从“排除”文件中删除。再次运行 “$ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes” 会将排除文件读回到NameNode中; 允许DataNode在维护完成后重新加入集群，或者在集群中再次需要额外的容量等。 特别注意： 如果遵循上述过程并且节点上仍在运行tasktracker进程，则需要关闭它。一种方法是像我们在上述步骤中那样断开机器。大师会自动识别该过程，并宣布死亡。没有必要遵循相同的流程来移除tasktracker，因为它与DataNode相比并不重要。DataNode包含您想要安全移除而不会丢失任何数据的数据。 tasktracker可以在任何时间点通过以下命令随时运行/关闭。 $ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker Hadoop - 流媒体
