Apache Solr On Hadoop

Solr可以与Hadoop一起使用。由于Hadoop处理大量数据，Solr帮助我们从如此庞大的源中查找所需信息。在本节中，让我们了解如何在系统上安装Hadoop。

正在下载Hadoop

下面给出了将Hadoop下载到您的系统上的步骤。

第1步 - 转到Hadoop的主页。您可以使用链接 - https://hadoop.apache.org/ 。单击链接版本，如以下屏幕截图中所示。

Hadoop主页

它会将您重定向到 Apache Hadoop Releases 页面，其中包含各种Hadoop版本的源和二进制文件镜像的链接，如下所示

Hadoop发布

第2步 - 选择最新版本的Hadoop（在我们的教程中，它是2.6.4）并单击其 二进制链接 。它将带您进入可以使用Hadoop二进制文件镜像的页面。单击其中一个镜像以下载Hadoop。

从命令提示符下载Hadoop

打开Linux终端并以超级用户身份登录。

$ su
password:

转到需要安装Hadoop的目录，并使用之前复制的链接将文件保存在那里，如以下代码块所示。

# cd /usr/local
# wget http://redrockdigimark.com/apachemirror/hadoop/common/hadoop-
2.6.4/hadoop-2.6.4.tar.gz

下载Hadoop后，使用以下命令将其解压缩。

# tar zxvf hadoop-2.6.4.tar.gz  
# mkdir hadoop
# mv hadoop-2.6.4/* to hadoop/
# exit

安装Hadoop

按照下面给出的步骤以伪分布式模式安装 Hadoop 。

第1步：设置Hadoop

您可以通过将以下命令附加到 〜/ .bashrc 文件来设置Hadoop环境变量。

export HADOOP_HOME = /usr/local/hadoop export
HADOOP_MAPRED_HOME = $HADOOP_HOME export
HADOOP_COMMON_HOME = $HADOOP_HOME export
HADOOP_HDFS_HOME = $HADOOP_HOME export
YARN_HOME = $HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR = $HADOOP_HOME/lib/native
export PATH = $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL = $HADOOP_HOME

接下来，将所有更改应用于当前运行的系统。

$ source ~/.bashrc

第2步：Hadoop配置

您可以在“$ HADOOP_HOME / etc /hadoop”位置找到所有Hadoop配置文件。需要根据您的Hadoop基础结构对这些配置文件进行更改。

$ cd $HADOOP_HOME/etc/hadoop

要在Java中开发Hadoop程序，必须通过将 JAVA_HOME 值替换为系统中Java的位置来重置 hadoop-env.sh 文件中的Java环境变量。

export JAVA_HOME = /usr/local/jdk1.7.0_71

以下是您必须编辑以配置Hadoop的文件列表 -

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

core-site.xml

该 core-site.xml 文件包含信息，诸如读/写缓冲器的用于Hadoop的实例的端口号，分配给文件系统的存储器，存储器限制，用于存储数据，和大小。

打开core-site.xml并在<configuration>,</ configuration>标记内添加以下属性。

<configuration>
   <property>     
      <name>fs.default.name</name>     
      <value>hdfs://localhost:9000</value>   
   </property>
</configuration>

HDFS-site.xml中

在 HDFS-的site.xml 文件中包含的信息，如复制数据的价值， 名称节点 路径和 数据节点 的本地文件系统的路径。它表示您希望存储Hadoop基础结构的位置。

让我们假设以下数据。

dfs.replication (data replication value) = 1  

(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode  

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件，并在<configuration>，</configuration>标记内添加以下属性。

<configuration>
   <property>     
      <name>dfs.replication</name>     
      <value>1</value>   
   </property>  

   <property>     
      <name>dfs.name.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>   
   </property>  

   <property>     
      <name>dfs.data.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>   
   </property>
</configuration>

注 - 在上述文件中，所有属性值都是用户定义的，您可以根据Hadoop基础结构进行更改。

纱的site.xml

此文件用于将yarn配置为Hadoop。打开yarn-site.xml文件，并在此文件中的，</ configuration>标记之间添加以下属性。

<configuration>
   <property>     
      <name>yarn.nodemanager.aux-services</name>     
      <value>mapreduce_shuffle</value>   
   </property>
</configuration>

mapred-site.xml中

该文件用于指定我们使用的MapReduce框架。默认情况下，Hadoop包含yarn-site.xml的模板。首先，需要使用以下命令将文件从 mapred-site，xml.template复制 到 mapred-site.xml 文件。

$ cp mapred-site.xml.template mapred-site.xml

打开 mapred-site.xml 文件，并在<configuration>，</ configuration>标记内添加以下属性。

<configuration>
   <property>     
      <name>mapreduce.framework.name</name>     
      <value>yarn</value>   
   </property>
</configuration>

验证Hadoop安装

以下步骤用于验证Hadoop安装。

第1步：命名节点设置

使用命令“hdfs namenode -format”设置namenode，如下所示。

$ cd ~
$ hdfs namenode -format

预期结果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost/192.168.1.11
STARTUP_MSG:   args = [-format] STARTUP_MSG:   version = 2.6.4
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1
images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

第2步：验证Hadoop dfs

以下命令用于启动Hadoop dfs。执行此命令将启动Hadoop文件系统。

$ start-dfs.sh

预期产量如下

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

第3步：验证纱线脚本

以下命令用于启动Yarn脚本。执行此命令将启动您的Yarn恶魔。

$ start-yarn.sh

预期产量如下 -

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-2.6.4/logs/yarn-
hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.6.4/logs/yarn-hadoop-nodemanager-localhost.out

第4步：在浏览器上访问Hadoop

访问Hadoop的默认端口号是50070.使用以下URL在浏览器上获取Hadoop服务。

http://localhost:50070/

访问Hadoop

在Hadoop上安装Solr

按照下面给出的步骤下载并安装Solr。

步骤1

点击以下链接打开Apache Solr的主页 - https://lucene.apache.org/solr/

Solr主页

第2步

单击 下载按钮 （在上面的屏幕截图中突出显示）。点击后，您将被重定向到您拥有各种Apache Solr镜像的页面。选择一个镜像并单击它，这将重定向到一个页面，您可以在其中下载Apache Solr的源文件和二进制文件，如以下屏幕截图所示。

Apache镜像

第3步

单击时，将在系统的下载文件夹中下载名为 Solr-6.2.0.tqz 的文件夹。提取下载文件夹的内容。

步骤4

在Hadoop主目录中创建名为Solr的文件夹，并将解压缩的文件夹的内容移动到该文件夹，如下所示。

$ mkdir Solr
$ cd Downloads
$ mv Solr-6.2.0 /home/Hadoop/

验证

浏览Solr主目录的 bin 文件夹，并使用 version 选项验证安装，如以下代码块所示。

$ cd bin/
$ ./Solr version
6.2.0

设置家和路径

使用以下命令打开 .bashrc 文件 -

[Hadoop@localhost ~]$ source ~/.bashrc

现在为Apache Solr设置home和path目录，如下所示

export SOLR_HOME = /home/Hadoop/Solr  
export PATH = $PATH:/$SOLR_HOME/bin/

打开终端并执行以下命令 -

[Hadoop@localhost Solr]$ source ~/.bashrc

现在，您可以从任何目录执行Solr的命令。