Apache Spark安装 Apache Spark RDD Apache Spark核心编程 Spark是Hadoop的子项目。因此，最好将Spark安装到基于Linux的系统中。以下步骤显示如何安装Apache Spark。 第1步：验证Java安装 Java安装是安装Spark的强制性内容之一。尝试以下命令来验证JAVA版本。 $java -version 如果Java已经安装在您的系统上，您将看到以下响应 - java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode) 如果您的系统上没有安装Java，请在继续下一步之前安装Java。 第2步：验证Scala安装 你应该使用Scala语言来实现Spark。因此，让我们使用以下命令验证Scala安装。 $scala -version 如果您的系统上已经安装了Scala，您会看到以下响应 - Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL 如果您的系统上没有安装Scala，请继续下一步Scala安装。 第3步：下载Scala 通过访问以下链接下载最新版本的Scala 下载Scala。对于本教程，我们使用的是scala-2.11.6版本。下载后，您会在下载文件夹中找到Scala tar文件。 第4步：安装Scala 按照以下给出的步骤安装Scala。 解压缩Scala tar文件 键入以下命令以提取Scala tar文件。 $ tar xvf scala-2.11.6.tgz 移动Scala软件文件 使用以下命令将Scala软件文件移至相应的目录 （/ usr / local / scala） 。 $ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit 为Scala设置PATH 使用以下命令为Scala设置PATH。 $ export PATH = $PATH:/usr/local/scala/bin 验证Scala安装 安装后，最好验证一下。使用以下命令验证Scala安装。 $scala -version 如果您的系统上已经安装了Scala，您会看到以下响应 - Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL 第5步：下载Apache Spark 通过访问以下链接下载Spark，下载最新版本的Spark。在本教程中，我们使用的是 spark-1.3.1-bin-hadoop2.6 版本。下载完成后，您会在下载文件夹中找到Spark tar文件。 第6步：安装Spark 按照下面给出的步骤安装Spark。 提取Spark tar 以下用于提取spark tar文件的命令。 $ tar xvf spark-1.3.1-bin-hadoop2.6.tgz 移动Spark软件文件 以下用于将Spark软件文件移至相应目录 （/ usr / local / spark）的命令 。 $ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit 为Spark设置环境 将以下行 添加到〜/ .bashrc 文件中。这意味着将spark软件文件所在的位置添加到PATH变量中。 export PATH = $PATH:/usr/local/spark/bin 使用以下命令获取〜/ .bashrc文件。 $ source ~/.bashrc 第7步：验证Spark安装 编写下面的命令来打开Spark shell。 $spark-shell 如果spark安装成功，你会发现下面的输出。 Spark assembly has been built with Hive, including Datanucleus jars on classpath Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.4.0 /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) Type in expressions to have them evaluated. Spark context available as sc scala> Apache Spark RDD Apache Spark核心编程
