3.2.3 构建Spark的IntelliJ IDEA开发环境_Spark核心技术与高级应用-QQ阅读男生轻小说网

书名：Spark核心技术与高级应用
作者名：于俊等
本章字数：1623字
更新时间：2023-02-02 15:30:39

3.2 构建Spark的开发环境

无论Windows或Linux操作系统，构建Spark开发环境的思路一致，基于Eclipse或Idea，通过Java、Scala或Python语言进行开发。安装之前需要提前准备好JDK、Scala或Python环境，然后在Eclipse中下载安装Scala或Python插件。

3.2.1 准备环境

准备环境包括JDK、Scala和Python的安装。

1.安装JDK

（1）下载JDK（1.7以上版本）

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html。

（2）配置环境变量（以Windows为例）

新增JAVA_HOME变量，值：C:\Program Files\Java\jdk1.7.0_71。

新增CLASSPATH变量，值：.;%JAVA_HOME%\lib。

增加PATH变量，补充;%JAVA_HOME%\bin。

进入cmd界面测试JDK是否安装成功。

            C:\Users\admin>java -version
            java version "1.7.0_71"
            Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

2.安装Scala

下载Scala（2.10以上版本），下载地址：http://www.scala-lang.org/download/。

安装完毕配置环境变量，增加PATH变量，补充C:\Program Files (x86)\scala\bin;。

进入cmd界面测试Scala是否安装成功。

            C:\Users\admin>scala
            Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_7
            Type :help for more information.

3.安装Python

下载Python，下载地址：https://www.python.org/downloads/。

安装完毕配置环境变量，增加PATH变量，补充C:\Python33;。

进入cmd界面测试Python是否安装成功。

            C:\Users\admin>python
            Python 3.3.5 (v3.3.5:62cf4e77f785, Mar   9 2014, 10:37:12) [MSC v.1600 32 bit
            (Intel)] on win32
            Type "help", "copyright", "credits" or "license" for more information.

3.2.2 构建Spark的Eclipse开发环境

使用Eclipse进行Spark开发，需要安装Scala和Python插件，安装步骤如下：

1）安装Eclipse，在官网下载Eclipse，解压缩到本地后直接使用即可。

2）安装Scala插件，打开Eclipse，依次选择“Help”→“Install New Software…”，在选项里填入http://download.scala-ide.org/sdk/e38/scala210/stable/site/，并按回车键，如图3-1所示，选择Scala IDE for Eclipse和Scala IDE for Eclipse development support，完成Scala插件在Eclipse上的安装。

图3-1 Eclipse安装Scala插件

3）安装Python插件，与安装Scala插件一样，打开Eclipse，利用Eclipse Update Manager安装PyDev。在Eclipse菜单栏中找到Help栏，选择“Help”→“Install New Software”命令，在弹出的Install界面中点击“Add”按钮，会弹出“Add Repository”界面，在名称项输入PyDev；在链接里输入地址，如https://dl.bintray.com/fabioz/pydev/all/，然后点击“OK”按钮。接下来，Eclipse的Update Manager将会在刚才输入的站点中搜索安装包，选中搜索出的结果PyDev，并点击“Next”按钮，等待一段时间，PyDev会安装成功。

安装完毕PyDev之后，配置Python/Jython解释器，在Eclipse菜单栏中，选择“Window”→“Preferences”→“Pydev”→“Interpreter - (Python/Jython)”命令。

重启Eclipse使安装生效。

3.2.3 构建Spark的IntelliJ IDEA开发环境

除了使用Eclipse进行Spark程序开发之外，Spark支持的另外一种开发工具是IntelliJ IDEA；下载地址：http://www.jetbrains.com/idea/。

官方提供了Ultimate版和Community版可供选择，主要区别如下：

1）Ultimate版功能齐全的IDE，支持Web和Enterprise，免费试用30天，由官方提供一个专有的开发工具集和架构支持。

2）Community版支持Java、Groovy、Scala、Android的开发，免费并且开源，由社区进行支持。

作者使用的版本是ideaIC-14.1.4，请选择适合的操作系统进行安装。

提示

如何安装IntelliJ IDEA?

□ Windows ：直接运行.exe文件，按照向导步骤操作即可。

□ Mac OS X：打开.dmg包，并复制IntelliJ IDEA到应用文件夹。

□ Linux：解压.tar.gz压缩包，并运行bin/idea.sh（需要在环境变量PATH中加入IDEA目录，并执行source命令使配置文件生效）。

根据实际需求，我们选择Windows系统的Community版本进行Scala程序的开发。步骤包括：安装Scala插件和创建项目并在IDEA中编写Scala代码。

1. 安装Scala插件

① 运行IDEA并安装和配置IDEA的Scala开发插件，启动程序界面如图3-2所示，此时需要选择“Conf igure”，然后进入IDEA的配置页面。

图3-2 选择“Conf igure”

② 在IDEA的配置页面选择“Plugins”（见图3-3），进入插件安装界面。

图3-3 选择“Plugins”

③ 点击安装界面左下角的“Install JetBrains plugin”选项，进入JetBrains插件选择页面，如图3-4所示。

图3-4 JetBrains插件选择页面

（如果网络不稳定，可以提前下载，然后选择“Install plugin from disk”本地加载插件，下载地址：http://www.jetbrains.net/conf luence/display/SCA/Scala+Plugin+for+IntelliJ+IDEA。）④ 在左上方的输入框中输入“Scala”来查找Scala插件，此时点击右侧的“Install plugin”按钮，如图3-5所示。

图3-5 安装Scala Plugin

插件安装完毕，重启IDEA。

2. 创建项目并在IDEA中编写Scala代码

① 进入首页（见图3-2），选择“Create New Project”命令，此时选择左侧列表中的“Scala”选项，为了方便以后的开发工作，选择右侧的“SBT”选项，如图3-6所示。

图3-6 建立Scala的SBT项目

② 点击“Next”按钮进入下一步，设置Scala工程名称和本地目录（见图3-7），选择SDK、SBT、Scala版本，点击“Finish”按钮完成工程的创建。

图3-7 设置工程名称和本地目录

③ 由于在前面选择了“SBT”选项，所以此时IDEA智能地构建SBT工具：点击工程名称“HelloSpark”，可以看到SBT自动创建的一些目录，如图3-8所示。

图3-8 SBT自动创建的一些目录

④ 此时右击src目录下main中的scala，在弹出的“New”菜单下选择“Scala Class”，在弹出的“Create New Scala Class”对话框中输入文件名“HelloSpark”，把Kind选择为“Object”，点击“OK”按钮完成，如图3-9所示。

图3-9 点击“OK”按钮确认创建Object

⑤ 编写“HelloSpark”的源代码，点击代码区，出现下拉菜单视图，选择“Run ‘Hello-Spark’”运行程序，如图3-10所示。

图3-10 选择运行程序的命令

3. 加入Spark开发包

使用IDEA导入外部Jar包，具体步骤：“File”→“Project Structure”→“Modules”→“De pendencies”→+...→“Library...”→“Library Type（Java）”→“Select Library Files”→“Conf igure Library”，以添加spark-assembly-1.5.0-hadoop2.3.0.jar为例，添加步骤如下：

① 点击“File”，选择“Project Structure”，如图3-11所示。