読者です 読者をやめる 読者になる 読者になる

わさび唐辛子

いざという時のための備忘録

【Apache Spark】Windows環境へのApache Spark導入

Windows + Apache Spark

 

Sparkが最近気になる。

なので、少しずつお勉強しようかと。

 

SparkはUnixベースの環境で使うのが一般的(?)らしいけど、メインで使っているのはWindowsなので、Windows環境でお勉強できたらな、と。

ゆくゆくLinuxに加えてクラスタ環境を構築できればいいな。。。

 

環境構築は以下のページをゴリゴリに参考にしています。

(参考というか、猿マネ・・・)

qiita.com 

 

1.Apache Sparkのダウンロード

Sparkは以下のサイトからダウンロードする。

http://spark.apache.org/downloads.html

今回は以下を選択しました。

・Spark release:1.5.2

・packeage type:Source Code [can build several Hadoop versions]

 

ダウンロードしたtgzファイルを解凍すると、

 spark-1.5.2

というフォルダができました。

こいつを任意の場所に。

 

2.Sparkをビルドする

まずは、spark-1.5.2\sbtフォルダ内に、

 sbt-launch.jar

を配置する。

自分の場合は以前にsbtを入れた際にsbtのフォルダに入っていたので、そいつをコピーしてきて配置。

 

次に、spark-1.5.2\sbtフォルダ内に、

 sbt.bat

を作成する。

中身は以下のとおり。

@echo off
set SPARK_HOME=%~dp0..
echo %SPARK_HOME%
java -Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M -jar %SPARK_HOME%\sbt\sbt-launch.jar %*

 

 で、spark-1.5.2フォルダに移動してから

 sbt\sbt.bat assembly

を実行してしばらく待つこと1.5時間・・・(長いな!)

f:id:louvre24:20160107012819p:plain

 

3.動作確認

bin\spark-shellを実行。

f:id:louvre24:20160107012927p:plain

 

 

思ったより時間がかかって疲れたので、今日はここまで。

 

広告を非表示にする