2024. 9. 26. 14:57

Apache Spark 설치(Windows)

1. JAVA JDK 설치.

https://www.oracle.com/kr/java/technologies/downloads/

 

Download the Latest Java LTS Free

Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts.

www.oracle.com

 

 

스크롤을 내려 11버전으로 설치합니다. 

 

 

 

 

시스템 변수값 설정.

 

설치되면 자바 버전 확인되는지 확인.

 

 

Path 환경 변수값에 추가로 넣어준다.

 

 

2. 파이선 설치.

 

https://www.python.org/downloads/

 

 

 

3. Apache Spark 설치.

https://spark.apache.org/downloads.html

 

Downloads | Apache Spark

Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS by following these procedures. Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides

spark.apache.org

 

 

파일 다운로드후 특정 폴더에 압축을 해지.

 

 

 

 

 

 

 

 

 

 

4. Hadoop 설치.

 

https://github.com/cdarlint/winutils

 

GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows

winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows - cdarlint/winutils

github.com

 

파일 다운로드

 

위 그림에서 보는듯이 Winutils.exe 파일만 다운로드후 D:\Program\Hadoop\ 폴더에 위치했다.

 

 

 

##### 시스템 변수 설정.

 

 

 

 

 

#### 환경 변수값 설정.

 

 

 

 

##### spark-shell 확인.