etc/Spark4 VirtualBox에서 Spark Clustering 구성하기 - (3) Test Clustering! 2019/08/30 - [Dev/Spark] - VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 deep-dive-dev.tistory.com 2019/08/30 - [Dev/Spark] - VirtualBox에서 Spark Clustering 구성하기 - (2) Install & p.. 2019. 8. 30. VirtualBox에서 Spark Clustering 구성하기 - (2) Install & port configuration 2019/08/30 - [Dev/Spark] - VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 deep-dive-dev.tistory.com Install & port configuration Install anaconda3 wget https://repo.anaconda.com/a.. 2019. 8. 30. VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 떠먹여 줘야 할 수 있는 사람들이 보고 따라하기엔 너무나도 힘든 여정들이었다. 그래서 VirtualBox 네트워크 설정부터 Livy로 remote에 구축된 spark clustering에 작업을 요청하는 것까지 총 3개의 글에 걸쳐 상세하게 다시 정리해보았다. 예시로 사용된 guest OS는 Ubuntu16.04며 이미 guest OS 생성은 완료되어 있다고 가정한다. 참고로 생성할 때 디스크와 메모리 용량을 낭낭하게 잡아두는 것을 추천한다. 아무 생각 없이 기본 설정대로 만들었다가 용량이.. 2019. 8. 30. Mac, Windows에서 Zeppelin 설치 및 설정 한동안 spark 개발 환경을 zeppelin을 이용해서 구성하려고 이런저런 삽질들을 많이 했었다. 결국 Windows 환경 지원도 제대로 안 되고(링크 참고), 업뎃도 요즘 안 되는듯하여 jupyter lab으로 갈아타게 되었다. 그래도 혹시나 zeppelin을 이용한 spark 분석 환경을 구성하는 분들에게 도움이 되고자 정리해보았다. 참고로 버전 충돌도 엄청 심해서 Zeppelin 0.8.0 version에서 Spark 2.2.3 version, Java 8 version의 조합으로만 정상적으로 동작한다. 이 사실을 알기까지 원인도 모를 에러로 며칠이나 고생을 했는지 모른다.😇 설치 방법은 Zeppelin Install Guide 공식문서를 참고하였다. Install in Mac Zeppelin 다.. 2019. 8. 30. 이전 1 다음
