etc30 VirtualBox에서 Spark Clustering 구성하기 - (2) Install & port configuration 2019/08/30 - [Dev/Spark] - VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 deep-dive-dev.tistory.com Install & port configuration Install anaconda3 wget https://repo.anaconda.com/a.. 2019. 8. 30. VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 떠먹여 줘야 할 수 있는 사람들이 보고 따라하기엔 너무나도 힘든 여정들이었다. 그래서 VirtualBox 네트워크 설정부터 Livy로 remote에 구축된 spark clustering에 작업을 요청하는 것까지 총 3개의 글에 걸쳐 상세하게 다시 정리해보았다. 예시로 사용된 guest OS는 Ubuntu16.04며 이미 guest OS 생성은 완료되어 있다고 가정한다. 참고로 생성할 때 디스크와 메모리 용량을 낭낭하게 잡아두는 것을 추천한다. 아무 생각 없이 기본 설정대로 만들었다가 용량이.. 2019. 8. 30. Mac, Windows에서 Zeppelin 설치 및 설정 한동안 spark 개발 환경을 zeppelin을 이용해서 구성하려고 이런저런 삽질들을 많이 했었다. 결국 Windows 환경 지원도 제대로 안 되고(링크 참고), 업뎃도 요즘 안 되는듯하여 jupyter lab으로 갈아타게 되었다. 그래도 혹시나 zeppelin을 이용한 spark 분석 환경을 구성하는 분들에게 도움이 되고자 정리해보았다. 참고로 버전 충돌도 엄청 심해서 Zeppelin 0.8.0 version에서 Spark 2.2.3 version, Java 8 version의 조합으로만 정상적으로 동작한다. 이 사실을 알기까지 원인도 모를 에러로 며칠이나 고생을 했는지 모른다.😇 설치 방법은 Zeppelin Install Guide 공식문서를 참고하였다. Install in Mac Zeppelin 다.. 2019. 8. 30. openssl에서 unable to write 'random state' 에러 발생원인 및 해결법 $ openssl genrsa -aes256 -out rootca.key 2048 Generating RSA private key, 2048 bit long modulus .....................................+++ ......................+++ unable to write 'random state' e is 65537 (0x10001) openssl 사용 중 unable to write 'random state'라는 오류 메시지가 발생한다면 윈도우 명령창을 관리자 권한으로 실행한다. 윈도우 이외의 OS에서는 sudo 명령을 사용하면 된다. openssl는 인증서를 생성할 때 랜덤 값을 생성하는데 해당 파일을 생성하지 못해서 발생하.. 2019. 8. 30. 이전 1 ··· 4 5 6 7 8 다음
