분류 전체보기86 VirtualBox에서 Spark Clustering 구성하기 - (1) Configuration guest OS Network 장비가 넉넉하지 못하여 VirtualBox에서 Spark Clustering을 구성하여 테스트를 진행하게 되었다. 다른 분들이 올려주신 예제들은 모두 큰 도움은 되었지만 딱 Spark 관련 설정들만 설명해주셔서 나처럼 떠먹여 줘야 할 수 있는 사람들이 보고 따라하기엔 너무나도 힘든 여정들이었다. 그래서 VirtualBox 네트워크 설정부터 Livy로 remote에 구축된 spark clustering에 작업을 요청하는 것까지 총 3개의 글에 걸쳐 상세하게 다시 정리해보았다. 예시로 사용된 guest OS는 Ubuntu16.04며 이미 guest OS 생성은 완료되어 있다고 가정한다. 참고로 생성할 때 디스크와 메모리 용량을 낭낭하게 잡아두는 것을 추천한다. 아무 생각 없이 기본 설정대로 만들었다가 용량이.. 2019. 8. 30. Mac, Windows에서 Zeppelin 설치 및 설정 한동안 spark 개발 환경을 zeppelin을 이용해서 구성하려고 이런저런 삽질들을 많이 했었다. 결국 Windows 환경 지원도 제대로 안 되고(링크 참고), 업뎃도 요즘 안 되는듯하여 jupyter lab으로 갈아타게 되었다. 그래도 혹시나 zeppelin을 이용한 spark 분석 환경을 구성하는 분들에게 도움이 되고자 정리해보았다. 참고로 버전 충돌도 엄청 심해서 Zeppelin 0.8.0 version에서 Spark 2.2.3 version, Java 8 version의 조합으로만 정상적으로 동작한다. 이 사실을 알기까지 원인도 모를 에러로 며칠이나 고생을 했는지 모른다.😇 설치 방법은 Zeppelin Install Guide 공식문서를 참고하였다. Install in Mac Zeppelin 다.. 2019. 8. 30. openssl에서 unable to write 'random state' 에러 발생원인 및 해결법 $ openssl genrsa -aes256 -out rootca.key 2048 Generating RSA private key, 2048 bit long modulus .....................................+++ ......................+++ unable to write 'random state' e is 65537 (0x10001) openssl 사용 중 unable to write 'random state'라는 오류 메시지가 발생한다면 윈도우 명령창을 관리자 권한으로 실행한다. 윈도우 이외의 OS에서는 sudo 명령을 사용하면 된다. openssl는 인증서를 생성할 때 랜덤 값을 생성하는데 해당 파일을 생성하지 못해서 발생하.. 2019. 8. 30. Netty의 주요 특징 - 비동기, 이벤트 기반 Netty는 비동기 이벤트 기반 네트워크 애플리케이션 프레임워크로써 유지보수를 고려한 고성능 프로토콜 서버와 클라이언트를 빠르게 개발할 수 있다. Netty 홈페이지에는 Netty를 위와 같이 정의한다. 나는 각 용어의 개념과 의미를 구분 짓는 것에 약하므로(ㅠㅠ) Netty를 이해하기 위해 몇몇 키워드들에 대해 정리해보았다. Keyword 1. 비동기 동기 vs 블로킹, 비동기 VS 논블로킹 비동기를 떠올리면 자연스럽게 동기, 블로킹, 논블로킹이라는 단어들도 함께 떠오른다. 대충 동기와 블로킹이 호출한 후 다른 일을 하지 못하고 대기한다는 점에서 비슷하고, 비동기와 논블로킹이 호출한 후 다른 일을 수행할 수 있다는 점에서 비슷한건 알지만 정확한 차이가 뭔지는 정확하게 설명하기 어렵다. 여기저기에서 긁어.. 2019. 8. 30. 이전 1 ··· 17 18 19 20 21 22 다음
