하둡1 Apache Spark & Hadoop 클러스터 구축 및 설정 이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터를 구축할 수 있지만, 주기적으로 비용이 발생하고 학생이라 비용 문제로 기존에 있는 SBC(Single Board Computer)를 사용해 직접 클러스터를 구축하였다클러스터 케이스 같은 경우 직접 모델링 해서 학교에 있는 3D 프린터기를 사용하여 출력해서 케이스를 만들어줬다(원래는 한옥 모양으로 만들었으나, 발열 문제로 제거했음)네트워크는 공유기를 사용해서 클러스터 노드 끼리 같은 내부 망을 사용하도록 했고, 랜선 허브를 통해 유선으로 연결하였다. 아직 미숙한 클러스터 구축이지만,.. 2024. 3. 13. 이전 1 다음
