Yarn2 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 이전 포스팅에서 다룬 Apache Spark & Hadoop 프레임워크를 라즈베리파이5 클러스터에 적용한 상태이다.2024.03.13 - [분류 전체보기] - Apache Spark & Hadoop 클러스터 구축 및 설정 Apache Spark & Hadoop 클러스터 구축 및 설정이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터dont-make-excuses.tistory.com이번 포스팅에서는 에어코리아에서 제공하는 미세먼지 데이터를 라즈베리파이 클러스터에서 Spark을 사용한 데이터 분석에 관한 글을 작성할 것이다. 1. 에.. 2024. 9. 21. Apache Spark & Hadoop 클러스터 구축 및 설정 이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터를 구축할 수 있지만, 주기적으로 비용이 발생하고 학생이라 비용 문제로 기존에 있는 SBC(Single Board Computer)를 사용해 직접 클러스터를 구축하였다클러스터 케이스 같은 경우 직접 모델링 해서 학교에 있는 3D 프린터기를 사용하여 출력해서 케이스를 만들어줬다(원래는 한옥 모양으로 만들었으나, 발열 문제로 제거했음)네트워크는 공유기를 사용해서 클러스터 노드 끼리 같은 내부 망을 사용하도록 했고, 랜선 허브를 통해 유선으로 연결하였다. 아직 미숙한 클러스터 구축이지만,.. 2024. 3. 13. 이전 1 다음
