dataengineering2 [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.2 (데이터엔지니어링) 2024.11.27 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 - 1 (코인 데이터 활용, 데이터 파이프라인 설계) [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 - 1 (코인 데이번 포스팅은 코인 데이터를 활용한 모의투자를 게임으로 제작한 "코인 예측왕"이라는 게임을 개발한 내용으로 작성하겠다.1. 코인 데이터를 활용하게 된 계기일단, 코인 데이터를 활용해서 모dont-make-excuses.tistory.com전 포스팅에서 게임 개발을 하게 된 계기와 아키텍처 설계에 대한 글을 작성했다.이번 글은 본격적인 데이터엔지니어링 개발 내용에 대해 다뤄보도록 하겠다.데이터엔지니어링 파트 개발데이터 엔지니어링.. 2024. 11. 29. Apache Spark & Hadoop 클러스터 구축 및 설정 이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터를 구축할 수 있지만, 주기적으로 비용이 발생하고 학생이라 비용 문제로 기존에 있는 SBC(Single Board Computer)를 사용해 직접 클러스터를 구축하였다클러스터 케이스 같은 경우 직접 모델링 해서 학교에 있는 3D 프린터기를 사용하여 출력해서 케이스를 만들어줬다(원래는 한옥 모양으로 만들었으나, 발열 문제로 제거했음)네트워크는 공유기를 사용해서 클러스터 노드 끼리 같은 내부 망을 사용하도록 했고, 랜선 허브를 통해 유선으로 연결하였다. 아직 미숙한 클러스터 구축이지만,.. 2024. 3. 13. 이전 1 다음
