spark6 [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.5 (개발과정에서의 시행착오) 이번 포스팅은 코인예측왕 게임을 개발하면서 내가 특정 기술이나 로직을 선택한 이유와 겪은 시행착오, 에러에 대해 작성하겠다.아마, 개발 결과보다 개발하면서 어떤 문제가 있었고, 어떻게 해결했는지에 대한 설명이 더 중요할 수도 있다. 그래서, 이에 대한 파트를 아예 따로 다뤄보겠다. 그리고 전 파트들에서 다룬 시행착오나 에러들도 다시 다룰 수도 있다.전에 개발한 프로젝트에 대해 작성하는 것이라서, 에러가 발생했을 때 많이 기록해두지 않은 것에 대해 후회가 된다..그래도 최대한 있는 자료로 많이 작성해보겠다! 2024.11.30 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.4 (게임 소개) [데이터엔지니어링] 실시간 코인 데이터를 활용한 .. 2024. 12. 4. 2024년 한국종합컴퓨터 학술대회(KCC2024) 논문 발표 후기 논문 주제나 작성 정보는 이전 글을 참고해주시면 좋습니다!2024.09.23 - [논문] - '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기 '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기전 포스팅에서 실험한 내용을 바탕으로 논문을 작성하였기 때문에, 이전 포스팅을 참고해주시면 좋습니다! 2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데dont-make-excuses.tistory.com2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데이터.. 2024. 9. 27. '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기 전 포스팅에서 실험한 내용을 바탕으로 논문을 작성하였기 때문에, 이전 포스팅을 참고해주시면 좋습니다! 2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데이터 분석 수행 시간 비교앞 포스팅에서 구축한 라즈베리파이 클러스터로 '에어코리아'에서 제공하는 미세먼지 데이터를 분석 작업을 수행하고, 짧은 수행 시간을 확인하였음이번 포스팅에선 라즈베리파이 클러스터에dont-make-excuses.tistory.com2024.09.21 - [논문] - 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석이전 포스팅에서.. 2024. 9. 23. Pandas, Apache Spark 데이터 분석 수행 시간 비교 앞 포스팅에서 구축한 라즈베리파이 클러스터로 '에어코리아'에서 제공하는 미세먼지 데이터를 분석 작업을 수행하고, 짧은 수행 시간을 확인하였음이번 포스팅에선 라즈베리파이 클러스터에서 진행한 데이터 분석을 PC에서 Pandas로 같은 분석 작업을 수행하고, 수행 시간을 비교 해보고자 함이전 포스팅 참고 2024.09.21 - [논문] - 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석이전 포스팅에서 다룬 Apache Spark & Hadoop 프레임워크를 라즈베리파이5 클러스터에 적용한 상태이다.2024.03.13 - [분류 전체보기] - Apache Spark & Hadoop 클러스터 구축 .. 2024. 9. 21. 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 이전 포스팅에서 다룬 Apache Spark & Hadoop 프레임워크를 라즈베리파이5 클러스터에 적용한 상태이다.2024.03.13 - [분류 전체보기] - Apache Spark & Hadoop 클러스터 구축 및 설정 Apache Spark & Hadoop 클러스터 구축 및 설정이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터dont-make-excuses.tistory.com이번 포스팅에서는 에어코리아에서 제공하는 미세먼지 데이터를 라즈베리파이 클러스터에서 Spark을 사용한 데이터 분석에 관한 글을 작성할 것이다. 1. 에.. 2024. 9. 21. Apache Spark & Hadoop 클러스터 구축 및 설정 이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터를 구축할 수 있지만, 주기적으로 비용이 발생하고 학생이라 비용 문제로 기존에 있는 SBC(Single Board Computer)를 사용해 직접 클러스터를 구축하였다클러스터 케이스 같은 경우 직접 모델링 해서 학교에 있는 3D 프린터기를 사용하여 출력해서 케이스를 만들어줬다(원래는 한옥 모양으로 만들었으나, 발열 문제로 제거했음)네트워크는 공유기를 사용해서 클러스터 노드 끼리 같은 내부 망을 사용하도록 했고, 랜선 허브를 통해 유선으로 연결하였다. 아직 미숙한 클러스터 구축이지만,.. 2024. 3. 13. 이전 1 다음
