데이터 엔지니어링6 [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.5 (개발과정에서의 시행착오) 이번 포스팅은 코인예측왕 게임을 개발하면서 내가 특정 기술이나 로직을 선택한 이유와 겪은 시행착오, 에러에 대해 작성하겠다.아마, 개발 결과보다 개발하면서 어떤 문제가 있었고, 어떻게 해결했는지에 대한 설명이 더 중요할 수도 있다. 그래서, 이에 대한 파트를 아예 따로 다뤄보겠다. 그리고 전 파트들에서 다룬 시행착오나 에러들도 다시 다룰 수도 있다.전에 개발한 프로젝트에 대해 작성하는 것이라서, 에러가 발생했을 때 많이 기록해두지 않은 것에 대해 후회가 된다..그래도 최대한 있는 자료로 많이 작성해보겠다! 2024.11.30 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.4 (게임 소개) [데이터엔지니어링] 실시간 코인 데이터를 활용한 .. 2024. 12. 4. [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.4 (게임 소개) 드디어 게임 소개를 할 차례다..앞서서 포스팅한 part.1은 게임을 개발한 계기 즉 서론이고, part.2, 3은 팀에서 내가 맡은 파트를 설명했던 본론이다.이제 part.4는 "그래서 어떤 게임이 나왔는데?"에 대한 결론을 포스팅 해보겠다.2024.11.30 - [데이터 엔지니어링] - [데이터 엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발-3 (백엔드) [데이터 엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.3(백엔드)2024.11.29 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발-2 (데이터엔지니어링) [데이터엔지니어링] 실시간 코인 데이터를 활용한 모dont-make-e.. 2024. 11. 30. [데이터 엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.3(백엔드) 2024.11.29 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발-2 (데이터엔지니어링) [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발-2 (데이터엔2024.11.27 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 - 1 (코인 데이터 활용, 데이터 파이프라인 설계) [데이터엔지니어링] 실시간dont-make-excuses.tistory.com이번 포스팅에서는 게임 개발 백엔드 파트에 대해 포스팅 하겠다. 백엔드 개발 부턴 프론트 엔드 팀원과 딥러닝/데이터분석 팀원과 같이 맞춰가면서 작업했다.내 팀 프로젝트 중에 좋았던 기억이 별로 없었지만,.. 2024. 11. 30. [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" part.2 (데이터엔지니어링) 2024.11.27 - [데이터 엔지니어링] - [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 - 1 (코인 데이터 활용, 데이터 파이프라인 설계) [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 - 1 (코인 데이번 포스팅은 코인 데이터를 활용한 모의투자를 게임으로 제작한 "코인 예측왕"이라는 게임을 개발한 내용으로 작성하겠다.1. 코인 데이터를 활용하게 된 계기일단, 코인 데이터를 활용해서 모dont-make-excuses.tistory.com전 포스팅에서 게임 개발을 하게 된 계기와 아키텍처 설계에 대한 글을 작성했다.이번 글은 본격적인 데이터엔지니어링 개발 내용에 대해 다뤄보도록 하겠다.데이터엔지니어링 파트 개발데이터 엔지니어링.. 2024. 11. 29. [데이터엔지니어링] 실시간 코인 데이터를 활용한 모의투자 게임 "코인예측왕" 개발 part.1 (코인 데이터 활용, 데이터 파이프라인 설계) 이번 포스팅은 코인 데이터를 활용한 모의투자를 게임으로 제작한 "코인 예측왕"이라는 게임을 개발한 내용으로 작성하겠다.1. 코인 데이터를 활용하게 된 계기일단, 코인 데이터를 활용해서 모의투자 게임을 개발한 계기를 설명해보겠다.처음부터 모의투자 게임을 개발을 생각했던 것은 아니었다. 2024년 9월 비트코인이 7000만원 넘어가고 있을 때 한창 코인이 열풍이라서 코인에 대한 관심이 있었고,한창 데이터 엔지니어링 멘토링을 찾아 다니면서 강연을 듣고 있을 때, 코인 데이터를 활용하여프로젝트를 진행하면 포트폴리오에 도움이 될 거라고 들어서, 코인 데이터를 활용한 프로젝트를 생각하기 시작했다. 처음에는 트레이더하면 떠오르는 다수의 모니터와 그래프들을 보고 미장, 국장, 원자제, 코인 등원하는 데이터를 하나의 모.. 2024. 11. 27. Apache Spark & Hadoop 클러스터 구축 및 설정 이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터를 구축할 수 있지만, 주기적으로 비용이 발생하고 학생이라 비용 문제로 기존에 있는 SBC(Single Board Computer)를 사용해 직접 클러스터를 구축하였다클러스터 케이스 같은 경우 직접 모델링 해서 학교에 있는 3D 프린터기를 사용하여 출력해서 케이스를 만들어줬다(원래는 한옥 모양으로 만들었으나, 발열 문제로 제거했음)네트워크는 공유기를 사용해서 클러스터 노드 끼리 같은 내부 망을 사용하도록 했고, 랜선 허브를 통해 유선으로 연결하였다. 아직 미숙한 클러스터 구축이지만,.. 2024. 3. 13. 이전 1 다음
