전체 글19 [Hadoop] Apache Hadoop - HDFS(Hadoop Distributed File System) 이전 포스팅에서는 Hadoop과 Hadoop의 MapReduce에 대해 알아보았다.2024.11.08 - [Hadoop] - [Hadoop] Apache Hadoop - MapReduce [Hadoop] Apache Hadoop - MapReduce글을 작성하기에 앞서..데이터 엔지니어링을 공부하기 시작하면 먼저 Hadoop ecosystem를 접하게 된다.Hadoop ecosystem을 보면 다뤄야할 프레임워크나 스킬들이 너무 많아서, 배우는 데 오래걸리겠다는dont-make-excuses.tistory.com이번 포스팅에서는 Hadoop의 주요 기능인 HDFS에 대해 알아보겠다.1. HDFS(Hadoop Distributed File System) 정의The Hadoop Distributed File.. 2024. 11. 15. [Hadoop] Apache Hadoop - MapReduce 글을 작성하기에 앞서..데이터 엔지니어링을 공부하기 시작하면 먼저 Hadoop ecosystem를 접하게 된다.Hadoop ecosystem을 보면 다뤄야할 프레임워크나 스킬들이 너무 많아서, 배우는 데 오래걸리겠다는 생각이 들었다.이번 포스팅은 그 중에 Apache Hadoop 프레임워크에 대해 다뤄보고자 한다.Apache Hadoop이란?The Apache Hadoop software libary is a framework that allows for the distributed processing of large data sets across clusters of computers using programming models. It is designed to scale up from single .. 2024. 11. 8. 2024년 한국종합컴퓨터 학술대회(KCC2024) 논문 발표 후기 논문 주제나 작성 정보는 이전 글을 참고해주시면 좋습니다!2024.09.23 - [논문] - '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기 '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기전 포스팅에서 실험한 내용을 바탕으로 논문을 작성하였기 때문에, 이전 포스팅을 참고해주시면 좋습니다! 2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데dont-make-excuses.tistory.com2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데이터.. 2024. 9. 27. '사물인터넷 환경 저비용 대용량 데이터 분석 시스템 설계 및 성능 비교' 논문 작성 후기 전 포스팅에서 실험한 내용을 바탕으로 논문을 작성하였기 때문에, 이전 포스팅을 참고해주시면 좋습니다! 2024.09.21 - [논문] - Pandas, Apache Spark 데이터 분석 수행 시간 비교 Pandas, Apache Spark 데이터 분석 수행 시간 비교앞 포스팅에서 구축한 라즈베리파이 클러스터로 '에어코리아'에서 제공하는 미세먼지 데이터를 분석 작업을 수행하고, 짧은 수행 시간을 확인하였음이번 포스팅에선 라즈베리파이 클러스터에dont-make-excuses.tistory.com2024.09.21 - [논문] - 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석이전 포스팅에서.. 2024. 9. 23. Pandas, Apache Spark 데이터 분석 수행 시간 비교 앞 포스팅에서 구축한 라즈베리파이 클러스터로 '에어코리아'에서 제공하는 미세먼지 데이터를 분석 작업을 수행하고, 짧은 수행 시간을 확인하였음이번 포스팅에선 라즈베리파이 클러스터에서 진행한 데이터 분석을 PC에서 Pandas로 같은 분석 작업을 수행하고, 수행 시간을 비교 해보고자 함이전 포스팅 참고 2024.09.21 - [논문] - 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석이전 포스팅에서 다룬 Apache Spark & Hadoop 프레임워크를 라즈베리파이5 클러스터에 적용한 상태이다.2024.03.13 - [분류 전체보기] - Apache Spark & Hadoop 클러스터 구축 .. 2024. 9. 21. 라즈베리파이 클러스터 Spark DataFrame 에어코리아 미세먼지 데이터 분석 이전 포스팅에서 다룬 Apache Spark & Hadoop 프레임워크를 라즈베리파이5 클러스터에 적용한 상태이다.2024.03.13 - [분류 전체보기] - Apache Spark & Hadoop 클러스터 구축 및 설정 Apache Spark & Hadoop 클러스터 구축 및 설정이번 글에서는 나의 환경에 맞는 Apache Spark과 Hadoop 클러스터 구축에 대한 방법을 소개하겠다하드웨어 환경 - SingleBoard Computer(라즈베리파이, 라떼판다) 사용 클라우드 서버를 사용해서 클러스터dont-make-excuses.tistory.com이번 포스팅에서는 에어코리아에서 제공하는 미세먼지 데이터를 라즈베리파이 클러스터에서 Spark을 사용한 데이터 분석에 관한 글을 작성할 것이다. 1. 에.. 2024. 9. 21. 이전 1 2 3 4 다음
