본문 바로가기

Hadoop3

[Hadoop] YARN(Yet Another Resource Negotiator) 이번 포스팅은 Hadoop의 YARN에 대해 알아보도록 하겠다.내가 계획한 Hadoop 포스팅은 총 3파트로 MapReduce, HDFS, YARN, 이렇게 구성된다.2024.11.08 - [Hadoop] - [Hadoop] Apache Hadoop - MapReduce [Hadoop] Apache Hadoop - MapReduce글을 작성하기에 앞서..데이터 엔지니어링을 공부하기 시작하면 먼저 Hadoop ecosystem를 접하게 된다.Hadoop ecosystem을 보면 다뤄야할 프레임워크나 스킬들이 너무 많아서, 배우는 데 오래걸리겠다는dont-make-excuses.tistory.com2024.11.15 - [Hadoop] - [Hadoop] Apache Hadoop - HDFS(Hadoop D.. 2024. 11. 19.
[Hadoop] Apache Hadoop - HDFS(Hadoop Distributed File System) 이전 포스팅에서는 Hadoop과 Hadoop의 MapReduce에 대해 알아보았다.2024.11.08 - [Hadoop] - [Hadoop] Apache Hadoop - MapReduce [Hadoop] Apache Hadoop - MapReduce글을 작성하기에 앞서..데이터 엔지니어링을 공부하기 시작하면 먼저 Hadoop ecosystem를 접하게 된다.Hadoop ecosystem을 보면 다뤄야할 프레임워크나 스킬들이 너무 많아서, 배우는 데 오래걸리겠다는dont-make-excuses.tistory.com이번 포스팅에서는 Hadoop의 주요 기능인 HDFS에 대해 알아보겠다.1. HDFS(Hadoop Distributed File System) 정의The Hadoop Distributed File.. 2024. 11. 15.
[Hadoop] Apache Hadoop - MapReduce 글을 작성하기에 앞서..데이터 엔지니어링을 공부하기 시작하면 먼저 Hadoop ecosystem를 접하게 된다.Hadoop ecosystem을 보면 다뤄야할 프레임워크나 스킬들이 너무 많아서, 배우는 데 오래걸리겠다는 생각이 들었다.이번 포스팅은 그 중에 Apache Hadoop 프레임워크에 대해 다뤄보고자 한다.Apache Hadoop이란?The Apache Hadoop software libary is a framework that allows for the distributed  processing of large data sets across clusters of computers using programming models. It is designed to scale up from single .. 2024. 11. 8.