Flamingo Big Data Performance Management Product Documentation It s the Best Big Data Performance Management Solution. Maximize Your Hadoop Cluster with Flamingo. Monitoring, Analyzing, and Visualizing.
Flamingo. Product Documentation CONTENTS 01 제품개요 Overview Architecture 02 주요기능
FLAMINGO OVERVIEW 보기좋게, 쉽게, 빠르게새로워진 Flamingo 쉽고강력한 UX로사용자의편의를가장먼저생각합니다. 통합적인관점에서실시간으로모니터링합니다. 다양한분석애플리케이션의성능데이터를통해가장중요하고상세한정보를제공합니다. Flamingo 는 Big Data 성능관리를위한전문소프트웨어솔루션으로 Hadoop EcoSystem 의가용성및성능을효율적으로관리합니다. Pro-Active 한모니터링기법을제공함으로써문제상황을빠르게인지하고, MapReduce, Hive, Spark 등으로작성한분석애플리케이션의상세한정보를확인하고분석할수있도록합니다. Realtime Monitoring Topology View Powerful Analysis Integrated View Hadoop EcoSystem 에최적화된다양한성능지표의실시간감시 Hive Query> YARN > MapReduce 에이르는추적 YARN, MapReduce, Hive Query 의상세한성능분석 Hadoop EcoSystem 의파편화된모니터링및관리 View 를극복한통합뷰 3
FLAMINGO ARCHITECTURE Hadoop EcoSystem 의성능데이터를최소한의부하로수집하여모니터링및저장 " Hadoop Eco Flamingo Users Collector Repository Database Flamingo Web Browser 4
FLAMINGO ARCHITECTURE Apache Hadoop 의표준에따라개발되어다양한 Hadoop 배포판지원 " 5
FLAMINGO FEATURE. 1 " 직관적이고쉬운사용자인터페이스 " 6
FLAMINGO FEATURE. 2 " 노드별접근방식을통한분석애플리케이션의분배현황 " 7
FLAMINGO FEATURE. 3 배치작업의시간단위 Timeline 모니터링을통한효율적인운영관리 " Oozie Workflow, Coordinator Job 의 1 시간단위의그룹핑 8
FLAMINGO FEATURE. 4 디렉토리에수십만개의파일도거뜬하게표현하는 HDFS 브라우저 " 하나의디렉토리에수십만개의파일을성능저하없이관리하는능력 9
FLAMINGO REAL-TIME FLAMINGO REAL-TIME MONITOR Maximize Hadoop Cluster Performance with Flamingo 10
OVERVIEW Hadoop EcoSystem 성능관리에최적화된 Monitoring View HADOOP CLUSTER VIEW / HIVE VIEW / YARN/MAPREDUCE VIEW / OOZIE VIEW SINGLE VIEW YARN/MAPREDUCE VIEW Hadoop Cluster 핵심모니터링지표에대한집중적인모니터링 YARN/MAPREDUCE 핵심관리항목의모니터링에최적화 HIVE VIEW OOZIE VIEW HIVE 핵심관리항목의모니터링에최적화 OOZIE 핵심관리항목의모니터링에최적화 11
Hadoop Cluster 종합감시를위한전용화면제공 제품화면상세 DASHBOARD VIEW DASHBOARD View 를통해 Hadoop Cluster 의핵심지표 (Resource Manager, Namenode, HDFS, Hive, YARN, Node Manager, Oozie 등 ) 모니터링에대해서쉽게파악할수있습니다. 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) Namenode 메모리, Datanode 상태, HDFS 상태 Hive Server 상태 Resource Manager 및 Node Manager 상태 YARN Container 및 YARN Application 상태 Oozie Workflow 및 Coordinator 상태 12
Namenode 핵심지표의모니터링을위한전용화면제공 제품화면상세 NAMENODE VIEW 분산파일시스템을관리하는 Namenode 에대해서가장중요한성능지표 (JVM Heap, Active Namenode, HDFS Capacity, Block Status) 모니터링에대해서쉽게파악할수있습니다. Hadoop Namenode에서 Collector로실시간 Pushing을통해수집하므로데이터의정확성및실시간성보장 Namenode HA시 Active Namenode에상태표시 HDFS Metadata 수증가시 JVM Heap 부족으로인한장애모니터링 Block 상태모니터링을통해운영자가 HDFS에파일깨짐에대응 HDFS의용량및 Block/File 개수의실시간모니터링 13
Resource Manager 의자원분배및상황에대한전용화면제공 제품화면상세 RESOURCE MANAGER VIEW RESOURCE MANAGER 는 YARN Cluster 의전체리소스를관리하고 NODE MANAGER 를관리하는주체입니다. Flamingo 는 RESOURCE MANAGER 에핵심모니터링지표를모니터링하여관리자가애플리케이션튜닝을위한정보를손쉽가파악할수있습니다. 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) YARN Cluster 메모리사용량 vcore, Container 사용량 Node Manager 정상동작여부 YARN Application 상태 YARN 설정정보 14
Datanode 별블록및파일분포상태에대한전용화면제공 제품화면상세 DATANODE VIEW 다수의노드로구성되는 DATANODE 는파일의블록을저장하고분석작업을수행하는노드로써 Flamingo 에서는각노드별지표를확인할수있도록지원하여특정데이터노드의문제점을파악할수있습니다. 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) 데이터노드의블록, 분산파일시스템사용량에대한분포도 노드별블록개수 DFS 크기, DFS 사용량표시 Namenode와통신상태 15
각노드별분석작업및 vcore 등의리소스모니터링을전용화면제공 제품화면상세 NODE MANAGER VIEW NODE MANAGER 는 RESOURCE MANAGER 의요청에따라서컨테이너를실행하고 vcore, RAM 을할당하여작업을모니터링합니다. FLAMINGO 에서는각노드의자원을노드별로사용량을확인하고 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) 각노드별 YARN Application 자원분배현황확인 각노드별 Application, Container 목록확인 vcore, RAM 사용량확인 JVM Heap Size 확인 16
YARN 을위한 Summary, Log 등의핵심정보에대한전용화면제공 애플리케이션유형별통계 실행중및지연중인작업 의개수 YARN Application 의실행 목록및상태 애플리케이션실행로그 YARN VIEW YARN 은 Hadoop 2 에서자원을관리하는핵심서비스로 FLAMINGO 에서는 YARN 을관리하고개발하고분석하는데있어서가장중요한로그를볼수있도록하며, YARN 실행이력을표시하여관리자들이애플리케이션을손쉽게모니터링할수있습니다. 애플리케이션유형별통계 ( 예 ; MAPREDUCE, TEZ, SPARK 등 ) 실행중 / 지연중인 YARN Application 추이그래프 실행중및완료된 YARN 애플리케이션목록및각종정보 YARN 애플리케이션의실행로그 YARN 애플리케이션의실행에대한요약정보 17
MapReduce 를위한 Task, Conf, Counter 등의핵심지표에대한전용화면제공 MapReduce Job 의일별통계 MapReduce Job 의실행목 록및상태 MapReduce Job 의세부실 행상태 MAPREDUCE VIEW MAPREDUCE 는 Map 과 Reduce 로구성되어있으며분석작업을구현하는프레임워크입니다. FLAMINGO 는 Map, Reduce Task 에대한로그정보에서부터 Timeline 에이르는등, 관리자가 MapReduce Job 모니터링을위해서필요한핵심지표를모니터링할수있도록지원합니다. MapReduce Job의일별통계 MapReduce Job의실행이력 MapReduce Job의 Summary 정보 ( 실행시간, 구간별처리시간상태, MR Task 개수등 ) MapReduce Job Counter Tree MapReduce Job Configuration MapReduce Job Task 목록및 Task별실행로그 MapReduce Job Task의 Timeline 18
Spark Job 에특화된전용모니터링화면제공 일별 Spark Job 실행통계 Spark Job 의실행이력 개별 Spark Job 의상세모 니터링정보 SPARK VIEW SPARK 은인메모리분석프레임워크로써 Hadoop EcoSystem 의핵심서비스가되어가고있습니다. FLAMINGO 에서는 Spark Job 의실행이력부터모니터링정보를상세하게정보를표시하는모니터링을제공합니다. Spark Job의일별통계 Spark Job의실행이력 Spark Job의 Job ID 별실행이력및 Event Timeline Spark Job의 Stage 별실행상태 Spark Job의 Storage 상태 Spark Job의 Executor의동작상태및 Timeline 19
HDFS 의파일및디렉토리를관리하기위한관리자를위한모든기능을제공 디렉토리사용량맵 파일및디렉토리관리기능 디렉토리이동 네비게이션바 파일및디렉토리목록 HDFS BROWSER VIEW HDFS 브라우저는 HDFS 상의디렉토리및파일을관리하는핵심기능으로 FLAMINGO 의핵심기능입니다. 파일을업로드하고다운로드할수있으며, 수십만개의파일도거뜬히표시합니다. HDFS의파일및디렉토리관리 하나의디렉토리에수십만개의파일이있더라도 UI 문제없이페이징 디렉토리및파일의권한관리 파일내용보기및파일업로드 / 다운로드 문자열기반디렉토리경로입력시해당디렉토리로이동 디렉토리별사용량표시맵 20
HDFS 브라우저의사용자행위에대한세부모니터링화면제공 HDFS 브라우저사용통계 일자별주요유형별트렌드 사용자별, 액션별현황 HDFS BROWSER AUDIT VIEW NAMENODE View 를통해 Hadoop Cluster 의핵심지표 (Resource Manager, Namenode, HDFS, Hive, YARN, Node Manager, Oozie 등 ) 모니터링에대해서쉽게파악할수있습니다. 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) Namenode 메모리, Datanode 상태, HDFS 상태 Hive Server 상태 Resource Manager 및 Node Manager 상태 YARN Container 및 YARN Application 상태 Oozie Workflow 및 Coordinator 상태 21
HDFS 파일시스템의모든이벤트를모니터링 HDFS 이벤트별통계 HDFS 이벤트별추이그래프 HDFS FILESYETEM AUDIT VIEW HDFS 상의모든이벤트수집후통계생성 시간대별발생이벤트추이그래프 FLAMINGO 는 Namenode 에서발생하는모든이벤트를수집하여 HDFS 상에서발생하는이벤트를모니터링합니다. 22
Oozie 모니터링의재해석 Oozie Workflow Timeline 시간대별 Oozie Workflow 이력 OOZIE TIMELINE VIEW Oozie Workflow 모니터링은운영자 / 관리자관점에서시간대별로현황이한눈에보일수있어야합니다. FLAMINGO 는운영자 / 관리자관점에서 Oozie 모니터링을재해석했습니다. Oozie Workflow Job에대한 Timeline 해당시간대에실행된 Oozie Workflow 실행이력제공 해당 Oozie Workflow의누적통계 Timezone 지원 Oozie Workflow Job의세부실행정보표출 23
세상에서가장빠른 Oozie 관리및모니터링제공 조회조건및 Workflow 관리 워크플로우실행이력 OOZIE WORKFLOW VIEW Oozie Workflow 는다수의실행작업이포함되어있는워크플로우입니다. FLAMINGO 는기존의 Oozie Console 의문제점 ( 성능, 편의성, 정보표현의부족등 ) 을획기적으로개선한모니터링을제공합니다. 날짜별, 상태별, ID 등의기준에따라서 Workflow 조회 Oozie Workflow의 Stop, Kill, Rerun 지원 Oozie Workflow의실행이력및모니터링 Oozie Workflow의 Action별실행이력및모니터링 Oozie Workflow의 XML 및각종정보모니터링 24
Hive 모니터링을위한 Total 솔루션 Hive Metastore 관리 중요장애지표모니터링 Hive Query 실행이력및 Hive Topology View Hive Table 용량변화감시 HIVE VIEW FLAMINGO 는 HIVE SERVER 및 HIVE JOB 을모니터링하기위한 Total 솔루션입니다. Hive Query 는다수의 YARN, MapReduce 로동작하여모니터링이어렵지만 FLAMINGO 는 Topology View 를통해서그래프로추적합니다. 또한 Hive Server 의주요장애지표를모니터링합니다. 10초주기실시간모니터링정보수집 (Polling이아닌 Pushing 데이터수집을통한정확성확보및누락데이터방지 ) Hive Server 2의 JVM Heap Size 모니터링을통한장애대응 Hive Server 2의 Open Session 모니터링을통한접속사용자수확인 Hive Metastore 관리기능을이용한테이블및데이터베이스관리 Hive Query Topology View (Hive Query Plan) Hive Table 용량모니터링 25
하둡클러스터서버의시스템자원모니터링전용화면제공 CLUSTER RESOURCE VIEW FLAMINGO 는 Hadoop Cluster 를구성하는각노드의각종자원사용량을모니터링하는전용화면을제공합니다. 실시간자원모니터링 Core, Memory, Network, Disk 사용량모니터링 Core별 CPU 사용량모니터링 노드별 / 프로세스별 CPU, RAM 사용량모니터링 26
THANK YOU