Altibase Starting User's Manual

Similar documents
빅데이터분산컴퓨팅-5-수정

Altibase Installation Manual

목차 BUG DEQUEUE 의 WAIT TIME 이 1 초미만인경우, 설정한시간만큼대기하지않는문제가있습니다... 3 BUG [qp-select-pvo] group by 표현식에있는컬럼을참조하는집합연산이존재하지않으면결괏값오류가발생할수있습니다... 4

쉽게 풀어쓴 C 프로그래밊

목차 BUG offline replicator 에서유효하지않은로그를읽을경우비정상종료할수있다... 3 BUG 각 partition 이서로다른 tablespace 를가지고, column type 이 CLOB 이며, 해당 table 을 truncate

목차 BUG 문법에맞지않는질의문수행시, 에러메시지에질의문의일부만보여주는문제를수정합니다... 3 BUG ROUND, TRUNC 함수에서 DATE 포맷 IW 를추가지원합니다... 5 BUG ROLLUP/CUBE 절을포함하는질의는 SUBQUE

Microsoft Word - ntasFrameBuilderInstallGuide2.5.doc

Spring Boot/JDBC JdbcTemplate/CRUD 예제

MySQL-.. 1

Microsoft PowerPoint - 10Àå.ppt

Altibase Stored Procedure Manual

ALTIBASE HDB Patch Notes

FileMaker 15 ODBC 및 JDBC 설명서

슬라이드 1

13주-14주proc.PDF

Windows 8에서 BioStar 1 설치하기

문서 템플릿

FileMaker ODBC 및 JDBC 가이드

Microsoft PowerPoint Python-DB

JDBC 소개및설치 Database Laboratory

PowerPoint 프레젠테이션

ALTIBASE 사용자가이드 Templete

단계

강의 개요

SKINFOSEC-CHR-028-ASP Mssql Cookie Sql Injection Tool 분석 보고서.doc

DBMS & SQL Server Installation Database Laboratory

TITLE

untitled

@OneToOne(cascade = = "addr_id") private Addr addr; public Emp(String ename, Addr addr) { this.ename = ename; this.a

Connection 8 22 UniSQLConnection / / 9 3 UniSQL OID SET

< 목차 > Ⅰ. 개요 3 Ⅱ. 실시간스팸차단리스트 (RBL) ( 간편설정 ) 4 1. 메일서버 (Exchange Server 2007) 설정변경 4 2. 스팸차단테스트 10

Cloud Friendly System Architecture

RUCK2015_Gruter_public

8 장데이터베이스 8.1 기본개념 - 데이터베이스 : 데이터를조직적으로구조화한집합 (cf. 엑셀파일 ) - 테이블 : 데이터의기록형식 (cf. 엑셀시트의첫줄 ) - 필드 : 같은종류의데이터 (cf. 엑셀시트의각칸 ) - 레코드 : 데이터내용 (cf. 엑셀시트의한줄 )

ORANGE FOR ORACLE V4.0 INSTALLATION GUIDE (Online Upgrade) ORANGE CONFIGURATION ADMIN O

Chapter 1

목차 윈도우드라이버 1. 매뉴얼안내 운영체제 (OS) 환경 윈도우드라이버준비 윈도우드라이버설치 Windows XP/Server 2003 에서설치 Serial 또는 Parallel 포트의경우.

- JPA를사용하는경우의스프링설정파일에다음을기술한다. <bean id="entitymanagerfactory" class="org.springframework.orm.jpa.localentitymanagerfactorybean" p:persistenceunitname=

표준프레임워크로 구성된 컨텐츠를 솔루션에 적용하는 것에 문제가 없는지 확인

슬라이드 1

Data Sync Manager(DSM) Example Guide Data Sync Manager (DSM) Example Guide DSM Copyright 2003 Ari System, Inc. All Rights reserved. Data Sync Manager

ez-shv manual

서현수

<C1A62038B0AD20B0ADC0C7B3EBC6AE2E687770>

Microsoft PowerPoint - GUI _DB연동.ppt [호환 모드]

Slide 1

1. Windows 설치 (Client 설치 ) 원하는위치에다운받은발송클라이언트압축파일을해제합니다. Step 2. /conf/config.xml 파일수정 conf 폴더에서 config.xml 파일을텍스트에디터를이용하여 Open 합니다. config.xml 파일에서, 아

슬라이드 1

PowerPoint Template

제목을 입력하세요.

리눅스설치가이드 3. 3Rabbitz Book 을리눅스에서설치하기위한절차는다음과같습니다. 설치에대한예시는우분투서버 기준으로진행됩니다. 1. Java Development Kit (JDK) 또는 Java Runtime Environment (JRE) 를설치합니다. 2.

Open Cloud Engine Open Source Big Data Platform Flamingo Project Open Cloud Engine Flamingo Project Leader 김병곤

슬라이드 1

PowerPoint 프레젠테이션

PowerPoint Presentation

PowerPoint 프레젠테이션

PowerPoint 프레젠테이션

RHEV 2.2 인증서 만료 확인 및 갱신

PowerPoint 프레젠테이션

1. 자바프로그램기초 및개발환경 2 장 & 3 장. 자바개발도구 충남대학교 컴퓨터공학과

PowerPoint Template

4S 1차년도 평가 발표자료

C++ Programming

Microsoft PowerPoint Android-SDK설치.HelloAndroid(1.0h).pptx

Lec. 2: MySQL and RMySQL

1217 WebTrafMon II

Chap7.PDF

<4D F736F F D20C0CCBEBEC1A6BEEE5FC3A5BCD2B0B35F >

Microsoft Word - 3부A windows 환경 IVF + visual studio.doc

6장. SQL

InsertColumnNonNullableError(#colName) 에해당하는메시지출력 존재하지않는컬럼에값을삽입하려고할경우, InsertColumnExistenceError(#colName) 에해당하는메시지출력 실행결과가 primary key 제약에위배된다면, Ins

ALTIBASE 사용자가이드 Templete

ISP and CodeVisionAVR C Compiler.hwp

chapter1,2.doc

Bind Peeking 한계에따른 Adaptive Cursor Sharing 등장 엑셈컨설팅본부 /DB 컨설팅팀김철환 Bind Peeking 의한계 SQL 이최초실행되면 3 단계의과정을거치게되는데 Parsing 단계를거쳐 Execute 하고 Fetch 의과정을통해데이터

C# Programming Guide - Types

ALTIBASE HDB Patch Notes

Spotlight on Oracle V10.x 트라이얼프로그램설치가이드 DELL SOFTWARE KOREA

untitled

SAS9.2_SAS_Enterprise_Miner_install_guide_single_user_v2


ALTIBASE HDB Patch Notes

PowerPoint 프레젠테이션

Microsoft PowerPoint SDK설치.HelloAndroid(1.5h).pptx

Windows 10 General Announcement v1.0-KO

PowerPoint Template


DB진흥원 BIG DATA 전문가로 가는 길 발표자료.pptx

Altibase Installation Manual

윈도우시스템프로그래밍

iii. Design Tab 을 Click 하여 WindowBuilder 가자동으로생성한 GUI 프로그래밍환경을확인한다.

Tibero

Eclipse 와 Firefox 를이용한 Javascript 개발 발표자 : 문경대 11 년 10 월 26 일수요일

ucloud daisy 서비스가이드 1 / 23

10.ppt

Result Cache 동작원리및활용방안 엑셈컨설팅본부 /DB 컨설팅팀김철환 개요 ORACLE DBMS 를사용하는시스템에서 QUERY 성능은무엇보다중요한요소중하나이며그 성능과직접적인관련이있는것이 I/O 이다. 많은건수를 ACCESS 해야만원하는결과값을얻을수있는 QUER

Microsoft Word - src.doc

Microsoft PowerPoint - 11주차_Android_GoogleMap.ppt [호환 모드]

untitled

Interstage4 설치가이드

Transcription:

ALTIBASE HDB Tools & Utilities Altibase Hadoop Connector User's Manual Release 6 (April 17, 2015)

----------------------------------------------------------- ALTIBASE Tools & Utilities Altibase Hadoop Connector User's Manual Release 6.3.1 Copyright c 2001~2015 Altibase Corp. All Rights Reserved. 본문서의저작권은 알티베이스에있습니다. 이문서에대하여당사의동의없이무단으로복제또는전용할수없습니다. 알티베이스 152-790 서울시구로구구로동 182-13 대륭포스트타워 Ⅱ 10 층전화 : 02-2082-1114 팩스 : 02-2082-1099 고객서비스포털 : http://support.altibase.com homepage: http://www.altibase.com -----------------------------------------------------------

목차 서문... 5 이매뉴얼에대하여... 6 1. Altibase 하둡커넥터소개... 11 배경지식... 12 Altibase 하둡커넥터란?... 13 2. Altibase 하둡커넥터설치하기... 15 소프트웨어요구사항... 16 Altibase 하둡커넥터설치... 18 실행및테스트... 19 3. 기능... 21 커맨드라인옵션... 22 Import... 24 Export... 27 list-databases... 30 list-tables... 31 A. 부록 : 데이터타입... 33 지원되는데이터타입... 34 찾아보기... 35 목차 3

서문 서문 5

이매뉴얼에대하여 이매뉴얼은 Altibase 하둡커넥터를사용하여 ALTIBASE HDB 또는 ALTIBASE XDB 서버와하둡을연결하는방법을기술한다. 대상사용자 이매뉴얼은다음과같은사용자를대상으로작성되었다. 데이터베이스관리자 데이터분석가 시스템및응용프로그램개발자 시스템관리자다음과같은배경지식을가지고이매뉴얼을읽는것이좋다. 컴퓨터, 운영체제및운영체제유틸리티운용에필요한기본지식 관계형데이터베이스사용경험또는데이터베이스개념에대한이해 컴퓨터프로그래밍경험 데이터베이스서버관리, 운영체제관리또는네트워크관리경험 소프트웨어환경 이매뉴얼은데이터베이스서버로 ALTIBASE HDB 버전 6.0 이상또는 ALTIBASE XDB 버전 6.0 이상을사용한다는가정하에작성되었다. 이매뉴얼의구성 이매뉴얼은다음과같이구성되어있다. 제 1 장 Altibase 하둡커넥터소개이장은 Altibase 하둡커넥터가무엇인지소개하고배경지식을설명한다. 제 2 장 Altibase 하둡커넥터설치이장은 Altibase 하둡커넥터의설치방법및이를사용하기 6 ALTIBASE-Hadoop Connector User's Manual

위해필요한소프트웨어와설치방법도함께기술한다. 제 3 장기능이장은 Altibase 하둡커넥터의기능을예제와함께설명한다. A. 부록 : 지원하는데이터타입이부록은 Altibase 하둡커넥터가지원하는 ALTIBASE HDB 와 XDB 의데이터타입에대해기술한다. 문서화규칙 이절에서는이매뉴얼에서사용하는규칙에대해설명한다. 이규칙을이해하면이매뉴얼과설명서세트의다른매뉴얼에서정보를쉽게찾을수있다. 여기서설명하는규칙은다음과같다. 샘플코드규칙 샘플코드규칙 코드예제는 SQL, Stored Procedure, isql 또는다른명령라인 구문들을예를들어설명한다. 아래테이블은코드예제에서사용된인쇄규칙에대해설명한다. 규칙 의미 예제 [ ] 선택항목을표시 VARCHAR [(size)] [[FIXED ] VARIABLE] { } 필수항목표시. 반드시하나이상을선택해야되는표시 { ENABLE DISABLE COMPILE } 선택또는필수항목표시의인자구분표시. 그이전인자의반복표시. 예제코드들의생략되는것을. 표시 { ENABLE DISABLE COMPILE } [ ENABLE DISABLE COMPILE ] SQL> SELECT ename FROM employee; ENAME ----------------------- SWNO HJNO HSCHOI... 서문 7

그밖에기호기울임꼴소문자대문자 위에서보여진기호이외에기호들구문요소에서사용자가지정해야하는변수, 특수한값을제공해야만하는위치지정자사용자가제공하는프로그램의요소들, 예를들어테이블이름, 칼럼이름, 파일이름등시스템에서제공하는요소들또는구문에나타나는키워드 20 rows selected. EXEC :p1 := 1; acc NUMBER(11,2); SELECT * FROM table_name; CONNECT userid/password; SELECT ename FROM employee; DESC SYSTEM_.SYS_INDICES_; 관련자료 자세한정보를위하여다음문서목록을참조한다. Installation Guide Getting Started Guide Administrator s Manual General Reference Error Message Reference 온라인매뉴얼 Altibase 고객서비스포털 (http://support.altibase.com) 에서국문및 영문매뉴얼 (PDF, HTML) 을받을수있다. Altibase 는여러분의의견을환영합니다. 이매뉴얼에대한여러분의의견을보내주시기바랍니다. 사용자의의견은다음버전의매뉴얼을작성하는데많은도움이됩니다. 보내실때에는아래내용과함께고객서비스포털 (http://support.altibase.com/kr/) 로보내주시기바랍니다. 사용중인매뉴얼의이름과버전 매뉴얼에대한의견 사용자의성함, 주소, 전화번호 8 ALTIBASE-Hadoop Connector User's Manual

이외에도 Altibase 기술지원설명서의오류와누락된부분및기타기술적인문제들에대해서이주소로보내주시면정성껏처리하겠습니다. 또한, 기술적인부분과관련하여즉각적인도움이필요한경우에도고객서비스포털을통해서비스를요청하시기바랍니다. 여러분의의견에항상감사드립니다. 서문 9

1. Altibase 하둡커넥터 소개 이장은 Altibase 하둡커넥터가무엇인지소개하고배경지식을 설명한다. Altibase 하둡커넥터소개 11

배경지식 이절은스쿱을사용하여 ALTIBASE HDB 또는 XDB 와하둡간에 데이터를이동하는방법을설명하기위한기본개념을설명한다. 하둡 (Hadoop) 하둡 (Hadoop) 은대용량데이터의관리와분석에적합한시스템이다. ' 빅데이터 ' 에대한관리와데이터웨어하우스의병렬처리에대한요구가증가하고클라우드와분산컴퓨팅이유행하면서가장많이언급되고있는솔루션이다. 하둡은여러컴퓨터로구성된클러스터에걸쳐있는대용량데이터를분산처리하기위한프레임워크로써자바기반의오픈소스소프트웨어이다. 하둡은크게하둡분산파일시스템 (HDFS, Hadoop Distributed File System) 과맵리듀스 (MapReduce) 로구성된다. 스쿱 (Sqoop) 스쿱 (Sqoop) 은하둡과관계형데이터베이스간의데이터전송을위한도구로써, 오픈소스소프트웨어이다. 사용자는스쿱을사용하여관계형데이터베이스시스템 (RDBMS) 에서하둡분산파일시스템 (HDFS, Hadoop Distributed File System) 으로데이터를가져오고 (import) 다시 RDBMS 로내보낼 (export) 수있다. 스쿱은가져올데이터를스키마로표현하기위해데이터베이스에의존하여이과정의대부분을자동화한다. 스쿱은데이터 import 와 export 를위해맵리듀스를사용한다. 맵리듀스는장애내구성 (Fault Tolerance) 과병렬작업 (Parallel Operation) 을제공한다. 12 ALTIBASE-Hadoop Connector User's Manual

Altibase 하둡커넥터란? Altibase 하둡커넥터 (Altibase-Hadoop Connector) 는하둡과 ALTIBASE HDB( 또는 XDB) 서버사이의효율적인데이터전송을용이하게하며, 운영데이터는 ALTIBASE HDB( 또는 XDB) 에서, 데이터분석은하둡에서처리할수있도록해준다. 즉, Altibase 하둡커넥터는하둡에서의데이터처리를위해사용자가 HDB 서버에접속하여데이터를 HDFS 또는 Hive 로내보내도록해준다. Altibase 하둡커넥터는스쿱기반으로동작하며스쿱이제공하는거의모든기능을지원한다. 또한, 스쿱과유사한커맨드라인인자구조를사용하기때문에, 이전에스쿱을사용한경험이있는사용자들은수월하게사용할수있을것이다. Altibase 하둡커넥터소개 13

2. Altibase 하둡커넥터 설치하기 이장은 Altibase 하둡커넥터의설치방법및이를사용하기위해 필요한소프트웨어와설치방법도함께기술한다. Altibase 하둡커넥터설치하기 15

소프트웨어요구사항 Altibase 하둡커넥터를설치하고실행하기위해서는아래의소프트웨어를먼저설치해야한다. 자바실행환경 (JRE, Java Runtime Environment) 또는자바개발키트 (JDK, Java Development Kit) 버전 1.6 이상 Hadoop 버전 1.0 Sqoop 버전 1.4.4 이상 ALTIBASE HDB 버전 5.0 이상또는 ALTIBASE XDB 버전 6.0 이상이절에서는 Altibase 하둡커넥터의실행을위해필요한하둡및스쿱의설치방법을설명한다. 그리고 ALTIBASE HDB( 또는 XDB) 서버와의연동을위해하둡및스쿱환경에 ALTIBASE HDB( 또는 XDB) JDBC 드라이버를설치하는방법을기술한다. 하둡설치 아래의순서대로하둡을설치하고하둡운영환경을설정한다. 1. https://www.cloudera.com/content/support/en/downloads. html 에접속하여 Hadoop 1.0 버전을다운로드한다. 2. http://www.cloudera.com 에서제공하는 Hadoop 설치방법에따라 Hadoop 을설치하고, HADOOP_HOME 등의환경변수를설정한다. 스쿱설치 Altibase 하둡커넥터는아파치라이선스 2.0 하에배포되는 SW 인 Apache Sqoop 기반의커넥터이다. 아래의순서대로스쿱을설치하고스쿱이 ALTIBASE HDB( 또는 XDB) 서버에접속할수있도록 ALTIBASE HDB( 또는 XDB) JDBC 드라이버를스쿱환경에설치한다. 1. http://mirror.apache-kr.org/sqoop/1.4.4 에접속하여 Hadoop 1.0 을지원하는 Sqoop 패키지 (sqoop- 1.4.4.bin_hadoop-1.0.0.tar.gz) 를다운로드한다. 현재 Altibase 하둡커넥터는 Sqoop 1.4.4 버전을공식 16 ALTIBASE-Hadoop Connector User's Manual

지원한다 (Sqoop 1.9 버전은추후지원예정 ). 2. Sqoop 홈페이지의설치방법에따라 Sqoop 을설치한다. JDBC 드라이버설치 하둡과스쿱을모두설치했다면, 아래의지침을따라 JDBC 드라이버를설치하도록한다. ALTIBASE HDB 사용시 1. ALTIBASE HDB 용 JDBC 드라이버파일 ($ALTIBASE_HOME/lib/Altibase.jar) 을 $SQOOP_HOME/lib 폴더에복사한다. % cp $ALTIBASE_HOME/lib/Altibase.jar $SQOOP_HOME/lib ALTIBASE XDB 사용시 1. ALTIBASE XDB 용 JDBC 드라이버파일 ($ALTIBASE_XDB_HOME/lib/Altibase_xdb.jar) 을 $SQOOP_HOME/lib 폴더에복사한다. % cp $ALTIBASE_XDB_HOME/lib/Altibase_xdb.jar $SQOOP_HOME/lib 2. $ALTIBASE_XDB_HOME/lib/libxdb_jdbccli_sl.so 파일을하둡이설치된모든장비의 $HADOOP_HOME/lib/native/Linux-xxxx-xx/ 폴더에복사한다. Altibase 하둡커넥터설치하기 17

Altibase 하둡커넥터설치 아래의순서대로 Altibase 하둡커넥터를설치한다. 1. Altibase 하둡커넥터패키지를 http://support.altibase.com 에서다운로드한다. HDB용패키지 : altibase_sqoop14_connector.jar XDB용패키지 : altibase_xdb_sqoop14_connector.jar 2. Altibase 하둡커넥터패키지를 $SQOOP_HOME/lib 폴더에복사한다. 18 ALTIBASE-Hadoop Connector User's Manual

실행및테스트 아래는 ALTIBASE HDB 서버에접속하여테이블목록을가져오는 명령어로 Altibase 하둡커넥터가정상적으로설치되었는지를확인할 수있다. % sqoop list-tables --connect jdbc:altibase://127.0.0.1:20300/mydb --driver Altibase.jdbc.driver.AltibaseDriver --username SYS --password MANAGER --connection-manager com.altibase.sqoop.manager.altibasemanager 실행결과아래의로그와함께테이블목록이출력된다면 Altibase 하둡커넥터가정상적으로로딩된것이다. 13/10/02 13:48:15 INFO manager.altibasemanager: init default option autocommit false 13/10/02 13:48:15 INFO manager.sqlmanager: Using default fetchsize of 1000 13/10/02 13:48:15 INFO manager.altibasemanager: Altibase HDB manager 1.0 connector create Altibase 하둡커넥터설치하기 19

3. 기능 이장은 Altibase 하둡커넥터의기능을예제와함께설명한다. 기능 21

커맨드라인옵션 Altibase 하둡커넥터는스쿱기반으로동작하기때문에스쿱이제공하는기능을모두지원한다. 이장은일부기능에대해서만설명하므로, 스쿱의전체기능은 http://sqoop.apache.org/docs/1.4.4/sqoopuserguide.html 을참고하도록한다. 구문 Altibase 하둡커넥터를실행하는구문은아래와같다. sqoop <command> --connect <url> --driver <driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager 옵션 옵션설명 <command> 이문서에서는아래의명령어만기술하므로, 다른커맨드에대해서는위에서언급한스쿱문서를참고하기바란다. export import list-databases list-tables --connect <url> ALTIBASE HDB 또는 XDB url을명시한다. HDB: jdbc:altibase://ip:port/mydb XDB: jdbc:altibase:remote://ip:port/mydb --driver <driver> ALTIBASE HDB 또는 XDB의 JDBC 드라이버클래스를명시한다. HDB: Altibase.jdbc.driver.AltibaseDriver XDB: Altibase_xdb.jdbc.driver.AltibaseDriver --username <user> 연결하려는데이터베이스사용자를명시한다. --password <password> 사용자의패스워드를명시한다. --connection-manager Altibase 하둡커넥터클래스를명시한다. <connector> HDB: com.altibase.sqoop.manager.altibasemanager XDB: com.altibase_xdb.sqoop.manager.altibasemanager 여기에기술한커맨드와옵션외에다른커맨드또는 import 제어 22 ALTIBASE-Hadoop Connector User's Manual

옵션, export 제어옵션등에대해서는스쿱문서 (http://sqoop.apache.org/docs/1.4.4/sqoopuserguide.html) 를 참고하기바란다. 기능 23

Import Import 는 ALTIBASE HDB 또는 XDB 의데이터를 HDFS 또는 Hive 로가져오는기능이다. 이절은이러한기능을예제와함께 설명한다. 텍스트파일로 HDFS 에가져오기 ALTIBASE HDB 에존재하는특정테이블의데이터를 HDFS 의 지정된디렉토리에텍스트파일형태로저장하려면 sqoop 명령어와 함께아래의옵션들을사용하면된다. % sqoop import --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> split-by <split_name> 저장되는텍스트파일은기본적으로 CSV 형태이다. 아래표의 옵션들을사용해서필드종료문자, 라인종료문자같은구분자들을 지정할수있다. 만약사용자가이중에서하나라도지정하지않으면 기본값이사용된다. 옵션설명기본값 --enclosed-by 필드를감싸는문자로필수옵션이다. \" --escaped-by 이스케이프문자 --fields-terminated-by 필드구분문자, --lines-terminated-by 라인종료문자 \n --mysql-delimiters MySQL 의기본구분자로아래와같다. fields-terminated-by:, lines-terminated-by: \n escaped-by: \ optionally-enclosed-by: --optionally-enclosed-by 필드를감싸는문자로선택옵션이다. * 주의 : 필드내에라인구분자, 필드구분자가포함되어있는경우, 큰따옴표 (") 같은묶음문자로필드를감싸주어야한다. 필드내에 묶음문자로쓰이는큰따옴표 (") 가포함된경우에는이스케이프 문자를큰따옴표앞에두어묶음문자가아님을표시해야한다. 24 ALTIBASE-Hadoop Connector User's Manual

현재 sqoop 에는묶음문자와이스케이프문자를동일하게지정하면비정상적으로동작하는버그가있기때문에, Altibase 하둡커넥터는묶음문자의기본값만큰따옴표 (") 로제공하고이스케이프문자는사용자가직접지정하도록지원한다. Sequence 파일로 HDFS 에가져오기 ALTIBASE HDB 에존재하는특정테이블의데이터를 HDFS 의 지정된디렉토리에 Sequence 파일형태로저장하려면 sqoop 명령어와함께아래의옵션들을사용하면된다. % sqoop import --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> split-by <split_name> --as-sequencefile Avro 파일로 HDFS 에가져오기 ALTIBASE HDB 에존재하는특정테이블의데이터를 HDFS 의 지정된디렉토리에 Avro 파일형태로저장하려면 sqoop 명령어와 함께아래의옵션들을사용하면된다. % sqoop import --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> split-by <split_name> --as-avrodatafile 쿼리를사용해서 HDFS 에가져오기 사용자가지정한질의문으로 ALTIBASE HDB 에존재하는특정 테이블의데이터를조회하여 HDFS 에저장하려면 sqoop 명령어와 함께아래의옵션들을사용하면된다. % sqoop import --connect <url> --driver <jdbc_driver> --username <user> --password <password> 기능 25

--connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> split-by <split_name> --boundary-query <query> Hive 에가져오기 ALTIBASE HDB 에존재하는특정테이블의데이터를 Hive 에 저장하려면 sqoop 명령어와함께아래의옵션들을사용하면된다. % sqoop import --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> split-by <split_name> --hive-import 26 ALTIBASE-Hadoop Connector User's Manual

Export Export 는 HDFS 의데이터를 ALTIBASE HDB 또는 XDB 로내보내는 기능이다. 옵션에따라데이터베이스에데이터를삽입하거나기존 데이터를갱신하는동작이수행된다. 데이터삽입 HDFS 의데이터를 ALTIBASE HDB 의특정테이블에저장하려면 sqoop 명령어와함께아래의옵션들을사용하면된다. % sqoop export D sqoop.export.records.per.statement=<size> --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> --export-dir <dir> sqoop.export.records.per.statement 의값을 1 보다크게지정하면 Altibase 하둡커넥터는배치모드 (batch mode) 로동작한다. 배치 모드에서는한번의 Execute 수행으로여러건의레코드가삽입된다. 이옵션은커맨드옵션 (export) 뒤에다른옵션들보다먼저나와야 한다. sqoop.export.records.per.statement 의값을 1 로지정하면 Altibase 하둡커넥터가배치모드로동작하지않는다. CSV 파일에서데이터삽입 CSV 파일을사용해서 export 하는경우, 구분자들을지정하는옵션을사용할수있다. 사용가능한옵션에대한상세한설명은 " 텍스트파일로 HDFS 에가져오기 " 절을참고하기바란다. 배치모드로데이터삽입 ALTIBASE HDB( 또는 XDB) JDBC 드라이버의배치모드기능을 사용하여 HDFS 의데이터를 ALTIBASE HDB 의특정테이블에 저장하려면 sqoop 명령어와함께아래의옵션들을사용하면된다. % sqoop export --connect <url> --driver <jdbc_driver> 기능 27

--username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> --export-dir <dir> --batch --batch 옵션지정여부에관계없이 Altibase 하둡커넥터는 기본으로배치모드로동작하며, 한번의 Execute 수행으로기본 100 건의레코드가삽입된다. Altibase 하둡커넥터가배치모드로 동작하지않게하려면, -D sqoop.export.records.per.statement 옵션을 1 로지정해야한다. 데이터갱신 ALTIBASE HDB 의특정테이블의데이터를 HDFS 의데이터로 갱신하려면 sqoop 명령어와함께아래의옵션들을사용하면된다. % sqoop export --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> --export-dir <dir> update-key <column> 데이터갱신또는삽입 HDFS 의데이터가 ALTIBASE HDB 에존재하면갱신하고, 존재하지 않으면삽입하는기능이다. sqoop 명령어와함께아래의옵션들을 사용하면된다. % sqoop export --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> --export-dir <dir> update-key <column> --update-mode allowinsert 주의 : 이기능은 ALTIBASE HDB 의 merge 구문을이용하기때문에, Altibase 하둡커넥터가버전 6.3.1 이상의 ALTIBASE HDB 와함께 동작할때만지원된다. 28 ALTIBASE-Hadoop Connector User's Manual

Staging-table 을이용한데이터삽입 Sqoop 은 export 처리를여러개의트랜잭션으로수행하기때문에 일부데이터는커밋이실패할수도있다. --staging-table 옵션은 이것을방지하기위한것으로, HDFS 의데이터를이옵션에지정한 테이블에먼저삽입한후에, 이테이블의데이터를 ALTIBASE HDB 의대상테이블로이동하는기능이다. sqoop 명령어와함께 아래의옵션들을사용하면된다. % sqoop export --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager table <table_name> --export-dir <dir> update-key <column> --staging-table <table_name> 기능 29

list-databases ALTIBASE HDB 의데이터베이스목록을조회하려면, sqoop 명령어와 함께아래의옵션들을사용하면된다. % sqoop list-databases --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager 30 ALTIBASE-Hadoop Connector User's Manual

list-tables ALTIBASE HDB 에존재하는테이블들을조회하려면, sqoop 명령어와 함께아래의옵션들을사용하면된다. % sqoop list-tables --connect <url> --driver <jdbc_driver> --username <user> --password <password> --connection-manager com.altibase.sqoop.manager.altibasemanager 기능 31

A. 부록 : 데이터타입 이부록은 Altibase 하둡커넥터가지원하는 ALTIBASE HDB 와 XDB 의데이터타입에대해기술한다. A. 부록 : 데이터타입 33

지원되는데이터타입 아래는 Altibase 하둡커넥터를사용하여 import 또는 export 할 때의 ALTIBASE HDB 또는 XDB 와 Sqoop(Altibase 하둡커넥터 ) 간에각데이터타입의변환을보여주는표이다. 또한각데이터 타입별 import 및 export 지원여부도보여준다. HDB 데이터타입 XDB 데이터타입 Sqoop 데이터타입 Import Export 지원여부지원여부 CHAR CHAR String O O VARCHAR VARCHAR String O O NCHAR NCHAR String O O NVARCHAR NVARCHAR String O O INTEGER INTEGER Integer O O BIGINT BIGINT Long O O SMALLINT SMALLINT Integer O O NUMBER NUMBER Double O O NUMERIC NUMERIC java.math.bigdecimal O O DECIMAL DECIMAL java.math.bigdecimal O O FLOAT FLOAT Double O O DOUBLE DOUBLE Double O O REAL REAL Float O O DATE DATE java.sql.timestamp O O BLOB BLOB com.cloudera.sqoop.li O X b.blobref CLOB CLOB com.cloudera.sqoop.li b.clobref O X 참고 : BLOB 와 CLOB 데이터타입은 Sqoop 에서현재 import 기능만지원하므로, Altibase 하둡커넥터도 import 만지원한다. BLOB 와 CLOB 데이터타입의 export 기능은추후지원할예정이다. 34 ALTIBASE-Hadoop Connector User's Manual

찾아보기 A Altibase 하둡커넥터... 13 Avro 파일... 25 C CSV 파일... 27 E Export... 27 H Hive... 26 I Import... 24 J JDBC 드라이버설치... 17 L list-databases... 30 list-tables... 31 S sequence 파일... 25 Staging-table... 29 ㄷ 데이터갱신... 28 데이터갱신또는삽입... 28 데이터삽입... 27 데이터타입... 34 ㅂ 배치모드... 27 ㅅ 설치... 18 소프트웨어요구사항... 16 스쿱 (Sqoop)... 12 스쿱설치... 16 실행... 19 ㅋ 커맨드라인옵션... 22 ㅌ 테스트... 19 텍스트파일... 24 ㅎ 하둡설치... 16 하둡 (Hadoop)... 12 찾아보기 35