DW 어플라이언스

개념
DW appliance의 정의 - 스토리지, 서버, OS, DBMS와 최적화된 소프트웨어로 통합, 일체형으로 구성된 데이터웨어하우징 솔루션 - 어플라이언스(Appliance)란 운영체제와 소프트웨어를 설치하거나 설정하지 않고 구입해서 전원만 접속하면 곧바로 사용할 수 있는 정보기기를 말함

I. 고성능 데이터웨어하우스 구현 DW Appliance의 개요

가. DW appliance의 정의

  • 스토리지, 서버, OS, DBMS와 최적화된 소프트웨어로 통합, 일체형으로 구성된 데이터웨어하우징 솔루션
  • 어플라이언스(Appliance)란 운영체제와 소프트웨어를 설치하거나 설정하지 않고 구입해서 전원만 접속하면 곧바로 사용할 수 있는 정보기기를 말함

 

나. DW Appliance의 도입 배경

  • 기존 데이터웨어하우스가 증가하는 정보량을 따라가지 못하고 있음
  • 개발ㆍ변경 과정이 복잡하고 현업의 다양한 요구사항을 신속하고 정확하게 반영할 수 없음

 

다. DW appliance 도입의 필요성

기존 DB의 문제점

아키텍처 방향

DW appliance의 요건

-Data 및 User수의 증가로 인한 시스템 성능저하

-신기술 접목에 대한 대처 능력 저하

-시스템 Resource Upgrade에 대한 한계

-DBMS Version Upgrade에 대한 한계

-장애 발생시Recovery에 많은 시간 소요

-IT 운영 통합

-유연하고 효율적인 인프라

스트럭처 개발

 

-폭발적인 데이터량 증가 및

급격한 성능저하 대응 방안

 

-IT 인프라 최적화와 비즈

니스 민첩성 동시 요구

-고정된HW 구성

-DW용으로 튜닝된 DBMS

-고가용성을 위한 이중화

 

-서버, 스토리지–DBMS 등 모든 구성요소를 단일벤더가 제공

-어플라이언스에 로드되는 원시데이터의 총량을 기준으로 환경 구성

 

 

II. DW Appliance 개념도

가. DW Appliance의 개념

  • 고성능 아키텍처 기반, 성능에 최적화된 DW용으로 설계된 DBMS 탑재
  • 모든 구성요소가 단일벤더에서 제공하는 제품으로 구성됨
  • 고성능 확장과 고가용성을 목표로 이중화 구성

 

나. DW Appliance 개념도

  • DW Appliance는 기존 데이터웨어하우스의 Data증가, 사용량 증가 등 시스템 성능 저하에 대처하기 위해 DW에 최적화돼 개발된 일체형 Appliance
  • 최근 IT 인프라의 최적화 요구에 따라 등장하여 IT 통합 운영 및 관리환경에 맞춤형 솔루션 제공

 

III. DW Appliance의 특장점 및 아키텍처

가. DW Appliance의 특장점

유형

설명

고성능

- 종래의 DW 시스템보다 최소 10-100배 더 빠른 쿼리 성능 제공

- 상세 데이터 혹은 대량 데이터(예: 명세 Fact 테이블, 구매이력 Fact 테이블)의 검색에 대한 초병렬 고속 처리 지원

- 실시간 분석을 위한 Query 실행화 데이터 적재 병행

- 데이터 집계(Summarization 또는 Aggregation)를 얻기 위한 불필요한 리소스(물리설계,집계성 테이블, ETL 처리, CPU/메모리/디스크 볼륨 등)제거

저비용

- 한 개의 벤더에서 Total 솔류션 제공

- 다양한 BI 어플리케이션과의 개방형 Interface 제공

- 관리비용의 절감 (SA/DBA/Consulting 인력 감소)

간편성

- BI 어플리케이션과의 표준 인터페이스(ODBC, JDBC, OLE-DB)와 ANSI-SQL 제공

- 실제 사용 어플리케이션을 위한 최소의 확장 설치시간

- 간편한 시스템 확장 방안 제공 및 간편한 업그레이드와 패치 기능 제공

 

나. DW Appliance 아키텍처

  • 대용량 데이터의 최적 성능을 실현하는 초병렬 처리 아키텍처 (AMPP: Asymmetric Massively Parallel Processing) 구현
  • 일괄 데이터 로딩 및 성능 확장을 위한 확장 메커니즘 제공
  • 초절전 소비전략과 공조 설비 요건 구비

 

다. 기존 데이터웨어하우스와 데이터웨어하우스 어플라이언스 비교

기존 데이터웨어하우스

 

데이터웨어하우스 어플라이언스

최대 수백만달러 단위

초기 비용

최대 백만달러 내외

필수

성능 튜닝

최소 혹은 필요 없음

필수

데이터 모델링

최소

수개월

구축 기간

기존 방식의 1/4~1/3

DBMS, OS, 서버, 스토리지 등 별도 업그레이드/추가 비용 발생

업그레이드

주로 유지보수 계약으로 한 번에 해결

DBMS, OS, 서버, 스토리지 등 별도 관리 인력 필요

관리/인력

관리 인력 최소

 

 

IV. DW appliance의 기능 및 성능 평가 위한 POC와 BMT

가. DW appliance 도입 위한 사전 기능 점검 위한 POC 수행 시나리오

POC 수행 배경

수행 목적

POC 수행 요소

DW 시스템에 대한 개선 필요성

-배치작업의 성능 저하로 인한 영업 부서의 업무 처리 지연 및 불만

-대량 데이터의 분석 성능 저하로 인한 비효율성 개선과 신규 분석 업무의 추가

-장시간 소요되는 배치작업 및 Query 선정

-현행 시스템의 성능 시간 제공

-DML의 병렬 처리

-불필요한 Index 삭제

-SQL Hint – FULL 사용

-Query는 수정 없이 실행

POC 목적

-기존 DW 시스템의 성능 개선과 업무 확장을 위한  DW appliance의 적합성 검토

-업무 로직의 최소한의 변경만을 통한 성능 극대화

 

나. 성능 점검 위한 BMT(Benchmarking Test) 시나리오

항목

내용

시나리오

평가방법

데이터적재성능

대량 데이터 초기적재 테스트

-적재1 : 대용량 테이블 1개를 단독으로 적재

-적재2 : 대용량 테이블 3개를 동시에 적재

적재 시간 측정

데이터 조회 위한 추가 데이터 적재 수행

-적재1 : 100개 테이블 동시 적재

적재 시간 측정

순차질의

순차적인 대용량 질의 수행

 -정형 프로그램 수행 성능 평가

 -비정형 조회 수행 성능 평가

-추출을 위한 절차적 프로그램 수행 후 파일 생성

-적재를 위한 배치성 프로그램 수행

-조회를 위한 비정형 쿼리 수행

수행 시간 및 데이터 정합성

OLTP

질의

동시에 단순 질의를 대량의 세션에서 반복적으로 수행

-500 개 OLTP SQL 동시 수행 (최소 50개 이상 세션 유지)

-1000 개 OLTP SQL 동시 수행 (최소 50개 이상 세션 유지)

총 수행시간 및 1초 이내 수행 SQL 수

Mixed Workload

비정형 질의, 배치성 정형 쿼리, OLTP성 쿼리 및 CDC 작업을 동시 수행하여 Workload를 확인함.

-추출을 위한 배치성 프로그램 쿼리를 동시에 수행

-적재를 위한 정형 프로그램 동시 수행

-조회를 위한 비정형 쿼리를 동시에 수행

-5개 테이블에 대한 Batch Update (총1300 만 건 Update ) CDC

-개별 작업 소요 시간 및 총 소요시간

-CDC 작업 정합성

가용성

H/W 장애 대응

적재 작업 시 비정상 종료 수행 시 복구 후 성능 및 상태 확인

H/W 비 정상 종료 시의 영향도와  장애 후의 성능 평가

압축

지원하는 압축 기능 확인 후 해당 압축률과 압축 후 질의 성능을 확인

 

-압축 대상 Table 및 Query를 확인

-대상 table을 압축하여 압축률을 확인하고, 비정형 쿼리를 수행하여 소요시간을 확인

-압축률을 확인하여 압축 성능을 측정함.

-압축된 테이블에

대한 질의 성능을응답시간으로 측정함.

 

V. DW appliance 이관 절차 및 고려 사항

가.  DW appliance 이관 프로세스

  • 현행 여러DB원천 정보에서 DW appliance Migration 작업이 원활히 이루어질 수 있는 절차로 진행하며 작업완료 후 안정적인 운영 환경 구축이 되도록 연관작업에 대한 확인이 필요

  

나. DW appliance 이관 시 고려 사항

항목

주요내용

사전교육

전담인력 조직 구성 및 R&R 정의, 새로운 기능 및 시스템 구성에 대한 사전 교육

Data 신뢰성

Legacy system의 Data cleansing 작업 및 변환 시 데이터 정확성, 일관성 유지

통합테스트

Migration 사전 테스트 통한 에러 예방

현업의 협조

이관 대상 및 Mapping 과정에 대한 검증 위해 현업 담당자와의 업무 공조가 핵심

이행 방안 마련

별개의 동일 장비 구성 통한 지속적 test 수행

Test 자료 근거로 한 migration 방법 결정

댓글