편집 : 2021.9.28 화 17:54
뉴스
퍼블릭 클라우드용 ‘클라우데라 데이터플로우’ 나와하이브리드 스트리밍 워크로드 처리…“DW 최고 가성비” 강조
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2021.09.01  10:59:36
트위터 페이스북 미투데이 요즘 네이버 구글 msn

클라우데라(kr.cloudera.com)는 1일 발표를 통해, 하이브리드 스트리밍 워크로드를 처리하기 위한 데이터 플로우 클라우드 네이티브 서비스 ‘퍼블릭 클라우드용 클라우데라 데이터플로우(Cloudera DataFlow, 이하 CDF)’를 출시했다고 밝혔다.

‘클라우데라 데이터 플랫폼(CDP)’을 통해 사용할 수 있는 ‘CDF’는 복잡한 데이터플로우 운영을 자동화하고 오토스케일링 기능으로 스트리밍 데이터 플로우 운영 효율성을 높이며 짐작에 의한 인프라 규모 확장 작업을 제거해 클라우드 비용을 절감할 수 있다.

IDC의 ‘2021-2025 글로벌 데이터스피어(DataSphere) IoT 장치 및 데이터 예측’ 보고서에 따르면, 데이터 인 모션(Data-in-Motion)의 규모는 최대 79ZB까지 기하급수적으로 증가할 것으로 예상된다.

이미 많은 기업은 아파치 ‘나이파이(NiFi)’를 활용해 코드없는 데이터 플로우를 시각적으로 설계해 하이브리드 클라우드 아키텍처 전반에서 데이터를 수집, 처리하고 있다.

클라우드는 대용량 저장과 처리에 용이하지만, 다수의 정교한 데이터 플로우를 단일 클러스터에 구현하면 운영 및 모니터링 문제가 발생할 수 있으며, 여러 ‘나이파이 플로우’가 동일한 리소스를 사용하면 성능에 문제가 생길 수 있다.

또한, IT 관리자가 필요보다 더 큰 인프라 규모를 선택하는 경우에는 비용이 커지는 문제가 발생한다.

디네시 찬드라세카르(Dinesh Chandrasekhar) 클라우데라 데이터 인 모션 제품 마케팅 책임자는 “클라우데라 데이터플로우(CDF)는 쿠버네티스(Kubernetes)의 클라우드 기반 데이터 플로우를 자동화하고 관리하는 서비스”라며 “이제 기업은 퍼블릭 클라우드에서 스트리밍 워크로드의 운영 효율성을 손쉽게 높이고 인프라 비용을 절감할 수 있다”고 말했다.

마리벨 로페즈(Maribel Lopez) 로페즈 리서치 창립자 겸 수석 연구원은 “기업은 스트리밍 워크로드를 확장하면서 끊임없이 효율과 성능 사이의 균형을 조정하며 비용을 절감하고 있다”며 “하이브리드 클라우드 채택은 기업에게 또 다른 도전을 불러오고 있다. 기술 책임자는 클라우드에서 워크로드 실행과 관리 프로세스를 간소화하는 지능형 툴이 필요하다”고 덧붙였다.

퍼블릭 클라우드용 클라우데라 데이터플로우(CDF)는 쿠버네티스의 ‘나이파이’를 위한 클라우드 기반 서비스로, 기본 데이터 플로우 서비스에서는 일반적으로 사용할 수 없는 주요 운영 및 모니터링 기능을 제공한다.

특히, ▲관리, 검색 및 버전 제어를 위한 센트럴 플로우 카탈로그(Central Flow Catalog) ▲여러 클라우드 클러스터 간 데이터 플로우 모니터링과 문제해결 및 성능 조정을 위한 중앙 대시보드 ▲CDP가 관리하는 쿠버네티스 상의 오토스케일링 플로우를 위한 간단한 배치 마법사 및 강력한 API ▲일반적인 적용 사례를 위한 프리셋 플로우를 제공하는 레디플로우즈(ReadyFlows) 등 기능을 제공한다. 

현재 퍼블릭 클라우드용 클라우데라 데이터플로우(CDF)는 AWS에서 이용할 수 있다.

다니엘 핸드(Daniel Hand) 클라우데라 APAC 필드 CTO는 “비용은 이용 시간과 양에 비례하기 때문에 가성비는 클라우드 데이터 웨어하우스를 선정하기 위한 중요한 요소 중 하나”라며 “클라우데라 데이터 웨어하우스와 같은 고성능 플랫폼은 사용자에게 더 빠른 결과물을 제공할 뿐 아니라 비용 절감의 효과도 기대할 수 있다. 클라우데라 데이터 웨어하우스의 클라우드 기반 아키텍처는 하이브리드 클라우드에 최적화돼 있다”고 밝혔다.

한편, 글로벌 기술분석 전문기업 기가옴(GigaOm)의 최근 ‘클라우드 데이터 웨어하우스 성능 테스트’ 조사에서, 상용 데이터 웨어하우스 제품 중 클라우데라 데이터 웨어하우스(DW)가 업계 표준 벤치마크 테스트에서 가격 대비 최고의 성능 효율성을 갖춘 제품으로 선정한 바 있다.

기가옴 리서치는 해당 조사에서 클라우데라 데이터 웨어하우스(CDW)와 주요 경쟁사인 아마존 레드시프트, 애저 시냅스 애널리틱스, 구글 빅쿼리, 스노우플레이크에서 쿼리를 실행하고 성능을 비교했다.

성능 테스트는 업계 표준 ‘TPC 벤치마크(Benchmark) DS (TPC-DS)로 진행됐으며, 30TB 규모의 99개 쿼리를 분석 후 발생한 가격을 비교하는 방식으로 진행됐다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
2개사 입찰도 ‘유찰’ 교보증권 마이데이터 향방은…
2
[분석]‘농협은행 정보계 차세대’ RFP를 풀어보니…
3
“초개인화 고객분석 마케팅, What, Why, and How?”
4
KT엔지니어링, ‘스팀터빈 발전 설비’ 첫 성과
5
“우리에게는 글로벌 아미가 있다(?)”
6
우리은행, ‘기업승계 택스 컨설팅’ 실시
7
‘U+스마트홈 구글 패키지’, 기능·콘텐츠 강화
8
미라콤아이앤씨, ‘AWS’ 도입
9
우리 원(WON) 뱅킹, ‘우리페이’ 간편결제 도입
10
세일즈포스, ‘드림포스 2021’ 성황리 개최
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 : 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기 | 청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net