클라우데라(kr.cloudera.com)는 1일 발표를 통해, 하이브리드 스트리밍 워크로드를 처리하기 위한 데이터 플로우 클라우드 네이티브 서비스 ‘퍼블릭 클라우드용 클라우데라 데이터플로우(Cloudera DataFlow, 이하 CDF)’를 출시했다고 밝혔다.

‘클라우데라 데이터 플랫폼(CDP)’을 통해 사용할 수 있는 ‘CDF’는 복잡한 데이터플로우 운영을 자동화하고 오토스케일링 기능으로 스트리밍 데이터 플로우 운영 효율성을 높이며 짐작에 의한 인프라 규모 확장 작업을 제거해 클라우드 비용을 절감할 수 있다.

IDC의 ‘2021-2025 글로벌 데이터스피어(DataSphere) IoT 장치 및 데이터 예측’ 보고서에 따르면, 데이터 인 모션(Data-in-Motion)의 규모는 최대 79ZB까지 기하급수적으로 증가할 것으로 예상된다.

이미 많은 기업은 아파치 ‘나이파이(NiFi)’를 활용해 코드없는 데이터 플로우를 시각적으로 설계해 하이브리드 클라우드 아키텍처 전반에서 데이터를 수집, 처리하고 있다.

클라우드는 대용량 저장과 처리에 용이하지만, 다수의 정교한 데이터 플로우를 단일 클러스터에 구현하면 운영 및 모니터링 문제가 발생할 수 있으며, 여러 ‘나이파이 플로우’가 동일한 리소스를 사용하면 성능에 문제가 생길 수 있다.

또한, IT 관리자가 필요보다 더 큰 인프라 규모를 선택하는 경우에는 비용이 커지는 문제가 발생한다.

디네시 찬드라세카르(Dinesh Chandrasekhar) 클라우데라 데이터 인 모션 제품 마케팅 책임자는 “클라우데라 데이터플로우(CDF)는 쿠버네티스(Kubernetes)의 클라우드 기반 데이터 플로우를 자동화하고 관리하는 서비스”라며 “이제 기업은 퍼블릭 클라우드에서 스트리밍 워크로드의 운영 효율성을 손쉽게 높이고 인프라 비용을 절감할 수 있다”고 말했다.

마리벨 로페즈(Maribel Lopez) 로페즈 리서치 창립자 겸 수석 연구원은 “기업은 스트리밍 워크로드를 확장하면서 끊임없이 효율과 성능 사이의 균형을 조정하며 비용을 절감하고 있다”며 “하이브리드 클라우드 채택은 기업에게 또 다른 도전을 불러오고 있다. 기술 책임자는 클라우드에서 워크로드 실행과 관리 프로세스를 간소화하는 지능형 툴이 필요하다”고 덧붙였다.

퍼블릭 클라우드용 클라우데라 데이터플로우(CDF)는 쿠버네티스의 ‘나이파이’를 위한 클라우드 기반 서비스로, 기본 데이터 플로우 서비스에서는 일반적으로 사용할 수 없는 주요 운영 및 모니터링 기능을 제공한다.

특히, ▲관리, 검색 및 버전 제어를 위한 센트럴 플로우 카탈로그(Central Flow Catalog) ▲여러 클라우드 클러스터 간 데이터 플로우 모니터링과 문제해결 및 성능 조정을 위한 중앙 대시보드 ▲CDP가 관리하는 쿠버네티스 상의 오토스케일링 플로우를 위한 간단한 배치 마법사 및 강력한 API ▲일반적인 적용 사례를 위한 프리셋 플로우를 제공하는 레디플로우즈(ReadyFlows) 등 기능을 제공한다. 

현재 퍼블릭 클라우드용 클라우데라 데이터플로우(CDF)는 AWS에서 이용할 수 있다.

다니엘 핸드(Daniel Hand) 클라우데라 APAC 필드 CTO는 “비용은 이용 시간과 양에 비례하기 때문에 가성비는 클라우드 데이터 웨어하우스를 선정하기 위한 중요한 요소 중 하나”라며 “클라우데라 데이터 웨어하우스와 같은 고성능 플랫폼은 사용자에게 더 빠른 결과물을 제공할 뿐 아니라 비용 절감의 효과도 기대할 수 있다. 클라우데라 데이터 웨어하우스의 클라우드 기반 아키텍처는 하이브리드 클라우드에 최적화돼 있다”고 밝혔다.

한편, 글로벌 기술분석 전문기업 기가옴(GigaOm)의 최근 ‘클라우드 데이터 웨어하우스 성능 테스트’ 조사에서, 상용 데이터 웨어하우스 제품 중 클라우데라 데이터 웨어하우스(DW)가 업계 표준 벤치마크 테스트에서 가격 대비 최고의 성능 효율성을 갖춘 제품으로 선정한 바 있다.

기가옴 리서치는 해당 조사에서 클라우데라 데이터 웨어하우스(CDW)와 주요 경쟁사인 아마존 레드시프트, 애저 시냅스 애널리틱스, 구글 빅쿼리, 스노우플레이크에서 쿼리를 실행하고 성능을 비교했다.

성능 테스트는 업계 표준 ‘TPC 벤치마크(Benchmark) DS (TPC-DS)로 진행됐으며, 30TB 규모의 99개 쿼리를 분석 후 발생한 가격을 비교하는 방식으로 진행됐다.

<김동기 기자>kdk@bikorea.net