피보탈코리아(지사장 이영수)는 6일 본사 발표를 인용, 하둡 기반 HAWQ 고급 SQL 분석 기술과 MADlib 기계 학습(머신 러닝) 기술을 아파치 소프트웨어 재단(이하 ASF)에 제공, 오픈소스 발전에 지속적으로 기여하고 있다고 밝혔다.

피보탈이 ASF를 통해 아파치 하둡을 지원하는 분석 데이터베이스를 제공하게 됨에 따라 기업들은 요구조건이 까다롭고, 비즈니스 크리티컬하며, 효율성을 중요시하는 환경에서 검증된 병렬 데이터 처리 기술을 적극적으로 활용할 수 있게 됐다.

피보탈 호크(HAWQ)를 기반으로 하는 아파치 호크(HAWQ)가 ANSI SQL 컴플라이언스, 스케일 아웃 대량병렬처리(MPP) 아키텍처, 독보적인 성능, 최신 쿼리 최적화, 멀티 태넌트 인지(multi-tenant awareness), 지연현상이 적은 인터랙티브 애드혹 분석 쿼리 능력, 비즈니스 인텔리전스 및 시각화 도구와의 검증된 통합 등 다양한 혜택을 제공하기 때문이다.

◆기업용 분석 엔진 피보탈 호크 통해 아파치 호크 구현 = 2013년 출시된 피보탈 ‘호크’는 피보탈 그린플럼 데이터 웨어하우징 시스템과 ‘포스트그레(Postgre) SQL’ 개발을 통해 10년 이상 축적돼 온 기업용 분석 엔진이다.

호크는 고급 SQL 분석 도구인 하둡을 위한 핵심 엔터프라이즈 애플리케이션을 정의하는데 크게 공헌해왔다.

아파치 ‘호크’는 강력한 알고리즘들을 병렬로 실행하고 피보탈의 하둡 배포판(Pivotal HD), 호튼웍스(Hortonworks) 데이터 플랫폼(HDP), 향후 출시 예정인 ODPi(ODPi.org) 코어에 기반한 어떤 하둡 클러스터에서도 구성이 가능하다.

◆기계 학습 라이브러리 ‘MADlib’도 지원 = 호크 뿐만 아니라 피보탈은 ASF에서의 인큐베이션을 위한 기계 학습 라이브러리(machine-learning library)인 MADlib도 지원한다.

아파치 MADlib는 호크와 매끄럽게 통합되는 대규모 병렬 기계학습 알고리즘 컬렉션이다.

MADlib는 피보탈이 캘리포니아대학교 버클리캠퍼스, 스탠퍼드 대학교, 플로리다 대학교 연구진 및 피보탈 고객들과의 협력을 통해 개발했으며, 금융, 자동차, 미디어, 통신 및 교통 등 다양한 산업군에서 사용되고 있다.

이 MADlib는 피보탈 빅데이터 스위트(Pivotal Big Data Suite)의 일부로서 제공되는 호크, 피보탈 그린플럼 및 포스트그레 SQL을 지원한다.

피보탈은 향후 ASF를 통해 HAWQ와 MADlib의 개발을 이어나갈 예정이며, 보다 진보된 하둡 기반의 빅데이터 분석 기술 개발을 위해 호튼웍스 및 알티스케일(Altiscale)과도 지속적으로 협력할 계획이다.

게빈 셰리(Gavin Sherry) 피보탈 데이터 담당 부사장 겸 CTO는 “피보탈이ASF의 인큐베이션 프로젝트를 지원함에 따라 호크와 MADlib 기술이 하둡 개발자 및 사용자들에게 전례없이 뛰어난 SQL 처리 능력과 노하우를 제공할 수 있을 것”이라며 “피보탈은 데이터 처리 시스템 분야 최고 전문가들과 오픈 소스 환경에서 협력, 고객들에게 더 나은 서비스를 제공하고 있다”고 밝혔다.

<김동기 기자>kdk@bikorea.net