맵알테크놀러지스(지사장 김점배 www.mapr.com)가 아파치 드릴(Apache Drill) 1.6 버전을 출시했다고 밝혔다.

‘아파치 드릴 1.6’은 맵알-DB와 밀접한 결합을 통해 맵알 컨버지드 데이터 플랫폼(MapR Converged Data Platform)을 위한 통합 SQL 레이어로서의 역할을 한다.

고객 및 파트너는 운영 데이터에서 도출된 인사이트와 함께 자사의 가치 실현 시간을 단축시키는 동시에 맵알-DB 테이블에 저장된 JSON 데이터의 유연한 리포팅 및 분석 기능을 통해 혜택을 얻을 수 있다.

하둡 위클리(Hadoop Weekly)에 따르면, 아파치 드릴 프로젝트는 하둡 생태계에서 제품 출시 속도가 가장 빠른 것으로 나타났다.

맵알 컨버지드 플랫폼 상에서 이용 가능한 아파치 드릴 1.6은 새로운 맵알-DB 다큐먼트 데이터베이스 플러그인, 향상된 성능 및 스케일 그리고 최적화된 태블로(Tableau) 및 BI 툴 경험을 제공한다.

최상의 오픈소스 빅데이터 기술 중 하나로 인정받고 있는 드릴에 대한 관심과 도입은 계속해 증가하고 있다.

수천 명의 사용자들이 드릴을 다운로드 했고, 수많은 기업이 드릴을 제작에 활용하고 있으며, 무려 페타바이트(PB) 단위의 데이터를 상호적으로 분석하고 있다.

또한 전세계 6000명 이상의 BI 애널리스트 및 개발자들이 맵알의 무료 온디맨드 교육(On-Demand Training) 프로그램의 드릴 교육 과정을 이수했다.

PYA 애널리틱스(PYA Analytics)의 에드몽 베골리(Edmon Begoli) 최고기술책임자(CTO)는 “PYA 애널리틱스는 최근 미국 의료서비스센터(CMS)와 같은 상업적 기관 및 공공 기관들의 청구, 과금 및 임상 데이터를 포함한 플랫(flat) PSV 파일들의 2년치 분량에 대한 쿼리를 60초만에 수행할 수 있었다. 드릴은 ETL과 데이터 웨어하우징의 기존 접근방식을 피해 플랫 파일을 향상된 성능의 파케이(Parquet)와 같은 효율적인 포맷으로 변환하고, 대용량 파일에 일반 SQL을 사용할 수 있도록 지원한다”고 말했다.

◆NoSQL 상의 유연한 운영 분석 = 새로운 맵알-DB 다큐먼트(MapR-DB document) 데이터베이스 플러그인 애널리스트가 맵알-DB 테이블의 JSON 데이터상에서 SQL 쿼리를 직접적으로 수행하도록 한다.

맵알-DB 다큐먼트 데이터베이스 플러그인은 최상의 인터렉티브 경험을 제공하기 위해 다양한 푸시다운 기능들을 지원한다.

◆쿼리 성능 향상 = 드릴 1.6은 하둡 및 NoSQL 시스템 상에서 전체 테이블이 아닌 파티션 몇 개에만 접근해서 결과를 도출하는 방식인 파티션 프루닝(partition pruning), 메타데이터 캐싱(metadata caching) 및 최적화 등 수많은 쿼리 플래닝 기능을 향상시켜 더욱 향상된 데이터 쿼리 성능을 제공한다.

드릴 1.6은 드릴 1.2와 비교해10배에서 최대 60배까지 향상된 쿼리 플래닝 성능을 구현한다.

◆메모리 관리 = 드릴 1.6은 고객들이 맵알 클러스터(MapR cluster)에서 대규모의 많은 SQL 워크로드를 운영할 수 있도록 높은 안정성과 스케일을 제공한다.

◆태블로와 같은 시각화 툴 통합 = 드릴 1.6은 메타데이터 쿼리 성능 개선과 함께 시각화 툴부터 하둡 상의 데이터까지 엔드-투-엔드 보안 성능을 구현하기 위해 클라이언트 임퍼스네이션(client impersonation) 기능을 지원한다.

또한 SQL 윈도 지원 기능을 향상시켰다.

드릴의 활용 사례는 다양하다.

예를 들어 미디어 기업은 드릴을 통해 컨텐츠전송네트워크(CDN) 수신 파일에 대해 데이터 전환 없이 즉각적으로 쿼리 및 분석을 수행해 CDN 로그를 테라바이트(TB) 단위까지 분석하고, 자사의 고객 이탈을 방지할 수 있다.

하이테크 칩 제조업체는 휴대용 디바이스 파트너의 통화 끊김 현상을 분석할 수 있는 서비스를 개발해 파트너에게 해당 정보를 전달하고, 통화 서비스 품질을 증대시키도록 도울 수 있다.

통신 기업은 기지국 로그 데이터를 선제적으로 모니터링하고 즉각적인 쿼리 및 분석을 수행해 가입자의 경험을 향상시킬 수 있다.

맵알의 니라자 렌타친타라(Neeraja Rentachintala) 제품 관리 부문 디렉터는 “맵알-DB와 같은 다큐먼트 데이터베이스 상에서의 운영 분석 활용 사례가 빠르게 증가하고 있다”며 “드릴 1.6은 BI 개발자들과 비즈니스 애널리스트들이 번거로운 ETL이나 데이터 전환을 거치지 않고, 네이티브 포맷으로 데이터를 저장하고, 쿼리를 수행할 수 있도록 보안과 스케일 성능을 구현한다”고 말했다.

<김동기 기자>kdk@bikorea.net