효성인포메이션시스템(대표 정태수 www.his21.co.kr)은 히타치 밴타라(www.HitachiVantara.com)가 데이터 통합 및 분석 플랫폼 ‘펜타호 8.0’을 출시했다고 밝혔다.

펜타호 8.0은 스파크(Spark) 및 카프카(Kafka)를 지원, 실시간 데이터 처리 기능을 더욱 강화했으며, 컴퓨팅 리소스를 비즈니스 요구에 따라 실시간으로 손쉽게 배치할 수 있는 기능도 갖췄다.

히타치의 고객들은 이를 통해 자사 데이터로부터 더 큰 가치를 창출해 경쟁 우위를 확보하고, 디지털 트랜스포메이션을 가속화할 수 있다.

펜타호 8.0의 주요 특징은 ▲스트리밍 데이터 소스 접근성 향상 ▲처리 리소스 최적화 ▲팀 생산성 향상을 위한 새로운 기능 제공 등이다.

먼저 스트리밍 데이터 소스 접근성 향상을 위해 ▲스파크(Spark) 기반 실시간 데이터 처리 ▲카프카(Kafka) 스트림과의 연결 ▲녹스(Knox) 기반의 빅데이터 보안 등을 지원한다.

펜타호 8.0은 자체 엔진 또는 스파크를 활용해 실시간 데이터를 수집하고 처리할 수 있다. 이 새로운 기능은 기존 SQL, MLlib을 통한 스파크 통합이나 펜타호의 적응형 실행 계층(adaptive execution layer)에 추가되어 실행된다.

카프카는 스트림 데이터 적재, 추출(publish/subscribe) 메시징 시스템으로, 빅데이터 및 IoT 환경에서 발생하는 대용량 데이터를 처리한다. 펜타호 8.0은 PDI(Pentaho Data Integration)를 카프카로 연결하는 특수 단계를 거쳐 데이터를 실시간으로 처리한다.

펜타호 8.0은 기존의 클라우데라(Cloudera) 및 호튼웍스(Hortonworks)용 엔터프라이즈급 보안 기능에다 하둡 서비스 사용자 인증에 사용되는 녹스 게이트웨이를 새로 추가했다.

펜타호 8.0은 처리 리소스 최적화를 위해 ▲엔터프라이즈 워크로드의 스케일 아웃용 워커 노드(Worker nodes) ▲적응형 실행(adaptive execution) ▲아브로(Avro) 및 파케이(Parquet) 지원 등의 기능을 제공한다.

IT 관리자들은 워커 노드(Worker nodes)를 활용해 추가 노드를 손쉽게 불러올 수 있으며, 모든 가용 컴퓨팅 리소스에 걸쳐 동시에 워크로드를 분산시켜 수요에 부합하는 가용성을 확보할 수 있다.

이러한 매칭 기능은 클라우드 및 온-프레미스 환경 간에 유연성과 이동성을 제공하며, 결과적으로 최종 사용자에게 더 신속하고 효율적인 처리 성능을 보장한다.

펜타호 7.1에 처음 도입된 펜타호의 적응형 실행(adaptive execution) 기능은사용자가 데이터 통합 로직을 재작성하지 않고도 워크로드에 맞는 가장 적합한 처리 엔진을 선택할 수 있게 해준다.

펜타호 8.0은 이런 적응형 실행 기능의 향상으로 설치 및 사용이 더욱 쉬워졌으며 보안성이 향상됐다. 이 기능은 호튼웍스에서도 사용할 수 있다.

사용자들은 펜타호 8.0으로 아브로 및 파케이 등 대중적인 빅데이터 파일 포맷의 읽기 및 쓰기 작업을 보다 쉽게 할 수 있으며, 펜타호의 시각 편집 도구를 활용해 스파크 기술로 처리할 수 있다.

펜타호 8.0은 이밖에 기업의 생산성을 향상시킬 수 있는 새로운 기능으로 데이터 준비용 세부 필터, 향상된 저장소 사용성, 손쉬운 애플리케이션 감사 등을 담았다.

<박시현 기자> pcsw@bikorea.net