IBM은 실시간 데이터 처리 능력을 가속화시킬 수 있는 아파치 스파크를 자사의 15개의 핵심 분석 및 커머스(Commerce) 솔루션에 연결해 새롭게 출시했다고 29일 밝혔다.

아울러 IBM은 자사의 블루믹스에서 아파치 스파크의 IBM 분석 서비스 SaaS(Spark-as-a-Service)의 제공이 가능해졌다고 발표했다.

앞서 4600명이 넘는 개발자들이 스파크 서비스(Spark-as-a-Service)의 베타 프로그램을 사용해 지능형 비즈니스 및 고객 애플리케이션을 성공 구축한 바 있다.

UC 버클리 AMP 실험실에서 개발된 아파치 스파크는 복잡한 데이터에서 인사이트를 이끌어 낼 수 있는 알고리즘을 손쉽게 생성하는 것으로 유명하다.

가장 빈번히 접속되는 정보에 이상적인 스파크의 인메모리 프로세싱을 사용, IBM은 자사 소프트웨어 솔루션 및 IBM 빙인사이트(BingInsights), IBM 스트림즈(Streams), IBM SPSS 등 클라우드 데이터 서비스 시스템 구성을 단순화할 수 있게 됐다.

IBM은 운영 체제를 단순화하고 시스템 구축 및 개시 시간을 단축시키기 위해 자사의 유명 데이터 준비 및 데이터 정제 서비스인 데이터 웍스(DataWarks)의 기반 코드를 4000만개에서 500만개로 87%이상 축소했다.

데이터 웍스는 스파크의 확장성, 분산 프로그래밍 모델, 데이터 소스 연결 등에 있어서 직접적인 혜택을 볼 것으로 기대된다.

스파크는 지능형 애플리케이션 개발 과정을 대폭 단축해 주는 민첩하며 편리한 오픈 소스 기술이다.

아파치 스파크용 IBM 애널리스틱스는 IBM 블루믹스 클라우드 플랫폼 내의 오픈소스, 자사 및 타사의 분석 툴들과 쉽게 통합된다.

개발자들은 이제 그들의 애플리케이션에서도 실시간으로 IBM 분석 툴을 사용할 수 있게 된 것.

노바 스코티아 기반 솔루션인크(SolutionInc)는 50여개국의 호텔, 컨퍼런스 센터, 관광지 등에 공용 와이파이와 유선 통신망을 제공하는 회사다.

다국적 와이파이 제공자로, 솔루션인크는 트래픽 패턴과 트렌드에 대해 알아보기 위해 다양한 데이터 소스에서 발생되는 다량의 와이파이 데이터를 빠르게 분석해야 했다.

솔루션인크는 블루믹스상의 IBM 애널리틱스 아파치 스파크 서비스를 사용해 트래픽이 최대치인 시간대, 트래픽이 가장 활발한 지역, 경로 패턴, 장치 타입과 같은 관련 데이터를 추출하는 것이 가능해져, 자사의 고객들이 즉시 활용할 수 있는 데이터 정보를 제공할 수 있게 됐다.

글렌 라빈 솔루션인크의 대표는 “IBM 스파크 기술을 사용해 우리는 2억 4000만 열(Rows)이 넘는 와이파이 로그 정보를 살펴볼 수 있게 됐으며, 여러 장소의 장치 트래픽 패턴과 데이터를 이해할 수 있게 됐다”며 “IBM 분석 서비스를 이용해 필요한 시장 요구와 트렌드를 더 잘 이해하고 고객들에게 더 나은 서비스를 제공할 수 있게 됐다”고 말했다.

롭 토마스 IBM 애널리틱스 솔루션 개발 총괄 부사장은 “데이터로 무수한 새로운 시도를 하는 데이터 과학자와 엔지니어에게 스파크와 같은 오픈 소스 기술의 혁신은 무시할 수 없는 것”이라며 “IBM은 산업 분석 플랫폼으로도 스파크를 사용할 것이며, IBM 블루믹스 상에서 관리되는 스파크 서비스를 데이터 전문가들에게 제공, 그들이 보다 쉽고 신속하게 데이터에 접근하고 필요한 정보를 분석할 수 있도록 지원할 수 있게 됐다”고 강조했다.

데렉 스코에틀(Derek Schoettle) IBM 클라우드 데이터 서비스 총괄 사장은 “IBM의 아파치 스파크 애널리틱스는 연관 프로세스를 단순화시켜 데이터 전문가들이 스파크 클러스터나 운영체제를 관리하는 대신 애플리케이션 개발에 집중할 수 있도록 해준다”고 말했다.

한편 IBM은 올해 아파치 스파크 커뮤니티에 가입을 발표한 이래, 머신러닝과 SQL을 포함해 60 여가지 이상의 기술을 스파크 프로젝트에 제공했다.

IBM 스파크 기술 센터에서는 35명 이상의 아파치 스파크 기여자들을 고용했으며, BigDataUniversity.com의 온라인 교육 과정을 통해 31만명이 넘는 데이터 전문가들을 교육시켰다.

<김동기 기자>kdk@bikorea.net