▲ IBM의 주최로 열린 스파크 해커톤(Spark Hackathon)에서 텍사스 A&M 대학 컴퓨터 공학 박사과정 중인 시바 고팔란(오른쪽)이 IBM 개발자인 헨리크 코펠리 잠본(가운데) 및 루이즈 아오쿠이와 논의 중이다.

IBM이 새로운 오픈소스 프로젝트이자 빅데이터 분석 기술인 아파치 스파크(Apache Spark)에 대한 대폭 지원에 나선다.

IBM은 스파크를 IBM의 분석과 커머스 플랫폼의 핵심으로 구축하며, 앞으로 10년간 스파크 프로젝트에 전세계 IBM 연구원과 개발자 3,500여 명을 투입하고, 머신 러닝 기술인 IBM 시스템ML(SystemML)을 스파크 오픈소스 생태계에 기증하며, 100만 명의 데이터 사이언티스트와 데이터 엔지니어를 육성할 것이라고 밝혔다.

또 모든 앱 개발자가 데이터를 신속하게 로딩할 수 있도록 스파크를 IBM 블루믹스상에서 서비스로 제공하며, 샌프란시스코에 데이터 사이언티스트 및 개발자 커뮤니티로 스파크 기술센터를 설립하기로 했다.

그리고 100만명 데이터 사이언티스트 육성과 관련해 앰프랩(AMPLab), 데이터캠프(DataCamp), 메티스트림(MetiStream), 갈바니즈(Galvanize), 빅데이터 대학(Big Data University) MOOC 등과 긴밀한 협력 체제를 지속할 방침이다.

IBM 분석 플랫폼 부문 베스 스미스(Beth Smith) 총괄 사장은 “IBM은 지난 10년 간 오픈소스 혁신에 앞장서 왔다. 오픈소스가 고객가치를 창조할 기반이 될 것으로 믿고 있다”면서 “모든 사업에서 근본적으로 혁신을 가속화하고 분석을 이끌 기술 플랫폼이 될 스파크에 전적으로 지원할 것”이라고 밝혔다.

스파크는 기업이 빅데이터를 애플리케이션에 더욱 쉽게 통합하도록 해주는 플랫폼이다. IBM은 2009년 스파크를 처음 만든 UC 버클리 앰프랩의 4개 창설 멤버 중 한 곳이다.

<김동기 기자> kdk@bikorea.net