클라우데라(지사장 강형준 kr.cloudera.com)는 13일 발표를 통해, 클라우데라 데이터 플랫폼(Cloudera Data Platform, CDP)이 엔비디아의 ‘아파치 스파크 3.0용 RAPIDS 가속기(Accelerator)’를 통합 지원할 예정이라고 밝혔다.

엔비디아(NVIDIA) 컴퓨팅 플랫폼에 적용된 ‘아파치 스파크 3.0용 RAPIDS 가속기’는 코드의 변경없이 기업의 데이터 파이프 라인을 가속화하고 머신 러닝의 작업 성능을 높여준다.

이를 통해 기업은 인공지능(AI)을 신속히 도입하거나 더 나은 비즈니스 결과를 도출할 수 있다.

앞서 올초 클라우데라 데이터 플랫폼(CDP)에 적용된 머신 러닝 AMP(Applied ML Prototype)과 엔비디아의 컴퓨팅 성능으로 패키지된 머신 러닝(ML)을 미국연방국세청(IRS), 영국통계청(ONS), 독일 코메르츠뱅크(Commerzbank) 등에서 적용한 바 있다.

덧붙여 기업은 이같은 모델을 활용, 온프레미스, 퍼블릭 클라우드, 하이브리드 클라우드에서 보다 저렴한 비용으로 데이터 처리와 머신 러닝 모델 훈련을 더 빠르게 수행할 수 있다.

이번 클라우데라와 엔비디아의 통합 지원으로 기업의 데이터 엔지니어들은 공급망 모델 변환, 금융 부정행위 대응, 새로운 제품군 개발 등 이전에는 볼 수 없었던 규모의 데이터 세트를 활용할 수 있게 됐다.

데이터 과학자의 경우 방대한 양의 데이터로 인해 발생하는 병목현상을 줄여 운영의 비용과 속도를 개선하게 한다.

클라우데라와 엔비디아의 이번 통합 지원은 결국, 기업에게 새로운 비즈니스 과제에 신속하게 대응하고 통찰력 있는 분석 능력을 제공한다. 

조 안살디(Joe Ansaldi) 미국연방국세청(IRS)의 RAAS 기술 책임자는 “급속한 데이터 양의 증가에 대해 신속하고 정확한 의사결정을 내려야 한다. 하지만 증가하는 데이터의 양에도 다양한 문제가 지속적으로 진화하고 있다”며 “클라우데라와 엔비디아의 통합 지원을 통해 데이터를 기반으로 한 통찰력은 부정행위 감지와 같은 미션크리티컬 업무를 강화할 수 있다. 이같은 통합 지원을 통해 데이터 엔지니어링과 과학 업무의 속도를 3배 이상 향상시켰다”고 말했다.

방대한 데이터 세트로 어려움을 겪고 있는 회사에서 오픈소스 기반 GPU 가속 데이터 과학 파이프라인은 머신 러닝 모델 훈련의 가능 여부를 결정한다. 

이 파이프라인은 기업의 능력을 강화해 인공지능(AI)을 활용할 수 있게 한다.

GPU 가속 아파치 스파크(Apache Spark 3.0)는 CDP에서 원활하게 실행되며, 조직이 머신 러닝을 위한 안전하고 확장 가능한 개방형 플랫폼을 사용해 연구에서 생산에 이르기까지 고성능컴퓨터(HPC), AI, 데이터 과학 등의 요구사항을 지원할 수 있다.

아룬 머시(Arun Murthy) 클라우데라 최고제품책임자(CPO)는 “속도가 가장 중요한 시대에 기업은 그 어느 때 보다 데이터의 힘에 의존하고 있다. 엔비디아와 협력은 기업이 데이터를 더 잘 이해하고 AI의 진정한 잠재력을 실현하기 위한 로켓 연료를 제공한다”며 “클라우데라 데이터 플랫폼(CDP) 분석은 데이터 전문가가 겪는 기하급수적인 데이터 증가와 몰아치는 사일로(silo) 데이터 분석을 자신 있게 해결할 수 있도록 구축됐다. 엔비디아와 한단계 더 나아간 통합 지원은 우리에게 자연스러운 다음 단계다. 고객은 엔터프라이즈 데이터 클라우드 서비스를 사용해 이미 경쟁 우위를 유지하고 있다”고 밝혔다.

스콧 맥클레란(Scott McClellan) 엔비디아 데이터 과학 그룹 선임 이사는 “아파치 스파크는 기업이 경쟁력을 유지하기 위해 사용하는 머신 러닝과 데이터 분석 파이프 라인의 초석”이라며 “클라우데라 데이터 플랫폼에서 실행되는 엔비디아 가속 컴퓨팅과 스파크의 분석 처리 능력은 유연하게 빠른 속도가 필요한 기업에겐 속도를, 수익이 필요한 기업에겐 비용 절감을 제공한다”고 말했다.

클라우데라 프라이빗 클라우드의 스파크 3.0용 RAPIDS 가속기는 올 여름부터 사용 가능하다.

5월에 선보일 클라우데라 퍼블릭 클라우드의 딥 러닝 및 머신 러닝 가속을 시작으로, 클라우데라와 엔비디아는 지속적인 가속 기능을 클라우데라 데이터 플랫폼에서 선보일 예정이다.

이번주 ‘엔비디아 GTC(www.nvidia.com/en-us/gtc/)’에서 클라우데라와의 협업에 대한 자세한 정보를 확인할 수 있다.

<김동기 기자>kdk@bikorea.net