편집 : 2024.4.22 월 14:55
뉴스
데이터브릭스-엔비디아, 협력 확대데이터 및 AI 워크로드 가속화 등
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2024.03.21  13:35:31
트위터 페이스북 미투데이 요즘 네이버 구글 msn

데이터브릭스(Databricks)는 21일 발표를 통해, 엔비디아(NVIDIA)와 협력을 확대하고 기술 통합을 강화한다고 밝혔다.

이에 따라 두 회사는 데이터브릭스의 데이터 인텔리전스 플랫폼(Data Intelligence Platform)에서 데이터 및 AI 워크로드를 최적화하는 데 박차를 가할 계획이다.

이번 협력은 최근 엔비디아가 데이터브릭스 시리즈 I 투자에 참여한 것의 연장선이기도 하다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다. 쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 말했다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산”이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다”고 말했다.

◆엔드투엔드 AI 솔루션을 위한 GPU 지원 가속화 = 조직은 데이터로 훈련되고 비즈니스와 도메인에 맞게 맞춤화된 생성형 AI 솔루션을 구축 및 커스터마이징하기 위해 데이터브릭스의 데이터 인텔리전스 플랫폼을 신속하게 도입하고 있다.

데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다.

아울러 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다.

데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU(NVIDIA H100 Tensor Core GPU)를 사용한다.

이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다.

한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다.

데이터브릭스 모자이크 AI 모델 서빙(Mosaic AI Model Serving)의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM) 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다.

◆엔비디아 가속 컴퓨팅을 통해 쿼리 성능을 향상하는 ‘포톤(Photon)’ = 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진 ‘포톤’에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공, 기업의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다.

‘포톤’은 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스(serverless) 데이터 웨어하우스 ‘데이터브릭스 SQL(Databricks SQL)’을 구동하고 있다.

데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다.

◆데이터브릭스의 머신러닝 및 딥러닝 지원 = 데이터브릭스에서 머신러닝(ML)과 딥러닝은 중요한 워크로드다.

데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함돼 있다.

사용자는 이같은 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다.

한편, 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
KB금융, ‘VM웨어 가격인상’에 그룹 차원 대응나서
2
<초점>구독형 폭풍에 금융권 “나 지금 떨고 있니”
3
“AI 코드 어시스턴트 사용 2028년까지 급증” 전망
4
‘네이버페이 x 삼성페이’, 전국 143만 결제처 이용
5
딥브레인AI, GPT 스토어에 ‘AI 스튜디오스’ 출시
6
<초점>코스콤 대표 선임 및 차세대 전망은
7
하나은행, ‘인천국제공항지점’ 이전 개점
8
델 ‘파워엣지 서버’, 인텔 가우디3 AI 가속기 지원
9
에이아이트릭스, ‘대한외상중환자외과학회 런천 심포지엄’ 마쳐
10
KT, ‘3대 AI 전력 절감 기술’ 공개
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 2010.06.18, 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기
청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net