엔비디아(CEO 젠슨 황 www.nvidia.co.kr)는 최근 인공지능 기반 데이터센터 플랫폼 ‘엔비디아 텐서RT 하이퍼스케일 플랫폼’을 출시했다.

엔비디아 텐서RT(TensorRT) 하이퍼스케일 플랫폼은 실시간 추론 소프트웨어인 ‘텐서RT 5’와 CPU보다 최대 40배 빠른 속도로 쿼리를 처리하는 ‘테슬라 T4 GPU’, 텐서RT 추론 서버 등으로 구성돼 있다.

▲ 엔비디아 테슬라 T4 GPU(사진출처: 엔비디아 제공)

테슬라 T4 GPU는 320개의 튜링 텐서 코어와 2,560개의 쿠다(CUDA) 코어를 갖췄다. FP32부터 FP16까지의 연산성능 뿐 아니라, INT8 및 INT4의 다중 정밀도까지 지원한다.

에너지 효율적인 75와트 소형 PCle 폼팩터로 제공되는 이 GPU는 FP16에서 최대 65테라플롭(teraflop) 성능을 내며, INT8에서 130테라플롭, INT4에서 260테라플롭의 성능을 구현한다.

텐서RT 5는 추론 최적화 및 런타임 엔진으로, 튜링 텐서 코어를 지원한다.

텐서RT 추론 서버는 컨테이너형 마이크로 서비스 소프트웨어로, 데이터센터 구성 시 애플리케이션이 AI 모델을 사용할 수 있도록 돕는다. 엔비디아 GPU 클라우드 컨테이너 레지스트리에서 자유롭게 사용 가능하며, 데이터센터 처리량 및 GPU 활용을 극대화한다. 널리 이용되고 있는 모든 AI 모델 및 프레임워크를 지원하며, 쿠버네티스(Kubernetes) 및 도커(Docker)와 통합된다.

<박시현 기자> pcsw@bikorea.net