편집 : 2024.7.17 수 20:48
뉴스
지코어, ‘인퍼런스 앳더 엣지’ 출시사전 학습된 ML 모델, 엣지 추론 노드에 분산 배포
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2024.06.10  16:22:33
트위터 페이스북 미투데이 요즘 네이버 구글 msn

지코어(Gcore)는 10일 발표를 통해, AI 애플리케이션에 초저지연 경험을 실시간 제공하는 ‘인퍼런스 앳더 엣지(Inference at the Edge)’ 솔루션을 출시한다고 밝혔다.

이 솔루션은 사전 학습된 머신 러닝 모델을 전 세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 지원, 원활한 실시간 추론을 보장한다.

지코어 인퍼런스 앳더 엣지는 180개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며, 모두 지코어의 정교한 저지연 스마트 라우팅 기술로 상호 연결된다.

고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다.

무엇보다 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 엔비디아(NVIDIA) L40S GPU에서 실행된다.

사용자가 요청을 보내면 엣지 노드는 지연 시간이 가장 짧은, 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30밀리초(ms, 1000분의 1초) 미만의 응답 시간을 보장한다. 

네트워크 간 최대 대역폭도 200Tbps로 최고 수준의 학습 및 추론 능력이 가능하다.

또한 인퍼런스 앳더 엣지는 광범위한 기본 머신 러닝 및 커스텀 모델을 지원한다.

지코어 머신 러닝 모델 허브에서 사용 가능한 오픈 소스 기반 모델로는 LLaMA Pro 8B, 미스트랄(Mistral) 7B, 스테이블-디퓨전(Stable-Diffusion) XL 등이 있다.

여러 형식 또는 여러 소스로부터 데이터를 수신해, 모델을 사용 사례에 맞게 선택하고 학습한 후 전 세계에 위치하고 있는 인퍼런스 앳더 엣지 노드에 배포할 수 있다.

이는 일반적으로 개발팀이 직면하는 중요한 문제 중 하나인, 이미 AI 모델이 학습된 동일한 서버에서 다시 실행돼 발생하는 성능이 저하되는 문제를 해결해 준다. 
 

   
▲ (이미지 출처 : 지코어 제공)

지코어 인퍼런스 앳더 엣지의 주요 이점을 보면, 

첫째, 유연한 가격구조로 고객이 사용한 리소스에 대해서만 비용을 지불할 수 있어 ‘비용 효율적인 배포’가 가능하다.

둘째, 디도스 공격에도 머신 러닝의 각 앤드포인트가 지코어의 인프라를 통해 자동으로 보호되는 내장형 디도스 보호 기능을 갖추고 있다.

셋째, GDPR, PCI DSS, ISO/IEC 27001 등 업계 표준을 준수하는 뛰어난 데이터 프라이버시 및 보안을 보장한다.

넷째, 모델 자동확장 기능으로 모델이 항상 최대 수요는 물론 예기치 않은 로드 급증을 지원한다.

마지막으로, 빠르게 진화하는 요구에 맞춰 S3 호환 클라우드 오브젝트 스토리지를 무제한으로 제공한다.

이같은 강점을 통해 지코어 인퍼런스 앳더 엣지는 자동차, 제조업, 유통, 테크놀로지 등 다양한 산업 분야의 기업들이 비용 효율적이고 확장 가능하며, 안전한 AI 모델 배포를 통해 역량을 강화할 수 있도록 지원한다.

기업은, 이를 통해 생성형 AI, 객체 인식, 실시간 행동 분석, 가상 비서, 생산 모니터링과 같은 사용 사례를 글로벌 규모로 빠르게 실현할 수 있다.

안드레 레이텐바흐 지코어 CEO는 “지코어 인퍼런스 앳더 엣지는 고객이 전 세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라에 대해 걱정할 필요 없이 머신 러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다. 지코어는 엣지가 최고의 성능과 최종 사용자 경험을 제공하는 곳이라고 믿으며, 모든 고객이 탁월한 규모와 성능을 누릴 수 있도록 지속적으로 혁신해 나가고 있다”며 “인퍼런스 앳더 엣지는 전 산업분야에 걸쳐 현대적이고 효과적이며, 가장 효율적인 AI 추론 환경을 제공하게 될 것”이라고 말했다.  

<김동기 기자>kdk@bikorea.net
 

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
신한투자증권 ‘메타’, 표준 DBMS로 오라클 채택
2
<초점>6년만에 IT개편 추진 저축銀중앙회 왜(?)
3
저축은행중앙회, 에버스핀 ‘에버세이프 웹’ 도입
4
우리금융, “온 힘으로 분투하겠다”
5
베스핀글로벌, ‘AI 매니지드’ 재편 발표
6
버카다-LG CNS, 전략적 파트너십 체결
7
베트남우리은행, ‘펌뱅킹-기업 ERP’ 연동
8
효성인포, ‘VSP 원 블록’ 출시
9
“기업 절반, 20% 이하 직원만 생성형 AI 액세스 권한”
10
두산, ‘보안관제 전문기업’ 신규 지정돼
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 2010.06.18, 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기
청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net