편집 : 2024.6.24 월 15:48
뉴스
‘레드햇 엔터프라이즈 리눅스 AI’ 출시IBM 그래닛 LLM 최초 제공
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2024.05.08  09:29:39
트위터 페이스북 미투데이 요즘 네이버 구글 msn

한국레드햇은 지난 7일 본사 발표를 인용, 사용자가 생성형 AI 모델을 보다 원활하게 개발·테스트·배포할 수 있도록 지원하는 파운데이션 모델 플랫폼 ‘레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)’를 출시했다고 발표했다.

‘RHEL AI’는 IBM리서치(IBM Research)의 오픈소스 라이선스 그래니트 LLM(Granite LLM, 대규모 언어 모델) 제품군과 LAB(Large-scale Alignment for chatbot, 챗봇을 위한 대규모 정렬) 방법론에 기반한 인스트럭트랩(InstructLab) 모델 정렬 도구 그리고 인스트럭트랩 프로젝트를 통한 커뮤니티 중심의 모델 개발 접근 방식을 결합한 솔루션이다.

전체 솔루션은 하이브리드 클라우드의 개별 서버 배포를 위해 최적화된 RHEL 이미지로 패키징돼 있으며, 분산 클러스터 환경에서 모델과 인스트럭트랩을 대규모로 실행하기 위해 레드햇의 하이브리드ML옵스(MLOps, 머신러닝 운영) 플랫폼 ‘오픈시프트 AI(OpenShift AI)’에 포함돼 있다.

챗GPT(ChatGPT)의 출시가 생성형 AI에 대한 폭발적인 관심을 불러일으킨 이래 혁신의 속도는 더욱 빨라지고 있다.

기업은 생성형 AI 서비스에 대한 초기 평가 단계에서 AI 기반 애플리케이션 구축 단계로 전환하기 시작했다.

빠르게 성장하는 개방형 모델(open model) 옵션 생태계는 AI 혁신에 박차를 가하고 있으며 ‘모든 것을 지배하는 하나의 모델’은 존재하지 않을 것임을 시사하고 있다.

기업은, 다양한 선택지 중에서 특정 요구 사항 해결을 위한 모델을 선택할 수 있으며, 이러한 혁신은 개방형 접근 방식을 통해 더욱 가속화될 것이다.

AI 전략 구현을 위해서는 단순히 모델을 선택하는 것만으로는 부족하며, 특정 사용 사례에 맞게 주어진 모델을 조정하고 AI 구현에 드는 막대한 비용을 처리할 수 있는 전문 지식을 필요로 한다.

데이터 과학 기술의 부족은 ▲AI 인프라 조달 또는 AI 서비스 사용 ▲비즈니스 요구 사항에 맞도록 AI 모델을 조정하는 복잡한 프로세스 ▲엔터프라이즈 애플리케이션에 AI 통합 ▲애플리케이션과 모델 라이프사이클의 관리 등 여러 분야에 비용을 요구해 더욱 어려움을 겪을 수 있다.

AI 혁신의 진입 장벽을 확실히 낮추기 위해서는 AI 이니셔티브 참여자의 범위를 넓히는 동시에 이러한 비용을 통제할 수 있어야 한다.

레드햇은 인스트럭트랩 정렬 도구, 그래니트 모델, RHEL AI를 통해 접근과 재사용이 자유롭고 완전히 투명하며 기여에 개방적인 진정한 오픈소스 프로젝트의 장점을 생성형 AI에 적용함으로써 이러한 장애물을 제거할 계획이다.

◆인스트럭트랩으로 개방형 AI 구축 = IBM리서치는 분류법(taxonomy) 기반 합성 데이터 생성과 새로운 다단계(multi-phase) 튜닝 프레임워크를 사용하는 모델 정렬 방식 ‘랩(LAB) 기술’을 개발했다.

이 접근 방식은 비용이 많이 드는 사람의 주석이나 독점 모델에 대한 의존도를 줄여 모든 사용자가 보다 개방적이고 접근하기 쉬운 AI 모델 개발을 가능하게 한다.

‘랩 방식’을 사용하면 분류법에 수반되는 기술과 지식을 특정하고, 이 정보로부터 대규모로 합성 데이터를 생성해 모델에 영향을 주고, 생성된 데이터를 모델 학습에 사용, 모델을 개선할 수 있다.

‘랩 방식’이 모델 성능을 크게 향상시키는 데 도움이 될 수 있다는 것을 확인한 IBM과 레드햇은 LAB 방식과 IBM의 오픈소스 그래니트 모델을 중심으로 구축된 오픈소스 커뮤니티 ‘인스트럭트랩’을 출범하기로 결정했다.

‘인스트럭트랩 프로젝트’는 타 오픈소스 프로젝트에 기여하는 것만큼 간단하게 LLM을 구축하고 기여할 수 있도록 함으로써 개발자들의 LLM 개발을 돕는 것이 목표다.

IBM은 인스트럭트랩 출시의 일환으로 그래니트 영어 모델 및 코드 모델 제품군도 공개했다.

아파치 라이선스에 따라 출시된 이 모델들은 모델 학습에 사용된 데이터 세트에 대한 완전한 투명성을 갖췄다.

‘그래니트 7B(Granite 7B)’ 영어 모델은 인스트럭트랩 커뮤니티에 통합됐으며, 최종 사용자는 다른 오픈소스 프로젝트에 기여할 때와 마찬가지로 이 모델의 공동 개선을 위해 기술과 지식을 기여할 수 있다.

인스트럭트랩 내 그래니트 코드 모델에 대해서도 유사한 지원이 곧 제공될 예정이다.

◆신뢰받는 리눅스 기반의 오픈소스 AI 혁신 = ‘RHEL AI’는 AI 혁신에 대한 이러한 개방형 접근 방식을 기반으로 구축돼 있다.

하이브리드 인프라 환경 전반에서 배포를 간소화하기 위해 세계 선도적인 엔터프라이즈 리눅스 플랫폼과 결합된 인스트럭트랩 프로젝트 및 그래니트 언어 및 코드 모델의 엔터프라이즈 지원 버전을 통합한다.

이를 통해 오픈소스 라이선스 생성형 AI 모델을 엔터프라이즈에 도입할 수 있는 파운데이션 모델 플랫폼이 만들어진다.

‘RHEL AI’가 포함하고 있는 주요 기능을 보면,

- 레드햇에 의해 전적으로 지원되고 면책되는(indemnified) 오픈소스 라이선스 그래니트 언어 모델 및 코드 모델

- LLM 기능을 향상하고 더 많은 사용자가 지식과 기술을 활용할 수 있도록 확장 가능하고 비용 효율적인 솔루션을 제공하는 인스트럭트랩의 라이프싸이클 지원

- RHEL 이미지 모드를 통해 부팅 가능한 RHEL 이미지로 제공하며 엔비디아(NVIDIA), 인텔(Intel), AMD에 필요한 런타임 라이브러리 및 하드웨어 가속기와 파이토치(Pytorch)를 포함

- 신뢰할 수 있는 엔터프라이즈 제품 배포, 연중무휴 생산 지원, 모델 라이프사이클 연장 지원, 모델 지적 재산권 면책 등 레드햇의 완전한 엔터프라이즈 지원 및 라이프사이클 서비스

사용자는 RHEL AI에서 새로운 AI 모델을 실험하고 조정할 때, RHEL AI가 포함된 레드햇 오픈시프트 AI를 통해 이러한 워크플로우를 확장할 수 있는 준비된 진입로를 확보할 수 있다.

여기서 AI 모델의 대규모 학습을 위한 오픈시프트의 쿠버네티스 엔진과 모델 라이프사이클 관리를 위한 오픈시프트 AI의 통합 ML옵스 기능을 활용할 수 있다.

또한 오픈시프트 AI와 RHEL AI는 엔터프라이즈 AI 개발과 데이터 관리, 모델 거버넌스를 위한 추가 기능을 제공하는 ‘IBM 왓슨엑스(watsonsx)’와 통합될 예정이다.

◆클라우드처럼 AI도 ‘하이브리드’로 = 오픈소스 기술은 지난 30년 이상 IT 비용을 크게 절감하고 혁신의 장벽을 낮춰 빠른 혁신에 기여해 왔다.

마찬가지로 레드햇은 2000년대 초 RHEL을 통해 개방형(open) 엔터프라이즈 리눅스 플랫폼을 제공한 이래 레드햇 오픈시프트를 통해 컨테이너와 쿠버네티스를 오픈 하이브리드 클라우드 및 클라우드 네이티브 컴퓨팅의 기반으로 자리잡게 하는 등 이러한 변화를 선도해 왔다.

이같은 추진력은 레드햇이 오픈 하이브리드 클라우드 전반에 걸쳐 AI/ML 전략을 강화하는 것으로 계속돼 데이터센터나 여러 퍼블릭 클라우드, 엣지 등 데이터가 있는 모든 곳에서 AI 워크로드를 실행할 수 있도록 지원한다.

워크로드뿐만 아니라, 레드햇의 AI 비전은 모델 학습 및 조정을 동일한 방법으로 제공해 데이터 주권와 규정 준수, 운영 무결성과 관련된 한계를 더 잘 해결할 수 있게 한다.

이와 같은 환경 전반에서 레드햇 플랫폼이 제공하는 일관성은 실행되는 위치와 무관하게 AI 혁신의 흐름을 유지하는 데 매우 중요하다.

‘RHEL AI’와 인스트럭트랩 커뮤니티는 이러한 비전의 실현을 한층 더 고도화해 AI 모델 실험 및 구축의 많은 장벽을 허물고 차세대 지능형 워크로드에 필요한 도구, 데이터 및 개념을 제공한다.

◆가용성 = RHEL AI는 현재 개발자 프리뷰 버전으로 제공된다.

이제 IBM 클라우드는 그래니트 모델을 학습하고 인스트럭트랩을 지원하는 IBM 클라우드의 GPU 인프라를 기반으로 해 RHEL AI 및 오픈시프트 AI에 대한 지원을 추가할 예정이다.

아셰시 바다니(Ashesi Badani) 레드햇 최고 제품 책임자 겸 수석 부사장은 “생성형 AI는 기업에게 혁신적인 도약을 제시하지만, 이는 기술 조직이 그들의 비즈니스 요구 사항에 맞는 방식으로 AI 모델을 실제로 배포하고 사용할 수 있을 때만 실현 가능하다. RHEL AI와 인스트럭트랩 프로젝트는 레드햇 오픈시프트 AI와 큰 규모로 결합돼 제한된 데이터 과학 기술부터 필요한 리소스에 이르기까지 하이브리드 클라우드 전반에서 생성형 AI가 직면한 많은 허들을 낮추고 기업 배포와 업스트림 커뮤니티 모두에서 혁신을 촉진하도록 설계됐다”고 강조했다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
산업은행, ‘글로벌 표준 뱅킹 재구축’ 삼성 품에…
2
800억대 흥국생명 기간계 구축, SK 우선협상
3
서비스나우, ‘손해보험 청구 관리 부문 리더로’
4
“올 1분기 국내 스마트폰 373만대 출하”
5
오라클, ‘에이펙스 AI 어시스턴트’ 발표
6
KT, 25일까지 ‘으랏차차 패키지’ 프로모션
7
‘KB 리브모바일’, 이통사 고객만족도 1위 달성…3년 연속
8
데이터브릭스, ‘유니티 카탈로그’ 오픈소스로 제공
9
프로엔솔루션, ‘국민은행 IB통합플랫폼’ 수주
10
HPE, 신규 ‘가상화 역량’ 공개
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 2010.06.18, 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기
청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net