편집 : 2024.4.22 월 12:43
뉴스
네이버클라우드 하이퍼클로바 엑스, ‘소버린 AI’ 성능 입증45개 분야 3만 5030개 전문가 수준 문항으로 구성
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2024.02.27  09:23:42
트위터 페이스북 미투데이 요즘 네이버 구글 msn

네이버클라우드(대표 김유원)는 27일 발표를 통해, 하이퍼클로바 엑스(HyperCLOVA X)가 한국판 AI 성능 평가 체계 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록하며 소버린 AI로서 우수한 성능 경쟁력을 확인할 수 있었다고 밝혔다.

※ KMMLU = Measuring Massive Multitask Language Understanding in Korean (https://arxiv.org/abs/2402.11548)

KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다.

인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 35,030개 문항으로 구성돼 있다.

수학적 추론 능력과 같이 전세계 공통적으로 적용 가능한 광범위한 지식을 묻는 문항 비중이 약 80%, 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%로, AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다.

또한 오픈AI, 구글 등 북미 테크 기업들이 자사 AI 성능을 확인하기 위해 주로 사용하는 지표 ‘MMLU’를 한국어로 번역하는 경우, 문항의 부정확한 번역과 여러 문제에 내재된 영어권 국가만의 문화적 맥락 때문에 AI 모델의 한국어 능력을 제대로 가늠하기 어려운 한계가 있었다.

KMMLU는 한국어 원본의 시험 문제들로 구성되어, 국내∙외 AI의 한국어 이해 역량도 보다 정확하게 평가할 수 있다.

이번 KMMLU 연구 논문에 따르면, 하이퍼클로바 엑는 오픈AI의 GPT-3.5-타보(Turbo)와 구글의 제미니-프로(Gemini-Pro)보다 높은 점수를 기록하며, 일반 지식(General Knowledge)과 한국 특화 지식(Korea-Specific Knowledge)을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다.

한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록해, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있음을 보였다.

네이버클라우드는 KMMLU를 통해 입증된 하이퍼클로바 엑스의 성능 경쟁력을 바탕으로, 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린(Sovereign) AI’ 솔루션으로 발전시켜나가겠다는 계획이다.

지난해 10월에 고객사가 폐쇄된 사내망에서 하이퍼클로바 엑스를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 ‘뉴로클라우드 포 하이퍼클로바X(Neurocloud for HyperCLOVA X)’를 출시했고, 향후 다양한 기업용 솔루션도 선보일 계획이다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “하이퍼클로바 엑스는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로, 우수한 성능, 강력한 보안을 갖춘 솔루션과 함께 국내 산업계 전반에서 도입이 이뤄지고 있다”며 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다.

한편, 네이버클라우드는 KMMLU를 설계하는 과정에도 참여하며, AI 모델들의 한국어 이해 능력을 보다 객관적으로 평가해 더욱 우수한 성능의 AI가 한국에서 만들어질 수 있는 환경을 조성하는 데에도 적극적으로 기여하고 있다.

2021년에는 30여곳 기업과 대학의 자연어처리 전문가들과 함께 한국어 자연어 이해 벤치마크 ‘KLUE(Korean Language Understanding Evaluation)’를 구축했으며, 지난해에는 사회과학, 법학 등 여러 학문 분야와의 협력 연구를 통해 국내 초대규모 언어모델의 신뢰성 향상을 위한 한국어 데이터셋을 공개하기도 했다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
KB금융, ‘VM웨어 가격인상’에 그룹 차원 대응나서
2
<초점>구독형 폭풍에 금융권 “나 지금 떨고 있니”
3
“AI 코드 어시스턴트 사용 2028년까지 급증” 전망
4
‘네이버페이 x 삼성페이’, 전국 143만 결제처 이용
5
딥브레인AI, GPT 스토어에 ‘AI 스튜디오스’ 출시
6
하나은행, ‘인천국제공항지점’ 이전 개점
7
델 ‘파워엣지 서버’, 인텔 가우디3 AI 가속기 지원
8
에이아이트릭스, ‘대한외상중환자외과학회 런천 심포지엄’ 마쳐
9
<초점>코스콤 대표 선임 및 차세대 전망은
10
KT, ‘3대 AI 전력 절감 기술’ 공개
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 2010.06.18, 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기
청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net