네이버(대표 한성숙)가 자연어처리 분야 학회 ‘EMNLP(Empirical Methods in Natural Language Processing) 2021’에서 초대규모 AI 연구 성과를 공유한다.

클로바 및 AI랩 연구진은 네이버의 초대규모 AI ‘하이퍼클로바’의 핵심 연구 논문을 비롯해, 총 7개의 논문을 발표할 예정이다.

25년 전통을 가진 EMNLP는 ACL(Association for Computational Linguistics)과 더불어 자연어처리(NLP) 분야의 최고 AI 학회로 꼽힌다.

올해는 도미니카공화국에서 11월 7~11일까지 열리며, 온라인으로도 동시 진행된다.

이번에는 네이버의 초대규모 AI 하이퍼클로바의 핵심 연구 논문이 메인 컨퍼런스 발표에 채택되는 성과를 거뒀다.

하이퍼클로바는 네이버가 지난 5월 국공개한 초대규모 AI이자, GPT-3보다 한국어 데이터를 6500배 이상 학습한, 현재 공개된 단일 모델 중 전세계에서 가장 큰 한국어 초대규모 언어모델이기도 하다.

이 연구는 한국어 초대규모 언어모델 ‘하이퍼클로바’와 그 학습에 사용된 데이터를 소개하고, 다양한 크기의 모델들이 갖는 성능을 검증하는 내용이다.

논문에서는 하이퍼클로바가 다양한 한국어 과제(task)에 대해 제한된 예제만으로도 뛰어난 학습(in-context learning) 성능을 보인다는 것을 증명했다.

이와 더불어, 초거대 언어모델에서의 프롬프트 최적화(prompt optimization), 데이터 토큰화(tokenization) 등에 대한 논의를 발전시키고, ‘하이퍼클로바 스튜디오’를 통해 ‘노 코드 AI’(No Code AI) 등 초대규모 AI가 가져올 AI 서비스 개발 방법론의 혁신적인 변화에 대해서도 설명한다.

연구에는 네이버의 클로바 및 AI랩의 연구진 뿐만 아니라, 소프트웨어 플랫폼 엔지니어, 검색 엔지니어 등 다양한 팀에 걸쳐 총 37명이 저자로 참여했다.

하정우 네이버 AI랩 소장은 “작년 하반기부터 초대규모 AI 기술에 집중적으로 투자하고 연구 역량을 결집시킨 결과, ‘하이퍼클로바’ 기술을 공개하고 성공적으로 상용화한 데 이어 학회에서 그 기술력을 인정받는 쾌거를 거뒀다”면서 “이번 논문은 영어 중심이었던 기존의 언어모델 연구를 넘어, 한국어 AI의 가치를 글로벌 자연어처리 학계가 인정했다는 점에서도 매우 의미 있는 성과”라고 강조했다.

이 외에도 네이버는 하이퍼클로바와 관련, 초거대 언어모델을 활용해 데이터를 자동 생성 및 라벨링 해 데이터를 효율적으로 증강 및 증류(distillation)시키는 기법에 대한 연구도 소개할 예정이다.

덧붙여 OCR 과제에서 문서의 정보를 더욱 효율적으로 추출할 수 있는 방식을 제안하는 논문, AI 언어모델이 바이오메디컬 분야의 지식 베이스(knowledge base)로서 활용될 가능성을 탐구하는 논문 등 다양한 주제를 망라하는 선행연구 결과를 발표할 예정이다.

이는 카이스트, 고려대, 서울대 등 다양한 국내외 대학들과 적극적으로 협력한 결과라고 네이버 측은 덧붙였다.

한편, 네이버는 이번 EMNLP 2021에 네이버랩스유럽과 함께 실버(Silver) 등급 스폰서로도 참여하며 글로벌 IT 기업 및 학계와 적극 교류하고, AI 기술 발전에도 기여한다는 계획이다.

<김동기 기자>kdk@bikorea.net