편집 : 2021.9.28 화 17:54
뉴스
네이버, ‘EMNLP 2021’에서 초대규모 AI 성과 공유총 37명 참여 ‘하이퍼클로바’ 관련 7개 논문 채택
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2021.09.04  14:24:46
트위터 페이스북 미투데이 요즘 네이버 구글 msn

네이버(대표 한성숙)가 자연어처리 분야 학회 ‘EMNLP(Empirical Methods in Natural Language Processing) 2021’에서 초대규모 AI 연구 성과를 공유한다.

클로바 및 AI랩 연구진은 네이버의 초대규모 AI ‘하이퍼클로바’의 핵심 연구 논문을 비롯해, 총 7개의 논문을 발표할 예정이다.

25년 전통을 가진 EMNLP는 ACL(Association for Computational Linguistics)과 더불어 자연어처리(NLP) 분야의 최고 AI 학회로 꼽힌다.

올해는 도미니카공화국에서 11월 7~11일까지 열리며, 온라인으로도 동시 진행된다.

이번에는 네이버의 초대규모 AI 하이퍼클로바의 핵심 연구 논문이 메인 컨퍼런스 발표에 채택되는 성과를 거뒀다.

하이퍼클로바는 네이버가 지난 5월 국공개한 초대규모 AI이자, GPT-3보다 한국어 데이터를 6500배 이상 학습한, 현재 공개된 단일 모델 중 전세계에서 가장 큰 한국어 초대규모 언어모델이기도 하다.

이 연구는 한국어 초대규모 언어모델 ‘하이퍼클로바’와 그 학습에 사용된 데이터를 소개하고, 다양한 크기의 모델들이 갖는 성능을 검증하는 내용이다.

논문에서는 하이퍼클로바가 다양한 한국어 과제(task)에 대해 제한된 예제만으로도 뛰어난 학습(in-context learning) 성능을 보인다는 것을 증명했다.

이와 더불어, 초거대 언어모델에서의 프롬프트 최적화(prompt optimization), 데이터 토큰화(tokenization) 등에 대한 논의를 발전시키고, ‘하이퍼클로바 스튜디오’를 통해 ‘노 코드 AI’(No Code AI) 등 초대규모 AI가 가져올 AI 서비스 개발 방법론의 혁신적인 변화에 대해서도 설명한다.

연구에는 네이버의 클로바 및 AI랩의 연구진 뿐만 아니라, 소프트웨어 플랫폼 엔지니어, 검색 엔지니어 등 다양한 팀에 걸쳐 총 37명이 저자로 참여했다.

- 네이버 EMNLP 2021 채택 논문 리스트 -

1. What Changes Can Large-scale Language Models Bring? Intensive Study on Billions-scale Korean Generative Pretrained Transformers
김보섭*, 김형석*, 이상우* 외 34명
 
2. Cost-effective End-to-end Information Extraction for Semi-structured Document Images
황원석, 이현지, 김진영, 김기욱, 서민준(KAIST)
 
3. Can Language Models be Biomedical Knowledge Bases?
성무진 (고려대), 이진혁(Princeton Univ.), 이석원 (고려대), 전민지(Icahn School of Medicine at Mount Sinai), 김성동, 강재우(고려대)
https://arxiv.org/abs/2104.08041
 
4. GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation.
유강민, 박동주, 강재욱, 이상우, 박우명
https://arxiv.org/abs/2104.08826
 
5. Reasoning Visual Dialog with Sparse Graph Learning and Knowledge Transfer.
강기천(서울대), 박준석(서울대), 이화란, 장병탁†(서울대), 김진화†
 
6. Devil’s Advocate: Novel Boosting Ensemble Method for Text Classification
조휘열, 임재서(서울대), 장병탁(서울대)
 
7. Understanding Mathematical Notation Semantics in Scientific Papers.
조휘열, 강동엽(Univ. of Minnesota), Andrew Head (Univ. of Pennsylvania), Marti A. Hearst (Univ. of California, Berkeley)

하정우 네이버 AI랩 소장은 “작년 하반기부터 초대규모 AI 기술에 집중적으로 투자하고 연구 역량을 결집시킨 결과, ‘하이퍼클로바’ 기술을 공개하고 성공적으로 상용화한 데 이어 학회에서 그 기술력을 인정받는 쾌거를 거뒀다”면서 “이번 논문은 영어 중심이었던 기존의 언어모델 연구를 넘어, 한국어 AI의 가치를 글로벌 자연어처리 학계가 인정했다는 점에서도 매우 의미 있는 성과”라고 강조했다.

이 외에도 네이버는 하이퍼클로바와 관련, 초거대 언어모델을 활용해 데이터를 자동 생성 및 라벨링 해 데이터를 효율적으로 증강 및 증류(distillation)시키는 기법에 대한 연구도 소개할 예정이다.

덧붙여 OCR 과제에서 문서의 정보를 더욱 효율적으로 추출할 수 있는 방식을 제안하는 논문, AI 언어모델이 바이오메디컬 분야의 지식 베이스(knowledge base)로서 활용될 가능성을 탐구하는 논문 등 다양한 주제를 망라하는 선행연구 결과를 발표할 예정이다.

이는 카이스트, 고려대, 서울대 등 다양한 국내외 대학들과 적극적으로 협력한 결과라고 네이버 측은 덧붙였다.

한편, 네이버는 이번 EMNLP 2021에 네이버랩스유럽과 함께 실버(Silver) 등급 스폰서로도 참여하며 글로벌 IT 기업 및 학계와 적극 교류하고, AI 기술 발전에도 기여한다는 계획이다.

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
2개사 입찰도 ‘유찰’ 교보증권 마이데이터 향방은…
2
[분석]‘농협은행 정보계 차세대’ RFP를 풀어보니…
3
“초개인화 고객분석 마케팅, What, Why, and How?”
4
KT엔지니어링, ‘스팀터빈 발전 설비’ 첫 성과
5
“우리에게는 글로벌 아미가 있다(?)”
6
우리은행, ‘기업승계 택스 컨설팅’ 실시
7
‘U+스마트홈 구글 패키지’, 기능·콘텐츠 강화
8
미라콤아이앤씨, ‘AWS’ 도입
9
우리 원(WON) 뱅킹, ‘우리페이’ 간편결제 도입
10
세일즈포스, ‘드림포스 2021’ 성황리 개최
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 : 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기 | 청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net