편집 : 2020.7.11 토 14:09
뉴스
스켈터랩스, ‘한국어 기계 독해 평가’ 1위자체 AI 언어모델로 F1 스코어 95.15점 기록
김동기 기자  |  kdk@bikorea.net
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2020.01.14  11:14:16
트위터 페이스북 미투데이 요즘 네이버 구글 msn

인공지능(AI) 기술 기업 스켈터랩스(대표 조원규 www.skelterlabs.com)는 자체 개발한 한국어 AI 언어모델이 한국어 기계 독해(Machine Reading Comprehension, MRC) 데이터셋 ‘코쿼드 1.0’ 기반 성능 평가 리더보드(Leaderboard)에서 F1 스코어 95.15점을 받아 1위를 기록했다고 14일 밝혔다. 
 
‘코쿼드 1.0’은 LG CNS가 2018년 12월 공개한 한국어 질의응답 데이터셋으로, 기계 독해 AI 학습 및 검증을 위해 위키백과로부터 추출한 표준 데이터 7만개로 구성돼 있다.

성능 평가는 데이터셋에서 추출한 내용을 질문으로 제시하고, 이에 대해 개발 모델이 답을 찾아내는 방식으로 이뤄진다. 

개발된 AI 기계 독해 모델을 제출하면 모델이 찾은 답과 실제 정답을 글자 단위로 비교, 정밀도(Precision)와 재현율(Recall)을 종합적으로 고려한 수치 F1 스코어와 모델이 정답을 정확히 맞춘 데이터의 비율을 뜻하는 EM 스코어로 성능 평가 결과를 받을 수 있다.

‘코쿼드’ 독해 문제를 인간이 직접 풀었을 때는 F1 스코어 91.20점, EM 스코어 80.17점을 기록했으며, 이를 기준으로 인간 대비 AI의 독해력을 평가하고 있다.

스켈터랩스는 F1 스코어 95.15점으로 인간의 독해력 수준은 물론, 기존 등재된 AI 모델들을 뛰어넘는 점수를 받아 1위에 기록됐다.

이번에 평가받은 스켈터랩스 AI 모델은 적은 양의 학습 데이터로도 한국어에서 관찰되는 다양한 고유 특성을 학습할 수 있도록 설계됐다.

새롭게 개발되는 언어모델이나 활용 분야에 대해 유연하게 적용할 수 있도록 자체 프레임워크를 개발해 모델의 성능을 향상시키는 것에도 중점을 뒀다.

스켈터랩스는 이 모델을 바탕으로 한 질의응답 기술을 올해 상반기 내 자사 AI 챗봇 설계 솔루션 ‘에이아이큐.톡 챗봇(AIQ.TALK Chatbot)’에 적용하고, 모듈 단위로도 제공할 예정이다.

이를 통해 금융, 보험, 법률, 특허, 의료 등의 분야에서 대용량의 광범위한 문서를 AI가 빠르고 정확하게 이해, 사용자의 의사결정에 유용한 정보를 추출하는 데에 활용될 수 있다.

예컨대 방대한 펀드 약관에서 사전 정의된 체크리스트를 바탕으로 AI가 내용을 분석, 적정성 여부를 판단해 심사 시간을 대폭 줄일 수 있다.

조성진 스켈터랩스 CTO는 “방대한 양의 데이터와 자원을 보유하고 있는 기업이나 기관들 사이에서 스켈터랩스가 이들을 뛰어넘는 탁월한 기술우수성을 가지고 있다는 것을 보여준 기회라고 생각한다”며 “스켈터랩스는 이 언어모델의 성능을 지속적으로 향상시켜 한국어 자연어이해(NLU) 분야에서 최고의 기술력을 갖춘 기업으로 공고히 자리매김해 나가는 한편, 음성인식 기술의 고도화에도 집중해 올해 1분기 내에 이 분야에서도 최고 성능임을 입증 받을 것”이라고 말했다.

한편, 스켈터랩스는 한국어를 시작으로, 일본어, 영어 등 다른 언어로의 확장을 진행하고 있다.

또한 고객 지원 서비스에 AI를 활용하고자 하는 많은 기업의 니즈를 충족시키기 위해 추후 ‘에이아이큐.톡 챗봇’에 음성 기술을 결합할 예정이다. 

<김동기 기자>kdk@bikorea.net

< 저작권자 © BI KOREA 무단전재 및 재배포금지 >
김동기 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
1
<초점>산업은행 ITO 따낸 삼성SDS, 대외사업 향방은…
2
‘SAP BTP’, IT 3대 핵심 가치 지원
3
‘U+해외로밍 음성전화 무제한 이벤트’
4
한국IBM-서울시, AI 챗봇 개발 협력
5
오라클 클라우드, ‘ISMS 인증’ 획득
6
‘코로나 시대, 부의 흥망성쇠’ 출간
7
LG유플러스, NW 부문 전반에 RPA 적용
8
슈나이더 일렉트릭, ‘투모로우 라이징 펀드’ 운영
9
그리드원-비에스지원. 파트너십 계약 체결
10
데이타솔루션, ‘쿠니 2.0’ 출시
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
서울시 영등포구 여의대방로65길 13, 904(여의도동 유창빌딩)| Tel: 02-785-5108 | Fax 02-785-5109
이메일주소무단수집거부 | (주)비아이코리아닷넷 | 대표이사 : 김동기 | 사업자 등록번호:107-87-99085 | 개인정보관리책임자 : 김동기
등록번호 : 서울 아01269 | 등록일자 : 신고일자 2008.10.22 | 발행인:김동기 | 발행일자:2010.06.01 | 편집인 : 김동기 | 청소년보호책임자 : 김동기
Copyright © 2012 BI KOREA. All rights reserved. mail to webmaster@bikorea.net