스켈터랩스(대표 조원규 www.skelterlabs.com)는 자사의 AI 기반 대화엔진의 인텐트(intent, 질문의 의도) 분류에 대한 자체 성능 테스트 결과를 공개하며, 대화형 인공지능 시장에서의 영역 확장 계획을 20일 밝혔다. 
 
지난 6월 스켈터랩스는 한국정보화진흥원이 인공지능 학습용으로 공개한 250만건 데이터 중 소상공인 및 공공민원 분야에 대한 총 10만 건의 한국어 대화 데이터를 활용, 테스트를 진행했다.

이 테스트는 총 600개의 인텐트를 대상으로 스켈터랩스의 대화엔진을 글로벌 기업 A, B사의 엔진과 비교했다. 

그 결과, 스켈터랩스는 72%, 글로벌 A사와 B사는 모두 65%의 F1 스코어(F1 Score)를 기록했다. 

F1 스코어는 정밀도(precision)와 재현율(recall)을 모두 고려한 종합값으로 인공지능 기술의 분류 평가 수치 중 하나이며, F1 스코어가 높다는 뜻은 그만큼 질문의 의도를 정확히 파악한다는 의미이다. 
 
스켈터랩스의 대화엔진은 규칙 기반(Rule-based) 의도 분류와 머신러닝 기반(Machine learning-based)의 의도 분류를 복합적으로 활용해, 높은 정밀도와 재현율을 모두 구현할 수 있게 했다. 

규칙 기반 의도 분류는 소량의 샘플 문장만으로도 의도 규칙을 자동으로 생성하며, 머신러닝 기반 의도 분류는 규칙만으로 처리하기 난해한 문장 변이 패턴 모델링을 가능하게 한다. 

따라서 대화형 에이전트 설계자가 예측한 샘플 문장의 수준을 넘어서 사람들의 자연스럽고 변칙적인 대화에 대해서도 그 의도를 최대한 정확하게 파악해 낼 수 있게 된다. 

스켈터랩스는 이같은 하이브리드 모델을 바탕으로 타사 엔진 대비 높은 정확도를 기록할 수 있었다고 밝혔다. 
 
조성진 스켈터랩스 CTO는 “인공지능 기술 개발의 경쟁력이 데이터 확보 여부에 많이 달려있는 만큼 이번 한국정보화진흥원이 공개한 250만 여개 인공지능 학습용 데이터는 자사와 같은 스타트업들의 기술 개발 과정에 커다란 자산이 됐다”며 “이번 테스트로 글로벌 탑 기업 대비 탁월한 인텐트 분류 정확도를 확인했고, 특히 600개 인텐트로 70%가 넘는 수치를 기록한 것은 스켈터랩스 대화엔진의 높은 실용적 가치를 의미하는 고무적인 결과다. 이는 인공지능 기술 고도화에 집중해온 노력의 산물이라고 생각하며, 한국어 외의 다양한 언어에 적용했을 때도 유사한 수준의 정확도를 실현할 수 있도록 기술 수준을 높여갈 계획”이라고 말했다.
 
스켈터랩스는 국내 대기업 및 스타트업들과의 파트너십으로 대화형 에이전트 구축 프로젝트를 진행하고 있으며, 향후 대화엔진 제품에 대한 브랜딩 구축 및 세일즈 강화로 한국은 물론 해외 시장을 적극적으로 공략할 예정이다.

<김동기 기자>kdk@bikorea.net