인공지능 기술 기업 스켈터랩스의 한국어 AI 언어 모델이 한국어 기계독해(MRC) 데이터셋 ‘KorQuAD 1.0’ 기반 성능 평가에서 1위를 기록하고 있는 것에 이어, ‘KorQuAD 2.0’에서도 1위를 기록했다. 기계독해란 인공지능이 주어진 문서를 빠르게 이해하여, 문서 내에서 질문에 최적화된 답변을 찾아내는 기술이다.
스켈터랩스 AI 언어 모델은 정밀도와 재현율을 종합적으로 고려한 수치인 F1 스코어 88.09점, 모델이 정답을 정확히 맞춘 데이터의 비율을 뜻하는 EM 스코어 76.64점을 기록했다. 두 스코어 모두 독해 문제를 사람이 직접 풀었을 때의 수치는 물론, 기존 KorQuAD 2.0 리더보드(leaderboard)에 기록된 모든 AI 언어 모델의 성능을 큰 점수차로 뛰어넘었다.
KorQuAD 2.0은 LG CNS에서 공개한 한국어 기계독해 데이터셋으로 KorQuAD 1.0 대비 보다 긴 분량의 문서가 포함되어 있으며, 단순 자연어 문장 뿐 아니라 복잡한 표와 리스트 등을 포함하는 HTML 형태로 표현되어 있어 문서 전체 구조에 대한 이해가 필요하다. 스켈터랩스는 기존 KorQuAD 1.0 기반 성능평가에서 1위를 기록한 경험을 바탕으로, 복잡하고 다양한 형태와 길이의 문서들에서도 뛰어난 성능의 기계독해를 가능하게 한 AI 언어 모델을 자체 프레임워크 기반으로 고도화시켜 왔다.
스켈터랩스 조성진 CTO는 “한국어 기계독해 성능을 객관적으로 평가할 수 있는 공개 데이터셋 2가지 버전 모두에서 스타트업으로서 유수의 대기업들보다 큰 점수차로 앞선 1위를 달성하게 되어 자랑스럽다”며, “한국어 자연어이해(NLU) 분야에서 검증받은 높은 기술력을 바탕으로, 영어, 일본어 등 다른 언어에서도 탁월한 기술 성과를 낼 수 있도록 노력할 것”이라고 말했다.
스켈터랩스는 올해 하반기 내 자체적으로 구축하고 있는 일본어 기계독해 데이터셋을 공개할 예정이며, 기계독해, 챗봇 빌더, 음성인식 및 음성합성 솔루션을 포함한 자사 대화형 AI 솔루션 AIQ.TALK을 기업들이 클라우드 기반으로 즉시 비즈니스에 적용할 수 있는 AIaaS(AI as a Service, 서비스형 AI) 플랫폼을 론칭할 예정이다.
관련 기사
