AI 전문 스타트업 업스테이지가 한국어 AI 모델을 평가받을 수 있는 클루 리더보드를 공식 오픈한다. 업스테이지는 글로벌 인공지능 경진대회 캐글(Kaggle)에서 1위를 수상하는 등 기술력을 인정받고 있다.
클루(KLUE)는 업스테이지가 한국어 자연어 처리 관련 산학계의 전문가들과 함께 7개월에 걸쳐 개발한 최초의 한국어 자연어 이해 평가 관련한 공개 데이터셋이다. 그동안 자연어 이해 연구의 기반이 되는 데이터셋과 리더보드는 영어 기반으로 이루어져 있고, 이용 제약이 많아 연구 진행이 쉽지 않았다. AI의 한국어 이해 능력을 평가할 수 있는 클루는 재배포, 재가공, 영리적 활용이 가능해 한국어 자연어 처리 분야의 발전을 이끌 것으로 기대되고 있다.
본 클루 개발을 주도한 업스테이지는 한국어 AI 모델의 성능을 측정할 수 있는 클루 리더보드를 공개했다. AI 모델 평가를 받고자 할 경우 클루 프로젝트 홈페이지에 접속해 데이터셋을 다운받고 테스트하고 싶은 AI 모델을 학습시킨 후 리더보드에 제출하면, 모델의 성능 수준을 종합적인 점수로 평가받을 수 있다. 평가 항목은 8가지 부문(문장 주제 분류, 문장 유사도 비교, 자연어 추론, 개체명 인식, 관계 추출, 형태소 및 의존 구문 분석, 기계 독해 이해, 대화 상태 추적)으로 구분해 공신력을 높였다.
AI 모델 개발자는 자신이 만든 모델이 한국어의 정확한 이해와 추론 능력을 갖추고 있는지 객관적인 지표로 평가받게 된다. 특히 공개 토론방을 중심으로 참여자 간 정보와 의견 교환이 가능해, 공정한 경쟁 속에서 AI 언어 모델을 업그레이드해 나갈 수 있다. 더욱 자세한 내용은 클루 공식 홈페이지에서 확인 가능하다.
업스테이지 김성훈 대표는 “클루 리더보드 오픈으로 다양한 한국어 AI 모델의 평가 및 연구를 위한 활발한 교류의 장이 펼쳐지길 기대한다”며 “앞으로도 업스테이지만의 독보적인 기술력을 바탕으로 한국어 AI 연구 생태계를 넓히고, 국내 AI 산업 발전에 보탬이 되기 위해 힘쓸 계획”이라고 밝혔다.
한편, 업스테이지는 8월 2일부터 3일까지 이틀 동안 연세대 언어정보연구원과 ‘인공지능 성능평가-KLUE 벤치마크 데이터의 이해와 활용’을 주제로 국어정보화 아카데미를 개최한다. 실제 KLUE 제작 과정에 참여한 업스테이지 박성준, 문지형 AI 리서치 엔지니어, 한지윤 데이터 매니저가 클루 데이터셋의 특성과 제작 과정을 소개하고, 리더보드의 활용법에 대해 소개할 예정이다.
관련 기사
