AI 인프라 전문기업 모레의 자회사 모티프테크놀로지스가 자체 개발한 파운데이션 소형언어모델(sLLM) ‘Motif 2.6B’를 오픈소스로 허깅페이스에 공개한다. 이는 AMD 인스팅트 GPU 1개로 구동되는 26억 매개변수 모델로, 글로벌 주요 언어모델들의 성능을 뛰어넘는 결과를 보였다고 회사 측은 밝혔다.

모티프테크놀로지스가 공개한 벤치마크 결과에 따르면, Motif 2.6B는 70억 개 매개변수를 가진 미스트랄 7B 대비 134%의 성능을 기록했다. 동급 모델과의 비교에서도 구글 젠마1(2B) 대비 191%, 메타 라마 3.2(1B) 대비 139%, AMD 인스텔라(3B) 대비 112%, 알리바바 큐원 2.5(3B) 대비 104%의 우수한 성능을 나타냈다. 특히 고난도 수학 및 과학, 코딩 능력 분야에서 상대적으로 높은 점수를 기록했다고 회사 측은 설명했다.

이번 모델은 AMD가 개발한 인스텔라를 제외하고 AMD 인스팅트 MI250 GPU 기반으로 구현된 최초의 AI 파운데이션 모델이라는 점에서 주목받고 있다. 모회사인 모레가 설립 초기부터 축적해온 GPU 자원의 효율적 사용과 클러스터링 소프트웨어 최적화 기술을 기반으로 개발된 경량화된 고성능 모델이다.

Motif 2.6B의 가장 큰 기술적 특징은 문맥 이해 능력의 강화다. 잘못된 문맥을 참조해 부정확한 문장을 생성하는 오류를 줄이고, 핵심 문맥에 집중하도록 설계됐다. 트랜스포머 구조의 핵심인 어텐션 기술을 정교하게 활용해 보다 적절한 단어 사용이 가능한 구조를 적용했다는 것이 회사 측 설명이다.

모티프테크놀로지스는 올해 2월 모레 AI 사업부 핵심 인력을 주축으로 출범했다. 지난해 초 개발 3개월 만에 허깅페이스에서 1위를 차지한 LLM 모델 ‘MoMo-70B’를 선보이고, 12월에는 오픈AI GPT-4의 한국어 성능을 능가하는 1,020억 매개변수 규모의 한국어 특화 고성능 LLM 개발을 주도한 경험을 보유하고 있다. 현재 AMD GPU 기반의 고도화된 인프라를 활용해 AI 모델을 빠르게 개발하고 있으며, 이를 통해 확보한 기술 역량을 바탕으로 우수한 엔지니어 영입과 투자 유치에도 박차를 가하고 있다.

임정환 대표는 “최근 가트너는 기업의 소형언어모델 사용량이 2027년까지 LLM의 3배가 넘을 것으로 예측했다”며 “소형언어모델은 저전력으로 구동되고 슈퍼컴퓨터 없이 운영이 가능해 비용 효율성이 매우 높아 실제 산업 현장에서 다양한 적용이 가능하기 때문”이라고 설명했다. 그는 “이번에 선보인 Motif 2.6B를 활용해 우리 일상에서 사용할 수 있는 온디바이스 AI, 에이전틱 AI 모델로 발전시켜 나갈 것”이라고 향후 계획을 밝혔다.

모티프테크놀로지스는 모회사인 모레의 AI 인프라 소프트웨어와 자체적으로 확보한 고성능 AI 개발 역량을 통해 다양한 AI 모델 개발을 적극 추진한다는 방침이다. 올해 말까지 텍스트를 이미지로 변환하는 T2I(Text to Image), T2V(Text to Video) 등 멀티모달형 모델을 오픈소스로 공개해 AI 산업 생태계 확장에 기여하고 다양한 고객을 확보한다는 계획을 제시했다.