AI 추론 플랫폼 기업 프렌들리AI(FriendliAI)가 엔비디아(NVIDIA)의 공식 런칭 파트너로 참여해, 엔비디아의 최신 AI 모델인 ‘네모트론 3(Nemotron 3)’를 자사 플랫폼에서 제공한다.

이번 협력으로 기업과 개발자는 별도의 인프라를 구축하지 않고도 프렌들리AI 플랫폼을 통해 ‘네모트론 3 나노(Nemotron 3 Nano)’ 모델을 배포하고 운영할 수 있게 됐다.

네모트론 3 모델은 복잡한 추론과 논리적 판단이 요구되는 작업에 맞춰 설계된 AI 모델이다. 하이브리드 맘바-트랜스포머(Hybrid Mamba-Transformer) 기반의 ‘전문가 혼합(MoE, Mixture-of-Experts)’ 아키텍처를 채택한 것이 특징이다.

특히 이번에 제공되는 나노 모델은 100만 토큰의 컨텍스트 윈도우를 지원해 소프트웨어 개발, 금융, 유통, 사이버 보안 등 다양한 산업 분야에서 긴 문맥을 이해하고 처리하는 데 활용될 수 있다.

프렌들리AI는 자사 플랫폼의 강점인 MoE 서빙 최적화 기술과 자동 확장(Autoscaling) 기능을 적용해 네모트론 3의 운영 효율을 높였다고 설명했다.

회사 측은 “전용 환경(Dedicated Endpoints)을 사용할 경우 기존 방식 대비 GPU 비용을 50% 이상 절감할 수 있다”며 “OpenAI와 호환되는 API를 지원해 기존 서비스와의 연동 편의성도 확보했다”고 밝혔다.

전병곤 프렌들리AI 대표는 “네모트론 3와 프렌들리AI 플랫폼의 결합은 AI가 스스로 판단하고 수행하는 ‘에이전틱 AI(Agentic AI)’를 현실적인 비용으로 구현하는 계기가 될 것”이라며 “기업들이 비용과 운영 복잡성 문제를 덜고 고성능 AI를 활용할 수 있도록 지원하겠다”고 말했다.

한편, 프렌들리AI는 전용 AI 추론, 서버리스 API, 컨테이너 기반 솔루션 등을 통해 48만 개 이상의 AI 모델을 지원하며 기업의 AI 도입을 돕고 있다.