구글이 인공지능 모델 제미나이(Gemini)를 6일(현지시간) 공개했다.

제미나이는 멀티모달 기반 AI 모델이다. 즉, 텍스트, 이미지, 오디오, 동영상, 코드 등 다양한 유형의 정보를 일반화하고, 원활하게 이해하며, 여러 정보를 동시에 조합하여 활용할 수 있다는 의미이다.

구글 AI 모델의 첫 번째 버전인 제미나이 1.0은 울트라, 프로, 나노 세 종류다. 제미나이 울트라(Gemini Ultra)는 방대하고 복잡한 작업에 적합한 규모가 큰 모델(Most capable and largest model for highly complex tasks)이고 제미나이 프로(Gemini Pro)는 다양한 작업에서 확장하기에 적합한 모델(Best model for scaling across a wide range of tasks)이며 제미나이 나노(Gemini Nano)는 온디바이스(on-device) 작업에 효율적인 모델 (most efficient model for on-device tasks)이다.

구글측은 “제미나이는 구글 딥마인드(Google DeepMind)와 구글 리서치(Google Research) 등 구글 조직 전반에 걸친 협업의 결과”라며 “지금까지 개발한 인공지능 모델 중 가장 유능하고 범용적인 모델이며 구글 역사상 가장 큰 과학적 및 기술적 노력 중 하나”라고 설명했다.

제미나이는 구글이 지금까지 만든 모델 중 가장 유연한 모델이다. 제미나이는 데이터센터부터 모바일 기기까지 모든 환경에서 범용적으로 유연하게 활용될 수 있다. 구글은 개발자들과 기업이 AI를 활용해 제품을 구축하고 확장하는 방식을 크게 개선할 수 있을 것이라 기대하고 있다.

지금까지 멀티모달 인공지능 모델을 만드는 표준 접근 방식은 서로 다른 모달리티에 대해 별도의 구성 요소를 학습시킨 다음, 이를 서로 연결하여 일부 기능을 비슷하게 모방하는 것이었다. 이와 같은 모델은 일부 작업은 잘 수행할 수 있지만 보다 개념적이거나 복잡한 추론에는 어려움을 겪을 수 있다.

구글은 제미나이를 개발 단계 초기부터 다양한 모달리티로 사전 학습시켜 ‘태생적으로 멀티모달’(natively multimodal)이 되도록 설계, 개발했다. 이후 추가적인 멀티모달 데이터로 미세 조정하여 그 효과를 개선시켰다. 그 결과 제미나이는 처음부터 텍스트, 오디오, 이미지, 영상 등 모든 종류의 입력값을 원활하게 이해하고 추론할 수 있게 했다.

구글은 다양한 작업에서 제미나이 모델을 철저하게 테스트하고 성능을 평가해 왔다. 자연스러운 이미지와 음성, 영상의 이해부터 수학적 추론까지 제미나이 울트라의 성능은 업계에서 대형 언어 모델(LLM) 연구개발 평가에서 주로 사용되는 32개의 벤치마크 중 30개에서 기존의 최신 기술을 뛰어넘는 결과를 보여주고 있다.

수학, 물리학, 역사, 법률, 의학, 윤리 등 총 57개의 주제를 복합적으로 활용해 세계 지식과 문제 해결 능력을 평가하는 MMLU(massive multitask language understanding; 대규모 멀티태스크 언어 이해) 테스트에서 제미나이 울트라는 90.04%의 점수를 기록했다. 또한, 제미나이 울트라는 고도의 추론 능력이 요구되는 다양한 영역에 걸친 멀티모달 작업으로 구성된 새로운 MMMU 벤치마크에서 59.4%의 최상위 점수를 획득했다.

제미나이 1.0은 구글의 다양한 제품과 플랫폼을 통해 순차적으로 출시될 예정이다.

먼저 일반 이용자들은 오늘(7일)부터 파인튜닝된 제미나이 프로가 적용된 바드를 한국을 포함한 170개 이상의 국가 및 지역에서 영어로 이용할 수 있다.

구글 픽셀(Pixel)에도 제미나이가 탑재될 예정이다. 픽셀 8 프로 모델은 제미나이 나노가 실행되도록 설계된 최초의 스마트폰이 된다. 제미나이 나노는 녹음 앱의 요약하기와 같은 새로운 기능을 지원하며, 왓츠앱(WhatsApp)을 시작으로 내년에 더 많은 메시징 앱에 적용 될 예정이다.

이후 구글 검색, 광고(Ads), 크롬(Chrome), 듀엣(Duet) AI 등 더 많은 구글 제품 및 서비스에서 제미나이를 활용할 수 있게 될 전망이다.

개발자와 기업 고객은 Google AI Studio 또는 Vertex AI의 제미나이 API를 통해 제미나이 프로를 이용할 수 있다.

Google AI Studio는 API 키로 앱을 빠르게 프로토타이핑하고 출시할 수 있도록 도와주는 무료 웹 기반 개발자 도구다. 완전 관리형 AI 플랫폼이 필요한 경우, Vertex AI를 사용해 데이터를 완벽하게 제어할 수 있는 제미나이를 맞춤 설정하고 기업 보안, 안전, 개인정보 보호, 데이터 거버넌스 및 규정 준수를 위한 구글 클라우드(Google Cloud)의 추가 기능이 제공하는 이점을 활용할 수 있다.

안드로이드 개발자는 AICore를 통해 디바이스 작업에 가장 효율적인 모델인 제미나이 나노로 앱을 개발할 수 있다. AICore는 픽셀 8 프로 기기부터 안드로이드 14(Android 14)에서 사용할 수 있는 새로운 시스템 기능이다.

현재 제미나이 울트라는 출시를 앞두고 외부 기관 소속 레드팀의 리뷰 등 광범위한 신뢰성 및 안전 점검을 완료한 후, 미세 조정과 사람의 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback: RLHF)을 통해 모델을 더욱 개선하는 작업을 진행 중이다.

구글측은 “이번 제미나이 업데이트는 AI 개발의 중요한 이정표이자, 구글이 AI 모델의 기능을 빠르게 혁신하고 책임감 있게 발전시켜 나가는 새로운 시대의 시작”이라고 전했다.