반세기가 흐른 현재, 실리콘밸리의 관심사가 빅데이터, 애플리케이션, 서비스형 소프트웨어(SaaS)에서 그 근원인 반도체로 재조명되고 있습니다. 이번 전환은 중앙 처리 장치(CPU)가 아닌 그래픽 처리 장치(GPU)로 초점이 옮겨진 것이 특징입니다.
AI 기술의 발전을 주도하는 오픈AI 등 스타트업부터, 마이크로소프트, 구글, 아마존과 같은 3대 퍼블릭 클라우드 서비스 제공업체, 그리고 코어위브(CoreWeave), 람다(Lambda)와 같은 신흥 클라우드 서비스 기업들까지, AI를 활용한 혁신적인 서비스와 솔루션 개발을 위해 고성능 GPU 연산력 확보에 모든 업계가 나서고 있습니다. 이러한 움직임은 메타, 테슬라와 같은 대형 기술 회사들 역시 예외 없이 참여하고 있는 상황으로, 각 사는 AI 기반의 다양한 프로젝트와 서비스를 지원하기 위해 필수적인 고성능 연산 자원을 확보하기 위한 치열한 경쟁에 돌입하였습니다.
GPU가 단순히 인공지능 모델 학습에 활용되는 것을 넘어 새로운 자산으로 공식적인 인정을 받게 되었습니다. 2023년, 클라우드 서비스를 제공하는 스타트업 기업인 코어위브는 엔비디아의 H100 GPU 칩을 사용하여 최대 23억 달러 규모의 자금 조달에 성공했습니다. 이러한 움직임은 엔비디아의 시장 가치를 지난해 동안 두 배 이상 상승시켰으며, 결과적으로 마이크로소프트와 메타를 잇는 미국 내에서 세 번째로 큰 회사로 도약하게 만들었습니다.
현재 인공지능(AI) 개발 분야에서 가장 큰 장애물 중 하나는 바로 GPU의 품귀 현상입니다. 이러한 상황은 오픈AI를 비롯한 여러 기업들에게 넘어야할 도전으로 다가서고 있습니다. 2023년 말, 오픈AI는 GPU 연산 성능의 부족으로 인해 신규 사용자 등록을 몇 주간 중단할 수밖에 없었습니다.
이 문제는 단순히 오픈AI만의 고민이 아닙니다. 업계 관계자들에 따르면, 퍼블릭 클라우드 서비스를 통해서도 GPU 성능 확보가 쉽지 않으며, 최소 한 두 분기의 대기 시간이 필요하다고 합니다. 오픈AI가 마이크로소프트의 지원을 받음에도 불구하고 자체 AI 칩 공장 건설을 위해 약 7조 원을 조달하려는 것이 허무맹랑한 계획이 아님을 말해줍니다.
GPU 부족 현상이 거대한 기술 기업들 사이의 경쟁을 더욱 치열하게 만들고 AI 스타트업의 시장 진입 장벽을 상당히 높였습니다. 가장 먼저, 인공지능(AI) 연산 능력의 배분 문제는 심각한 불균형을 드러내고 있습니다. 엔비디아에서 출시하는 최신 GPU 중 스타트업으로 공급되는 비율은 6%에 못 미치는 것으로 추정됩니다. 이로 인해, 스타트업이 AI 컴퓨팅 성능을 확보하는 것은 점점 어려운 상황에 처하게 되었습니다.
더 나아가, AI 분야에 종사하는 기업가들은 이제 애플리케이션 서비스 개발을 시작하기도 전에, AI 모델 개발 및 최적화에 필요한 연산 능력 확보를 위해 수억 달러 규모의 자금 조달에 나서야 합니다. 이는 과거 소프트웨어 서비스(SaaS)나 앱 개발 시절과는 완전히 다른 접근 방식을 요구합니다.
이처럼 GPU 부족 현상은 기술 업계 내에서 자금 경쟁을 촉발시키는 한편, AI 스타트업이 시장에 발을 들여놓기 위한 초기 단계에서부터 막대한 자본이 필요함을 의미합니다. 결과적으로, 이러한 현상은 신생 기업들에 대한 진입 장벽을 크게 높이며, 이미 자리를 잡은 대기업들과의 격차를 더욱 벌리고 있습니다.
인공지능(AI) 분야에서의 연산능력 부족 문제는 단기간 내에 해결될 가능성이 낮아 보이며, 범용 컴퓨팅에서 특수 목적 컴퓨팅으로의 전환은 이러한 문제를 더욱 심화시킬 전망입니다. 미래의 기술 환경은 디바이스와 애플리케이션의 요구에 맞춰 특별히 설계된 칩들로 인해 다양성이 한층 더 증가할 것으로 예상됩니다. 이는 동영상 생성과 텍스트 생성에 필요한 연산 성능 사이에 존재하는 차이점을 반영합니다.
특정 작업을 최적화하기 위해 설계된 칩들의 등장은 이미 시장에 나타나고 있습니다. 구글은 자사의 신경망 작업을 위해 특별히 제작된 텐서 처리 장치(TPU)를 도입했으며, AI 분야의 신생 기업인 그로크(Groq)는 대규모 언어 모델을 위한 언어 처리 장치(LPU) 칩을 출시한 바 있습니다.
칩 애플리케이션이 점차 특수화되면서, 소수의 대형 클라우드 서비스 제공업체만이 이러한 다양하고 복잡한 연산 성능을 제공하는 것이 점점 더 어려워질 것으로 보입니다. 게다가, 연산 성능의 분산화가 진행됨에 따라 해당 기능을 조달하는 과정도 복잡해질 것입니다. 이러한 상황은 AI 기술 발전과 관련하여 중대한 도전 과제를 제시하며, 업계는 이에 대응하기 위한 새로운 방법을 모색해야 할 것입니다.
현재의 기술적 진보와 시장 동향을 고려할 때, 엔비디아나 TSMC 같은 주요 칩 제조사가 아니더라도, 유휴 연산 능력의 효율적인 재분배를 통해 새로운 비즈니스 기회를 창출할 수 있는 가능성이 점차 부각되고 있습니다. 이는 기존에 활용되지 않고 있는 연산 자원을 보다 효과적으로 배분하여 경제적 가치를 극대화하려는 시도에서 비롯됩니다.
특히 현재와 같이 GPU의 연산 성능이 중요한 요소로 작용하고 있는 상황에서, 유휴 GPU 자원의 존재는 상당히 이례적으로 여겨질 수 있습니다. 그럼에도 불구하고 최근 몇 년 간 미국 내 데이터센터의 평균 가동률이 12%에서 18% 사이로 매우 낮게 나타나며, 리소스 관리 및 할당의 최적화를 통해 상당한 개선 여지가 있다는 사실이 드러났습니다.
이러한 상황은 업계에 더 넓은 관점에서 접근할 필요성을 시사합니다. 칩 제조사들이 아닌 다른 기업들도 유휴 연산 능력을 재활용하고 재분배하는 방식으로 시장에서 새로운 위치를 확보할 수 있음을 의미합니다. 이는 단순히 하드웨어의 생산과 판매에만 초점을 맞추는 것이 아니라, 기존 자원의 효율적 사용과 관리에 주목함으로써 추가적인 비즈니스 모델을 탐색하는 전략입니다.
체루빅 벤처스의 투자와 지원을 받은 클라우드 기반 GPU 컴퓨팅 분야의 신생 기업인 인퍼런스AI는 ‘분산’이라는 개념을 통해 새로운 비즈니스 모델을 구축한 사례입니다. 이 회사는 전 세계 데이터센터에 남아도는 GPU 자원을 활용하여 AI 연산 능력이 필요하지만 직접 GPU 서버를 구축하는 데 부담을 느끼는 기업들과 연결해주는 서비스를 제공함으로써 ‘GPU의 에어비앤비’라고 불리웁니다.
뿐만 아니라, 인퍼런스AI는 고객의 개발 요구사항에 맞추어 최적의 칩 유형 및 수량을 추천해주는 챗봇 ‘ChatGPU’를 개발하여 사용자 맞춤형 서비스를 제공하고 있습니다. 과거 AI 연산 성능 확보가 마치 ‘블랙박스’를 여는 것처럼 어렵게 느껴졌던 시절에 비해, 이 회사는 다양한 AI 모델에 대한 광범위한 테스트를 실시함으로써 필요한 연산 성능과 시간을 예측할 수 있는 기준을 마련했습니다. 그 결과, 유휴 연산 자원이 있는 곳을 식별하여 사용자에게 제공할 수 있게 되었습니다.
GPU 부족 문제를 개발의 장애물로 인식하는 이들이 많은 반면, 일부 기업가들은 이러한 상황을 혁신의 발판으로 활용하는 방법을 찾아내고 있습니다. 올바른 관점과 접근 방식을 갖춘다면, 우리는 시장의 변화와 새로운 시대의 도전에 성공적으로 대응하며 우리만의 강점을 발휘할 수 있는 최적의 경로를 발견할 수 있을 것입니다.
매트 첸(Matt Cheng) 체루빅 벤처스 매니징 파트너, 아워송 코파운더
Matt Cheng, Founder and General Partner of Cherubic Ventures
Matt is a Taiwanese venture investor, serial entrepreneur, company advisor, and former junior tennis player. Prior to founding Cherubic, Matt co-founded Tian-Ge in China and 91APP in Taiwan, both went public at over $1B+ in market cap. Matt is also a company advisor to Wish and Atomic VC, as well as an early investor in Flexport, Calm, and Hims & Hers.
관련 기사
